При передаче интенсивного трафика через IPsec VPN туннель фиксируются следующие неполадки:

• В логах сетевых устройств (Cisco IOS, FortiGate, strongSwan, Linux XFRM) регистрируются ошибки: REPLAY_WINDOW_VIOLATION: Dropped out-of-order ESP sequence packet, replay check failed или IPsec Anti-Replay: packet dropped.
• Резкое падение пропускной способности TCP, деградация голосового трафика (VoIP/RTP) и рост джиттера.
• Счетчик XfrmInReplayErrors в статистике ядра Linux непрерывно увеличивается.
• Пакеты отбрасываются исключительно при многопоточной нагрузке или агрегации каналов (LACP, ECMP).

1. Механизм защиты от повторов (Anti-Replay Mechanism, RFC 4303)

Для предотвращения атак повторного воспроизведения (Replay Attacks) каждый заголовок ESP содержит 32-битный (или 64-битный Extended) порядковый номер Sequence Number. Принимающая сторона поддерживает скользящее окно (Anti-Replay Window) размером $W$. Если порядковый номер входящего пакета меньше левой границы окна (слишком старый) или уже был получен ранее, ядро отбрасывает его. При нарушении порядка доставки пакетов в сети провайдера или многопоточной обработке на CPU легитимные пакеты могут прибыть вне очереди и быть ошибочно уничтожены.

2. Диагностика ошибок Replay на уровне операционной системы

# Просмотр статистики ошибок анти-повтора в сетевом стеке Linux
netstat -s | grep -i replay

# Детальный просмотр счетчиков XFRM ядра
cat /proc/net/xfrm_stat

# Проверка текущего размера окна для установленных SA
ip xfrm state show | grep -E 'replay-window|seq'

3. Увеличение размера Replay Window

Увеличение размера окна позволяет стеку принимать пакеты с большим разбросом задержки без их отбрасывания.

В strongSwan (/etc/swanctl/conf.d/ipsec.conf):

connections {
    site-to-site {
        # Установка размера окна anti-replay (по умолчанию 32, рекомендуется 128-1024)
        replay_window = 512
        # ... остальные параметры ...
    }
}

На оборудовании Cisco ASA / IOS:

# Cisco IOS Router (глобально или в рамках crypto map)
crypto ipsec security-association replay window-size 512

# Cisco ASA (увеличение до максимального)
crypto ipsec security-association replay window-size 1024

# Полное отключение (не рекомендуется в production, только для изоляции проблемы)
no crypto ipsec security-association replay window-size

4. Устранение разбалансировки очередей сетевых карт (NIC Multi-Queue / RSS)

Многопоточная обработка пакетов на сетевых адаптерах серверов может приводить к тому, что пакеты одного потока обрабатываются разными ядрами CPU с разной скоростью, нарушая очередность ESP Sequence:

# Привязка прерываний сетевой карты к фиксированным ядрам (RPS/XPS)
# Пример: установка хэширования Symmetric Toeplitz на базе IP/Port
ethtool -K eth0 rx-flow-hash udp4 sdfn

# Настройка параметра xfrm для многопоточности ядра
sysctl -w net.core.netdev_max_backlog=10000
sysctl -w net.ipv4.xfrm4_gc_thresh=32768

5. Настройка QoS и устранение проблем на канале оператора (ECMP)

Если между точками туннеля используется несколько маршрутов (Equal-Cost Multi-Path) у апстрим-провайдера, пакеты одной сессии могут лететь разными траекториями. Настройте на границе сети единый маршрут или маркировку DiffServ/TOS, чтобы заставить оператора передавать ESP пакеты по одному пути.