• Необходимость быстро выявить IP-адреса ботов, атакующих сайт HTTP-флудом.
• Поиск самых медленных эндпоинтов API (анализ переменной $request_time).
• Отсутствие наглядной аналитики кодов ответов (4xx, 5xx), рефереров и браузеров в реальном времени.

1. Настройка расширенного формата логов Nginx

Добавьте формат json_analytics в /etc/nginx/nginx.conf:

http {
    log_format json_analytics escape=json
      '{"time_local":"$time_local",'
      '"remote_addr":"$remote_addr",'
      '"request_method":"$request_method",'
      '"request_uri":"$request_uri",'
      '"status":$status,'
      '"body_bytes_sent":$body_bytes_sent,'
      '"request_time":$request_time,'
      '"upstream_response_time":"$upstream_response_time",'
      '"http_referrer":"$http_referer",'
      '"http_user_agent":"$http_user_agent"}';

    access_log /var/log/nginx/analytics.log json_analytics;
}

2. Анализ и генерация Real-Time дашборда через GoAccess

# Установка GoAccess
apt-get install -y goaccess || dnf install -y goaccess

# Консольный интерактивный режим
goaccess /var/log/nginx/access.log --log-format=COMBINED

# Генерация автономного HTML отчета в реальном времени через WebSocket
goaccess /var/log/nginx/access.log --log-format=COMBINED \
  --real-time-html --ws-url=wss://status.itstm.ru:7890 \
  -o /var/www/html/report.html --daemon

3. Конфигурация пайплайна Logstash для парсинга JSON логов Nginx

Создайте файл /etc/logstash/conf.d/10-nginx.conf:

input {
  file {
    path => "/var/log/nginx/analytics.log"
    codec => "json"
    type => "nginx_access"
  }
}

filter {
  mutate {
    convert => { 
      "request_time" => "float"
      "status" => "integer"
      "body_bytes_sent" => "integer"
    }
  }
  geoip {
    source => "remote_addr"
    target => "geoip"
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "nginx-access-%{+YYYY.MM.dd}"
  }
}