Журналы
 
Описание

UserGate WAF журналирует все события, которые происходят во время его работы, и записывает их в следующие журналы:

  • Журнал событий — события, связанные с изменением настроек WAF, авторизацией пользователей, администраторов, обновлениями различных списков и т.п.

  • Журнал веб-доступа — подробный журнал всех веб-запросов, обработанных WAF.

  • Журнал WebSocket — содержит сведения об установленных и заблокированных WebSocket-соединениях. (Доступно начиная с релиза ПО 7.4.1.)

  • Журнал трафика — подробный журнал срабатывания правил межсетевого экрана. Для регистрации данных событий необходимо включить журналирование в необходимых правилах межсетевого экрана.

Журналы доступны для просмотра в разделе Журналы и отчеты ➜ Журналы.

Управление журналами автоматизировано: журналы циклически перезаписываются, обеспечивая необходимое для работы свободное дисковое пространство.

Ротация записей журналов (всех, кроме журнала событий) происходит автоматически по критерию свободного пространства на данном разделе. Записи о ротации базы данных будут отображены в журнале событий. В случае, если подключен LogAn, то запись будет отображена в журнале событий LogAn.

Ротация записей журнала событий не производится.

Журнал событий

Журнал событий отображает события, связанные с изменением настроек WAF, например, добавление/удаление/изменение данных учетной записи, правила или любого другого элемента. Здесь же отображаются все события входа в веб-консоль, старта, выключения, перезагрузки сервера и т.п.

Для удобства поиска необходимых событий записи могут быть отфильтрованы по различным критериям, например таким, как диапазон дат, компоненте, важности, типу события.

Администратор может выбрать только те столбцы для показа, которые ему необходимы. Для этого следует кликнуть указателем мыши на любой из столбцов, и в появившемся контекстном меню оставить галочки только для тех столбцов, которые необходимо отображать.

С помощью кнопки Экспортировать в CSV администратор может скачать отфильтрованные данные журнала в csv-файл для дальнейшего анализа.

Нажатие на кнопку Показать выведет окно с подробным описанием события.

Журнал веб-доступа

Журнал веб-доступа отображает все запросы пользователей в интернет по протоколам HTTP и HTTPS. Выводятся события срабатывания правил фильтрации контента, инспектирования SSL в настройках которых включено журналирование. Отображается следующая информация:

  • Узел, на котором произошло событие.

  • Время события.

  • Содержание события.

  • Действие.

  • Правило.

  • Причины (при блокировке сайта).

  • URL назначения.

  • Зона источника.

  • IP-адрес источника.

  • Порт источника.

  • Зона назначения.

  • IP-адрес назначения.

  • Порт назначения.

  • Протокол прикладного уровня.

  • HTTP метод.

  • Код ответа HTTP.

  • Байт отправлено/получено.

  • Пакетов отправлено/получено.

  • Реферер (при наличии).

  • Useragent браузера.

Администратор может выбрать только те столбцы для показа, которые ему необходимы. Для этого следует кликнуть указателем мыши на любой из столбцов, и в появившемся контекстном меню оставить галочки только для тех столбцов, которые необходимо отображать.

Для удобства поиска необходимых событий записи могут быть отфильтрованы по различным критериям, например таким, как учетная запись пользователя, правило, действие и т.д.

С помощью кнопки Экспортировать в CSV администратор может скачать отфильтрованные данные журнала в csv-файл для дальнейшего анализа.

Нажатие на кнопку Показать выведет окно с подробным описанием события.

Журнал WebSocket (версия ПО 7.4.1 и выше)

Если для сервера reverse-прокси настроены правила, фильтрующие WebSocket-соединения, вы можете отслеживать события, связанные с установленными или заблокированными WebSocket-соединениями. Результаты фильтрации WebSocket-соединений отображаются на странице Журнал WebSocket. Запись событий в журнал ведется для правил reverse-прокси, в которых разрешено журналирование этих событий.

Чтобы разрешить запись событий в журнал WebSocket:

1. В разделе Настройки Политика безопасности ➜ WebSocket-профили выберите WebSocket-профиль или настройте новый. Подробнее — в разделе «Защита WebSocket-соединений».

2. В окне Свойства WebSocket-профиля на вкладке Общие установите флажок Включить журналирование и сохраните изменения.

3. Убедитесь, что WebSocket-профиль с включенным журналированием подключен в правиле reverse-прокси.

На странице Журнал WebSocket можно настроить сортировку и отображение данных с помощью меню, которое вызывается из заголовка любого столбца. Вы также можете просмотреть подробную информацию о событии, дважды нажав на нужную запись.

Для поиска событий записи могут быть отфильтрованы по различным критериям, например по зоне источника, действию или дате.

С помощью кнопки Экспортировать в CSV вы можете скачать отфильтрованные данные журнала в csv-файл для дальнейшего анализа.

Журнал трафика

Журнал трафика отображает события срабатывания правил WAF, в настройках которых включено журналирование. Отображается следующая информация:

  • Узел, на котором произошло событие.

  • Время события.

  • Содержание события.

  • Действие.

  • Правило.

  • Приложение.

  • Сетевой протокол.

  • Зона источника.

  • IP-адрес источника.

  • Порт источника.

  • MAC источника

  • Зона назначения.

  • IP-адрес назначения.

  • Порт назначения.

  • MAC назначения.

  • Байт отправлено/получено.

  • Пакетов отправлено/получено.

Администратор может выбрать только те столбцы для показа, которые ему необходимы. Для этого следует кликнуть указателем мыши на любой из столбцов, и в появившемся контекстном меню оставить галочки только для тех столбцов, которые необходимо отображать.

Для удобства поиска необходимых событий записи могут быть отфильтрованы по различным критериям, например таким, как учетная запись пользователя, правило, действие и т.д.

С помощью кнопки Экспортировать в CSV администратор может скачать отфильтрованные данные журнала в csv-файл для дальнейшего анализа.

Нажатие на кнопку Показать выведет окно с подробным описанием события.

Экспорт журналов

Функция экспортирования журналов позволяет выгружать информацию на внешние серверы для последующего анализа или для обработки в системах SIEM (Security information and event management).

UserGate WAF поддерживает выгрузку следующих журналов:

  • журнал событий;

  • журнал веб-доступа;

  • журнал WebSocket (доступно начиная с версии ПО 7.4.1);

  • журнал трафика;

  • атаки.

Поддерживается отправка журналов на серверы SSH (SFTP), FTP и Syslog. Отправка на серверы SSH и FTP проводится по указанному в конфигурации расписанию. Отправка на серверы Syslog происходит сразу же при добавлении записи в журнал.

Для отправки журналов необходимо создать конфигурации экспорта журналов в разделе Экспорт журналов.

При создании конфигурации требуется указать следующие параметры:

Наименование

Описание

Название правила

Название правила экспорта журналов

Описание

Опциональное поле для описания правила

Параметры разового экспорта

Выбор диапазона экспорта журналов. Опция доступна в версии ПО 7.2.0 и выше

Журналы для экспорта

Выбор файлов журналов, которые необходимо экспортировать:

  • Журнал событий;

  • Журнал веб-доступа;

  • Журнал трафика;

  • Журнал WebSocket (доступно начиная с версии ПО 7.4.1);

  • Атаки.

Для каждого из журналов возможно указать синтаксис выгрузки:

  • CEF — Common Event Format (ArcSight);

  • CEF Compact;

  • JSON — JSON format;

  • @CEE: JSON — CEE Log Syntax (CLS) Encoding JSON.

Обратитесь к документации на используемую у вас систему SIEM для выбора необходимого формата выгрузки журналов.

Подробное описание форматов журналов читайте в приложении «Описание форматов журналов»

Тип сервера

SSH (SFTP), FTP, Syslog

Адрес сервера

IP-адрес или доменное имя сервера

Транспорт

Только для типа серверов Syslog — TCP или UDP

Порт

Порт сервера, на который следует отправлять данные

Протокол

Только для типа серверов Syslog — RFC5424 или BSD syslog RFC 3164. Выберите протокол, совместимый с используемой у вас системой SIEM

Критичность

Только для типа серверов Syslog. Необязательное поле, проконсультируйтесь с документацией на используемую у вас систему SIEM. Возможны следующие значения:

  • Тревога: состояние, требующее незамедлительного вмешательства.

  • Критическая: состояние, требующее незамедлительного вмешательства либо предупреждающее о сбое в системе.

  • Ошибки: в системе возникли ошибки.

  • Предупреждения: предупреждения о возможном возникновении ошибок, если не будут предприняты никакие действия.

  • Уведомительная: события, которые относятся к необычному поведению системы, но не являются ошибками.

  • Информативная: информационные сообщения

Объект

Только для типа серверов Syslog. Необязательное поле, проконсультируйтесь с документацией на используемую у вас систему SIEM. Возможны следующие значения:

  • Сообщения пользовательские;

  • Системный сервис;

  • Безопасность/авторизация;

  • Аудит;

  • Тревога;

  • Local 0;

  • Local 1;

  • Local 2;

  • Local 3;

  • Local 4;

  • Local 5;

  • Local 6;

  • Local 7

Имя хоста

Только для типа серверов Syslog. Уникальное имя узла, идентифицирующее сервер, отправляющий данные на сервер syslog, в формате Fully Qualified Domain Name (FQDN)

Название приложения

Только для типа серверов Syslog. Уникальное имя приложения, которое отправляет данные на сервер syslog

Логин

Имя учетной записи для подключения к удаленному серверу. Не применяется к методу отправки Syslog

Пароль

Пароль учетной записи для подключения к удаленному серверу. Не применяется к методу отправки Syslog

Путь на сервере

Каталог на сервере для копирования файлов журналов. Не применяется к методу отправки Syslog

Расписание

Выбор расписания для отправки логов. Не применяется к методу отправки Syslog. Возможны варианты:

  • Ежедневно;

  • Еженедельно;

  • Ежемесячно;

  • Каждые ... часов;

  • Каждые ... минут;

  • Задать вручную.

При задании вручную необходимо использовать crontab-подобный формат, при котором строка выглядит как шесть полей, разделенных пробелами. Поля задают время в следующем виде: (минуты: 0-59) (часы: 0-23) (дни месяца: 1-31) (месяц: 1-12) (день недели: 0-6, 0-воскресенье). Каждое из первых пяти полей может быть задано следующим образом:

  • Звездочка (*) — обозначает весь диапазон (от первого до последнего).

  • Дефис (-) — обозначает диапазон чисел. Например, "5-7" будет означать 5,6 и 7.

  • Списки. Это числа (или диапазоны), разделенные запятыми. Например, "1,5,10,11" или "1-11,19-23".

  • Звездочка или диапазон с шагом. Используется для пропусков в диапазонах. Шаг указывается после косой черты. Например, "2-10/2" будет значить "2,4,6,8,10", а выражение "*/2" в поле "часы" будет означать "каждые два часа

Управление журналами

Управление временными файлами журналов, подготавливаемых для отправки на удаленные серверы ssh и ftp.

При отправке журналов на сервера ssh и ftp UserGate сохраняет данные для отправки во временные файлы. По указанному расписанию все созданные для отправки файлы копируются на удаленный сервер, при этом файлы не очищаются и не удаляются. Данная настройка позволяет указать период ротации временных файлов (в днях) или удалить любой из временных файлов вручную. Ротация файлов происходит один раз в сутки.

Всего хранятся N архивов журналов за предыдущие дни (по количеству дней ротации) и один журнал за текущий день

Поиск и фильтрация данных

Количество записей, регистрируемых в журналах, как правило, очень велико, и не все поля доступны в базовом режиме просмотра. WAF предоставляет удобные способы поиска и фильтрации необходимой информации. Администратор может использовать простой и расширенный поиск по содержимому журналов.

При использовании простого поиска администратор использует графический интерфейс, чтобы задать фильтрацию по значениям требуемых полей журналов, отфильтровывая таким образом ненужную информацию. Например, администратор может задать интересующий его диапазон времени, список пользователей, категорий и т.п. Задание критериев поиска интуитивно понятно и не требует специальных знаний.

Построение более сложных фильтров возможно в режиме расширенного поиска с использованием специального языка запросов. В режиме расширенного поиска можно строить запросы с использованием полей журналов, которые недоступны в базовом режиме. Для формирования запросов используются названия полей, значения полей, ключевые слова и операторы. Значения полей могут быть введены с использованием одинарных или двойных кавычек, или без них, если значения не содержат пробелов. Для группировки нескольких условий можно использовать круглые скобки.

Ключевые слова отделяются пробелами и могут быть следующими:

Наименование

Описание

AND или and

Логическое И, требует выполнения всех условий, заданных в запросе.

OR или or

Логическое ИЛИ, достаточно выполнения одного из условий запроса.

Операторы определяют условия фильтра и могут быть следующими:

Наименование

Описание

=

Равно. Требует полного совпадения значения поля указанному значению, например, ip=172.16.31.1 будут отображены все записи журнала, в котором поле IP будет точно соответствовать значению 172.16.31.1.

!=

Не равно. Значение указанного поля не должно совпадать с указанным значением, например,

ip!=172.16.31

будут отображены все записи журнала, в котором поле IP не будет равно значению 172.16.31.1.

<=

Меньше либо равно. Значение поля должно быть меньше либо равны указанному в запросе значению. Может быть применимо только для полей, поддерживающих сравнения, например, поля даты, portSource, portDest, statusCode и т.п., например,

date<='2019-03-28T20:59:59' AND statusCode=303

>=

Больше либо равно. Значение поля должно быть больше либо равны указанному в запросе значению. Может быть применимо только для полей, поддерживающих сравнения, например, поля даты, portSource, portDest, statusCode и т.п., например,

date>="2019-03-13T21:00:00" AND statusCode=200

<

Меньше. Значение поля должно быть меньше указанного в запросе значения. Может быть применимо только для полей, поддерживающих сравнения, например, поля даты, portSource, portDest, statusCode и т.п., например,

date < '2019-03-28T20:59:59' AND statusCode=404

>

Больше. Значение поля должно быть больше указанного в запросе значения. Может быть применимо только для полей, поддерживающих сравнения, например, поля даты, portSource, portDest, statusCode и т.п., например,

(statusCode>200 AND statusCode<300) OR (statusCode=404)

IN

Позволяет указать несколько значений поля в запросе. Список значений необходимо указывать в круглых скобках, например,

category IN (botnets, compromised, 'illegal software', 'phishing and fraud','reputation high risk','unknown category')

NOT IN

Позволяет указать несколько значений поля в запросе; будут отображены записи, которые не содержат указанные значения. Список значений необходимо указывать в круглых скобках, например,

category NOT IN (botnets, compromised, 'illegal software', 'phishing and fraud','reputation high risk','unknown category')

~

Содержит. Позволяет указать подстроку, которая должна находиться в указанном поле, например,

browser ~ "Mozilla/5.0"

Данный оператор может быть применен только к полям, в которых хранятся строковые данные.

!~

Не содержит. Позволяет указать подстроку, которая не должна присутствовать в указанном поле, например,

browser !~ "Mozilla/5.0"

Данный оператор может быть применен только к полям, в которых хранятся строковые данные.

MATCH

При использовании оператора MATCH подстрока, которая должна присутствовать в указанном поле, задаётся в формате JSON и с использованием одинарных кавычек, например,

details MATCH '\"module\":\"threats\"'

Синтаксис запросов с использованием данного оператора соответствует стандарту RE2. Подробнее о синтаксисе Google/RE2: https://github.com/google/re2/wiki/Syntax.

NOT MATCH

При использовании оператора NOT MATCH подстрока, которая не должна присутствовать в указанном поле, задаётся в формате JSON и с использованием одинарных кавычек, например,

details NOT MATCH '\"module\":\"threats\"'

Синтаксис запросов с использованием данного оператора соответствует стандарту RE2. Подробнее о синтаксисе Google/RE2: https://github.com/google/re2/wiki/Syntax.

При составлении расширенного запроса WAF показывает возможные варианты названия полей, применимых к ним операторов и возможных значений, облегчая оператору системы формирование сложных запросов. Список полей и их возможных значений может отличаться для каждого из журналов.

При переключении режима поиска с основного на расширенный WAF автоматически формирует строку с поисковым запросом, которая соответствует фильтру, указанному в основном режиме поиска.