Кластер конфигурации. Узлы, объединенные в одну общую схему, «видят» друг друга и синхронизируют свою конфигурацию, поддерживая таким образом единые параметры фильтрации и обработки трафика в рамках кластера. Такая синхронизация гарантирует, что набор политик будет одинаковым на всех узлах кластера и все изменения конфигурации будут выполняться с минимальными задержками. При этом часть параметров для каждого из узлов кластера остается уникальной, например параметры сетевых интерфейсов, шлюзов, маршрутов и диагностики.
Кластер отказоустойчивости. Если в сети настроен кластер конфигурации, то до четырех узлов, входящих в него, можно объединить в кластер отказоустойчивости, который обеспечит непрерывную фильтрацию и обработку трафика. В дополнение к возможностям кластера конфигурации кластер отказоустойчивости поддерживает синхронизацию пользовательских сессий, что обеспечивает прозрачное для пользователей переключение трафика с одного узла кластера на другой, — за исключением сессий, использующих прокси-сервер, например трафик HTTP(S). Вы можете собрать несколько кластеров отказоустойчивости. Например, если в кластер конфигурации добавлены узлы A, B, C и D, на их основе можно создать два кластера отказоустойчивости — A-B и C-D.

Важно!Работа устройств UserGate в режимах кластера конфигурации и кластера отказоустойчивости доступна, если в используемую лицензию включен модуль Cluster.

Настройка кластера конфигурации

Настройка кластера конфигурации состоит из двух этапов: настройки первого узла и добавления дополнительных узлов. Каждый дополнительный узел добавляется в кластер на этапе первоначальной настройки. Если в вашей сети уже есть устройства UserGate WAF, сконфигурированные как независимые, их можно добавить в кластер только выполнив сброс к фабричным параметрам.

Чтобы настроить кластер конфигурации:

1. Выполните первоначальную настройку первого узла кластера. Убедитесь, что активированная лицензия на первом узле (раздел Дашборды ➜ Лицензия) включает в себя модуль Cluster.

2. В веб-консоли первого узла в разделе Настройки ➜ Сеть ➜ Зоны добавьте зону, в которой будет выполняться репликация кластера, или выберите существующую зону Cluster. Убедитесь, что для выбранной зоны в окне Свойства сетевой зоны на вкладке Контроль доступа разрешены сервисы Консоль администрирования и Кластер.

Важно!Не используйте для репликации зоны, интерфейсы которых подключены к недоверенным сетям, например к интернету.

3. В разделе Настройки ➜ Сеть ➜ Интерфейсы выберите интерфейс, через который будет выполняться репликация кластера, и нажмите Редактировать.

4. В окне Свойства интерфейса:

на вкладке Общие назначьте интерфейсу зону кластера и установите флажок Включено;
на вкладке Сеть выберите режим Статический, с помощью кнопки Добавить укажите IP-адрес;
нажмите Сохранить.

5. В разделе Настройки ➜ Консоль администратора ➜ Управление устройством ➜ Кластер конфигурации выберите текущий узел кластера, нажмите Редактировать, укажите IP-адрес, назначенный интерфейсу на предыдущем шаге и нажмите Сохранить. Начнется перезагрузка устройства.

6. После завершения перезагрузки в блоке Кластер конфигурации выберите текущий узел, нажмите Сгенерировать секретный код и скопируйте код для авторизации дополнительного узла кластера.

7. Подключитесь к веб-консоли дополнительного узла. В мастере первоначальной настройки выберите язык интерфейса, примите лицензионное соглашение, выберите часовой пояс и затем в окне Установка нажмите Установка дополнительного узла кластера.

8. В блоке Шаг 1 укажите параметры дополнительного узла: кластерный интерфейс, его IP-адрес, маску подсети и IP-адрес шлюза (в случае, если первый и дополнительный узлы кластера находятся в разных подсетях). Например, если оба узла находятся в одной подсети, кластерному интерфейсу eth2 первого узла может быть назначен IP-адрес 192.168.100.5/24, а интерфейсу eth2 дополнительного узла в этом случае можно назначить IP-адрес 192.168.100.6/24.

ПримечаниеТак как IP-адрес интерфейса дополнительного узла и шлюз по умолчанию на этом шаге указываются в явном виде, режим присвоения этих параметров будет статическим.

9. В блоке Шаг 2 укажите IP-адрес кластерного интерфейса первого узла, вставьте созданный на нем секретный код и нажмите Подключить. Начнется настройка дополнительного узла, после чего он будет добавлен в кластер и все параметры первого узла реплицируются на дополнительный.

10, В веб-консоли дополнительного узла кластера конфигурации в разделе Настройки ➜ Сеть ➜ Интерфейсы назначьте каждому интерфейсу корректную зону, так как текущие параметры были получены в результате репликации данных с первого узла кластера.

11. В веб-консоли дополнительного узла кластера конфигурации на странице Дашборды в виджете Лицензия нажмите Проверить лицензию, чтобы активировать лицензию на дополнительном узле.

ПримечаниеЕсли на первом узле кластера лицензия была активирована онлайн, дополнительному узлу для активации лицензии также потребуется доступ в интернет. При офлайн-активации лицензии на первом узле подключение дополнительного узла к интернету не требуется.

12. Настройте шлюзы, маршруты, параметры OSPF, BGP, уникальные для каждого из узлов.

ПримечаниеК уникальным относятся параметры диагностики, интерфейсов, шлюзов, DHCP, маршрутов, OSPF и BGP.

Вы можете отслеживать состояние узлов кластера конфигурации по статусу узла UserGate в любой из веб-консолей в блоке Настройки ➜ Консоль администратора ➜ Управление устройством ➜ Кластер конфигурации:

Зеленый: узел доступен.
Оранжевый: узел недоступен, идет перезагрузка узла.
Красный: узел недоступен, связь с узлом потеряна.
Черный: идет запуск узла.

О кластере отказоустойчивости

В режиме работы кластера «активный — пассивный» одно из устройств выступает в роли мастер-узла (в веб-консоли статус этого узла — master), а остальные — в качестве резервных (в веб-консоли статус этих узлов — backup). Узел, выбранный в качестве мастер-узла, обладает наивысшим приоритетом в кластере, он отвечает на ARP-запросы клиентов и выполняет обработку и инспектирование пользовательского трафика. Резервные узлы не обрабатывают трафик, поступающий на виртуальные IP-адреса кластера, и находятся в режиме ожидания. При этом узлы, выступающие в кластере в роли резервных, могут обрабатывать трафик, который передается на их интерфейсы, не являющиеся кластерными.

На каждом из узлов кластера по умолчанию выбраны сетевые интерфейсы в зоне Cluster, которым назначены кластерные IP-адреса. Между кластерными интерфейсами передаются VRRP-объявления — сообщения, с помощью которых узлы обмениваются информацией о своем состоянии. На основании VRRP-объявлений оценивается связность кластера, и уточняются приоритеты всех узлов кластера. Также кластерные интерфейсы участвуют в синхронизации сессий между узлами кластера.

На другие сетевые интерфейсы узлов кластера назначаются виртуальные IP-адреса, на которые направляется трафик. В случае если мастер-узел стал недоступен, роль мастер-узла и все виртуальные IP-адреса переносятся на резервный узел с наибольшим IP-адресом либо — если настроены необходимые параметры — с наибольшим приоритетом. Этот узел продолжит обработку трафика.

Безусловный перенос роли мастер-узла на резервный узел происходит при следующих событиях:

Резервный узел не получает подтверждения того, что мастер-узел находится в сети, например если он выключен или отсутствует сетевая доступность узлов.
На узле настроена проверка доступа в интернет (см. раздел «Настройка шлюзов»), и ни через один из шлюзов нет доступа в интернет.

ПримечаниеЕсли проверка доступа в интернет настроена на каждом узле кластера и на всех узлах доступ в интернет отсутствует, перенос роли мастер-узла не выполняется, происходит прекращение обмена VRRP-сообщениями, и кластер отказоустойчивости приостанавливает работу.

Сбой в работе ПО UserGate WAF.

ПримечаниеДля уменьшения времени, требуемого сетевому оборудованию для перевода трафика на резервный узел при переключении, устройству UserGate WAF посылается служебное оповещение GARP (Gratuitous ARP), извещающее сетевое оборудование о смене MAC-адресов для всех виртуальных IP-адресов. Пакет GARP отсылается UserGate WAF каждую минуту, в том числе при переключении роли мастер-узла на резервный узел.

Ниже представлен пример сетевой диаграммы отказоустойчивого кластера в режиме «активный — пассивный». Интерфейсы настроены следующим образом:

Зона Trusted: IP1, IP2, IP3, IP4 и виртуальный cluster IP (VIP trusted).
Зона Untrusted: IP5, IP6, IP7, IP8 и виртуальный cluster IP (VIP untrusted).
Зона Cluster: IP9, IP10, IP11, IP12. Интерфейсы в зоне Cluster являются кластерными и используются для передачи VRRP-объявлений.

Оба виртуальных IP-адреса находятся на узле UG1. Если узел UG1 становится недоступным, то оба кластерных IP-адреса перейдут на следующий узел, который станет мастер-узлом, например на UG2.

Настройка кластера отказоустойчивости

Настройка кластера отказоустойчивости доступна только для узлов, входящих в кластер конфигурации.

Чтобы настроить кластер отказоустойчивости:

1. В разделе Настройки ➜ Сеть ➜ Зоны выберите зону, в которой планируется добавлять кластерные интерфейсы (зона Cluster на рисунках выше), и в окне Свойства сетевой зоны на вкладке Контроль доступа разрешите сервис VRRP.

2. В разделе Настройки ➜ Сеть ➜ Интерфейсы для каждого узла настройте интерфейсы для обмена VRRP-объявлениями между узлами кластера:

Выберите сетевой интерфейс, который будет участвовать в организации кластера.
В окне Свойства интерфейса на вкладке Общие установите флажок Включено и назначьте интерфейсу кластерную зону.
На вкладке Сеть добавьте IP-адрес, если он еще не был добавлен.

3. В разделе Настройки ➜ Консоль администратора ➜ Кластеры отказоустойчивости нажмите Добавить.

4. В окне Свойства кластера отказоустойчивости на вкладке Общие установите флажок Включено и введите название кластера.

5. На вкладке Узлы в блоке Доступные узлы выберите от двух до четырех узлов, затем в блоке Настройка кластера назначьте одному из узлов роль мастер-узла.

ПримечаниеЕсли вы установите флажок «Не учитывать приоритет при смене роли мастер-узла», понижение приоритета мастер-узла учитываться не будет, а переключение мастер-роли на резервный узел будет происходить только в случае, если основной узел выйдет из строя.

6. На вкладке Виртуальные IP-адреса нажмите Добавить и назначьте интерфейсам узлов кластера, не участвующим в организации кластера и находящимся в одной зоне, общий виртуальный IP-адрес, на который будет направляться трафик. (На рисунках выше это один виртуальный IP-адрес для интерфейсов в зоне Trusted и еще один для интерфейсов в зоне Untrusted.)

7. Если необходимо, на вкладке Общие в блоке Режим отправки служебного трафика выберите режим обмена служебным трафиком между узлами кластера.

8. Если необходимо, настройте остальные параметры (см. таблицу ниже).

8. Сохраните изменения. В созданном кластере отказоустойчивости одному из узлов будет назначена роль мастер-узла, а на его сетевой интерфейс будет назначен указанный виртуальный IP-адрес.

В таблице описаны дополнительные параметры кластера отказоустойчивости.

Параметр	Описание
Вкладка Общие
Описание	Описание кластера отказоустойчивости
Идентификатор виртуального маршрутизатора (VRID)	Идентификатор, уникальный для каждого VRRP-кластера в локальной сети. Если в сети нет сторонних VRRP-кластеров, рекомендуется оставить значение по умолчанию
Режим отправки служебного трафика	Выбор режима обмена служебным трафиком между узлами кластера: Мультикаст — многоадресная передача сообщений синхронизации сессий и VRRP-объявлений. По умолчанию для отправки VRRP-объявлений назначены интерфейсы кластера конфигурации. Вы можете выбрать другие интерфейсы. Юникаст — одноадресная передача сообщений синхронизации сессий и VRRP-объявлений между мастер-узлом и резервным узлом. При выборе этого способа передачи следует указать IP-адреса и интерфейсы, по которым будет происходить общение между узлами. Доступно после выбора узлов кластера на вкладке Узлы
Интервалы отправки и задержки	Параметры переключения роли мастер-узла на резервный узел: Периодичность VRRP-объявлений — интервал в секундах между VRRP-объявлениями, в которых мастер-узел сообщает остальным узлам о своем состоянии. Счетчик недоступности — количество интервалов, в течение которых резервный узел не получает подтверждения того, что мастер-узел находится в сети. По достижении этого значения начнется переключение роли мастер-узла на резервный узел. Задержка смены роли по приоритету — время, на которое будет задержано переключение роли после того, как приоритет мастер-узла понизится. Эта задержка предоставляет время для сбора информации (например, о маршрутах) и позволяет избежать сбоев в работе сразу после переключения роли мастер-узла
Использовать виртуальный MAC	Если флажок установлен и на соответствующей вкладке параметров кластера отказоустойчивости назначены виртуальные IP-адреса, узлу с ролью мастер-узла назначается виртуальный MAC-адрес кластера. После этого в разделе Настройки ➜ Сеть ➜ Интерфейсы отобразится интерфейс VMAC. В случае переноса мастер-роли на резервный узел этот MAC-адрес сохраняется, что позволяет избежать задержек в передаче трафика
Разрешить транзит трафика через пассивные узлы	Если флажок установлен, резервный узел будет обрабатывать транзитный трафик, который поступает на его интерфейсы. В целях безопасности вы можете запретить обработку этого трафика, при снятом флажке он будет отбрасываться

Диагностика узлов кластера отказоустойчивости

Доступность узлов кластера определяется в том числе исходя из результатов диагностики состояния узлов. По умолчанию выполняется проверка состояния узлов кластера, локального DNS-сервера, прокси-сервера и кластерных интерфейсов узлов. Дополнительно вы можете например включить диагностику шлюзов или проверку доступа к сервисам, развернутым в ИТ-инфраструктуре, через узлы кластера.

Результаты диагностики влияют на условия переноса роли мастер-узла на резервный узел. По умолчанию перенос роли происходит без учета приоритета узлов. Например, при отключении одного из сетевых интерфейсов мастер-узла весь мастер-узел считается недоступным.

Вы можете настроить параметры таким образом, чтобы перенос роли мастер-узла зависел от понижения его приоритета при отключении одного или нескольких кластерных интерфейсов. Перенос роли мастер-узла на резервный узел произойдет, если приоритет последнего окажется выше приоритета мастер-узла. По умолчанию приоритет, назначенный мастер-узлу, равен 250, приоритет резервного узла — 249. Приоритет узла уменьшается на 2 для каждого кластерного интерфейса, который физически не подключен к сети. Соответственно, если на кластере отказоустойчивости, состоящем из двух узлов, один из интерфейсов на мастер-узле будет физически отключен от сети, резервный узел станет мастер-узлом (при условии, что на резервном узле все кластерные интерфейсы подключены к сети). В таком случае приоритет мастер-узла будет равен 248, приоритет резервного — 249. При восстановлении физического подключения на первоначальном мастер-узле этот узел снова станет мастер-узлом, поскольку его приоритет вернется в значение 250.

ПримечаниеОтключение одного или нескольких кластерных интерфейсов на резервном узле также будет понижать его приоритет. Тем не менее этот резервный узел может стать мастер-узлом при безусловном переключении роли или в случае, если приоритет мастер-узла станет меньше приоритета резервного узла.

Чтобы настроить диагностику узлов кластера:

1. В разделе Настройки ➜ Консоль администратора ➜ Кластеры отказоустойчивости выберите кластер и нажмите Редактировать.

2. В окне Свойства кластера отказоустойчивости выберите вкладку Диагностика.

3. Установите флажок Проверка шлюзов и выберите, считать шлюз недоступным или понизить приоритет узла, если результаты проверки будут неудовлетворительными.

ПримечаниеЧтобы помимо проверки самих шлюзов также выполнялась проверка доступа в интернет, необходимо включить проверку сети. Подробнее об этом — в разделе «Настройка шлюзов».

4. Настройте параметры проверки доступности шлюзов:

Периодичность запуска проверки — регулярная проверка шлюзов через указанный промежуток времени.
Счетчик недоступности — количество последовательных неудовлетворительных результатов проверки, после которых шлюз признается недоступным или приоритет узла понижается.
Счетчик доступности — количество последовательных положительных результатов проверки, подтверждающее, что работоспособность шлюза восстановлена и узел можно признать доступным или повысить его приоритет.

5. Установите флажок Проверка ресурсов и выберите, считать узел недоступным или понизить приоритет узла, если проверка покажет, что указанные сервисы, развернутые в ИТ-инфраструктуре, недоступны.

6. Нажмите Проверяемые ресурсы и укажите IP-адреса или FQDN тех ресурсов, доступ к которым будет проверяться.

7. Настройте параметры проверки доступности ресурсов:

Периодичность запуска проверки — регулярная проверка ресурсов через указанный промежуток времени.
Счетчик недоступности — количество последовательных результатов проверки, после которых узел признается недоступным или его приоритет понижается.
Счетчик доступности — количество последовательных положительных результатов проверки, подтверждающее, что доступ к ресурсу восстановлен и узел можно признать доступным или повысить его приоритет.

8. Установите флажок Проверка интерфейсов, нажмите Настройки и настройте следующие параметры:

Для каждого из кластерных интерфейсов выберите действие, которое будет применено к узлу в случае недоступности интерфейса.
Если необходимо отслеживать состояние сетевых интерфейсов, на которые назначены виртуальные IP-адреса, нажмите Добавить, выберите соответствующие сетевые интерфейсы и действия для них в случае недоступности.

9. Сохраните изменения.

Настройка кластера отказоустойчивости в облачной среде

Вы можете настроить кластер отказоустойчивости UserGate WAF в сервисе Yandex Cloud. Кластер отказоустойчивости, развернутый в облаке, может включать в себя только два узла, работающих в режиме «активный — пассивный», и поддерживает обмен служебными VRRP-объявлениями в юникаст-режиме.

Работа кластера отказоустойчивости в облачной среде возможна при соблюдении всех следующих условий:

В кластере только два узла.
Обмен служебным трафиком между узлами кластера выполняется в юникаст-режиме.
Отключено использование виртуального MAC-адреса.
Интерфейсам узлов кластера не назначены виртуальные IP-адреса.
Отключена синхронизация пользовательских сессий.
Маршрутизация входящего трафика выполняется внешним балансировщиком.
Обеспечен доступ к таблицам маршрутизации Yandex Cloud и к API для работы с виртуальным частным облаком.

Перед тем как настроить параметры работы кластера UserGate WAF, подготовьте виртуальные машины в облачной среде:

1. Создайте в Yandex Cloud сервисный аккаунт с ролью vpc.privateAdmin.

2. Разверните в Yandex Cloud две виртуальные машины UserGate WAF и объедините их в кластер конфигурации.

ПримечаниеСервис Yandex Cloud поддерживает развертывание виртуальных машин как в одной сетевой зоне, так и в разных. Подробнее об этом — в справке сервиса.

3. В веб-интерфейсе сервиса Yandex Cloud в параметрах каждой виртуальной машины добавьте созданный сервисный аккаунт.

4. Создайте таблицу маршрутизации Yandex Cloud. Когда кластер отказоустойчивости будет настроен, UserGate WAF передаст в эту таблицу IP-адрес сетевого интерфейса мастер-узла, через который будет направляться трафик. В случае если мастер-узел выйдет из строя, в таблицу статической маршрутизации Yandex Cloud будет передан IP-адрес резервного узла, и трафик перенаправится на этот IP-адрес.

Чтобы настроить кластер отказоустойчивости в облачной среде:

1. В разделе Настройки ➜ Сеть ➜ Зоны выберите или создайте зону для кластера и в окне Свойства сетевой зоны на вкладке Контроль доступа разрешит сервис VRRP.

Выберите сетевой интерфейс, который будет участвовать в организации кластера.
В окне Свойства интерфейса на вкладке Общие назначьте интерфейсу кластерную зону.
На вкладке Сеть добавьте IP-адрес, если он еще не был добавлен.
Убедитесь, что на вкладке Общие установлен флажок Включено.

3. В разделе Настройки ➜ Консоль администратора ➜ Кластеры отказоустойчивости нажмите Добавить.

4. В окне Свойства кластера отказоустойчивости на вкладке Узлы в блоке Доступные узлы выберите виртуальные машины, развернутые в Yandex Cloud, затем в блоке Настройка кластера назначьте одной из виртуальных машин роль мастер-узла.

5. Убедитесь, что на вкладке Виртуальные IP-адреса интерфейсам узлов кластера не назначены виртуальные IP-адреса.

6. На вкладке Общие установите флажок Включено и введите название кластера.

7. В качестве режима отправки служебного трафика выберите Юникаст и нажмите Настройки.

8. В окне Настройка интерфейсов для юникаст-трафика в блоке Передача VRRP-объявлений выберите интерфейсы, которые были настроены на шаге 2, укажите их IP-адреса и сохраните изменения.

9.Убедитесь, что на вкладке Общие снят флажок Использовать виртуальный MAC.

10. Убедитесь, что на вкладке Синхронизация сессий сняты флажки Синхронизировать сессии.

11. На вкладке Настройка облака выберите в качестве облачного провайдера Yandex Cloud.

12. В блоке Переключение маршрута нажмите Добавить и в окне Свойства переключения маршрута настройте параметры, в соответствии с которыми в таблицу статической маршрутизации будет передаваться IP-адрес мастер-узла:

В поле Таблица маршрутизации укажите идентификатор созданной ранее таблицы статической маршрутизации Yandex Cloud.
В поле Префикс назначения укажите префикс маршрута по умолчанию для таблицы статической маршрутизации Yandex Cloud.
В поле <имя_узла_кластера_1> для первого узла кластера укажите IP-адрес интерфейса, через который доступна внутренняя сеть.
В поле <имя_узла_кластера_2> для второго узла кластера укажите IP-адрес интерфейса, через который доступна внутренняя сеть, и сохраните изменения параметров переключения маршрута.

13. Сохраните изменения.

После сохранения изменений в таблицу статической маршрутизации Yandex Cloud с указанным идентификатором будут переданы префикс назначения и IP-адрес того узла, которому на вкладке Узлы назначена роль мастер-узла. Трафик будет направлен на IP-адрес мастер-узла.

Особенности настройки кластера отказоустойчивости с узлами в разных зонах Yandex Cloud

В зависимости от топологии и других особенностей ИТ-инфраструктуры вы можете настроить кластер отказоустойчивости, в котором узлы UserGate WAF будут располагаться в разных зонах Yandex Cloud. В этом случае, помимо общей настройки кластера, для каждого из узлов необходимо указать статические маршруты до подсети, находящейся за узлом в другой зоне. В противном случае активный узел кластера не сможет передавать ответы на запросы, поступающие из подсети в другой зоне.

Для каждого узла кластера выполните следующие действия:

1. В разделе Настройки ➜ Сеть ➜ Виртуальные маршрутизаторы нажмите Добавить.

2. В раскрывающемся списке выберите Статические маршруты и нажмите Добавить.

3. В окне Свойства маршрута укажите его название, установите флажок Включено.

4. Убедитесь, что установлен тип маршрута Unicast.

5. В поле Адрес назначения укажите подсеть за другим узлом кластера, на которую будет указывать маршрут.

6. Задайте IP-адрес шлюза, через который указанная подсеть будет доступна. Этот IP-адрес должен быть доступен с узла, для которого настраивается маршрут.

7. Выберите сетевой интерфейс, через который будет добавлен маршрут. Если оставить значение Автоматически, UserGate WAF сам определит интерфейс, исходя из параметров IP-адресации сетевых интерфейсов.

8. Сохраните изменения.

Просмотр информации о кластере отказоустойчивости

Вся информация о кластере доступна на странице Кластеры отказоустойчивости. Вы можете отслеживать состояние кластера отказоустойчивости и узлов, входящих в него.

Статусы кластера отказоустойчивости:

Зеленый: кластер доступен.
Оранжевый: неопределенное состояние кластера, как минимум один узел не участвует в работе кластера.
Желтый треугольник: нет связи как минимум с одним узлом кластера, узел перезагружается или вышел из строя.

Статусы узлов в кластере отказоустойчивости:

Зеленый: узел кластера доступен.
Оранжевый: узел работоспособен, но недоступен в кластере.
Желтый треугольник: узел перезагружается или вышел из строя.

Также в веб-консоли выбранного узла на странице Кластеры отказоустойчивости вы можете временно вывести этот узел из кластера, например для планового обслуживания. Для этого в блоке Узлы необходимо включить Приостановить работу.