Кластер конфигурации. Узлы, объединенные в одну общую схему, «видят» друг друга и синхронизируют свою конфигурацию, поддерживая таким образом единые параметры фильтрации и обработки трафика в рамках кластера. Такая синхронизация гарантирует, что набор политик будет одинаковым на всех узлах кластера и все изменения конфигурации будут выполняться с минимальными задержками. При этом часть параметров для каждого из узлов кластера остается уникальной, например параметры сетевых интерфейсов, шлюзов, маршрутов и диагностики.
Кластер отказоустойчивости. Если в сети настроен кластер конфигурации, то до четырех узлов, входящих в него, можно объединить в кластер отказоустойчивости, который обеспечит непрерывную фильтрацию и обработку трафика. В дополнение к возможностям кластера конфигурации кластер отказоустойчивости поддерживает синхронизацию пользовательских сессий, что обеспечивает прозрачное для пользователей переключение трафика с одного узла кластера на другой, — за исключением сессий, использующих прокси-сервер, например трафик HTTP(S). Вы можете собрать несколько кластеров отказоустойчивости. Например, если в кластер конфигурации добавлены узлы A, B, C и D, на их основе можно создать два кластера отказоустойчивости — A-B и C-D.

Важно!Работа устройств UserGate в режимах кластера конфигурации и кластера отказоустойчивости доступна, если в используемую лицензию включен модуль Cluster.

Настройка кластера конфигурации

Настройка кластера конфигурации состоит из двух этапов: настройки первого узла и добавления дополнительных узлов. Каждый дополнительный узел добавляется в кластер на этапе первоначальной настройки. Если в вашей сети уже есть устройства UserGate WAF, сконфигурированные как независимые, их можно добавить в кластер только выполнив сброс к фабричным параметрам.

Чтобы настроить кластер конфигурации:

1. Выполните первоначальную настройку первого узла кластера. Убедитесь, что активированная лицензия на первом узле (раздел Дашборды ➜ Лицензия) включает в себя модуль Cluster.

2. В веб-консоли первого узла в разделе Настройки ➜ Сеть ➜ Зоны добавьте зону, в которой будет выполняться репликация кластера, или выберите существующую зону Cluster. Убедитесь, что для выбранной зоны в окне Свойства сетевой зоны на вкладке Контроль доступа разрешены сервисы Консоль администрирования и Кластер.

Важно!Не используйте для репликации зоны, интерфейсы которых подключены к недоверенным сетям, например к интернету.

3. В разделе Настройки ➜ Сеть ➜ Интерфейсы выберите интерфейс, через который будет выполняться репликация кластера, и нажмите Редактировать.

4. В окне Свойства интерфейса:

на вкладке Общие назначьте интерфейсу зону кластера и установите флажок Включено;
на вкладке Сеть выберите режим Статический, с помощью кнопки Добавить укажите IP-адрес;
нажмите Сохранить.

5. В разделе Настройки ➜ Консоль администратора ➜ Управление устройством ➜ Кластер конфигурации выберите текущий узел кластера, нажмите Редактировать, укажите IP-адрес, назначенный интерфейсу на предыдущем шаге и нажмите Сохранить. Начнется перезагрузка устройства.

6. После завершения перезагрузки в блоке Кластер конфигурации выберите текущий узел, нажмите Сгенерировать секретный код и скопируйте код для авторизации дополнительного узла кластера.

7. Подключитесь к веб-консоли дополнительного узла. В мастере первоначальной настройки выберите язык интерфейса, примите лицензионное соглашение, выберите часовой пояс и затем в окне Установка нажмите Установка дополнительного узла кластера.

8. В блоке Шаг 1 укажите параметры дополнительного узла: кластерный интерфейс, его IP-адрес, маску подсети и IP-адрес шлюза (в случае, если первый и дополнительный узлы кластера находятся в разных подсетях). Например, если оба узла находятся в одной подсети, кластерному интерфейсу eth2 первого узла может быть назначен IP-адрес 192.168.100.5/24, а интерфейсу eth2 дополнительного узла в этом случае можно назначить IP-адрес 192.168.100.6/24.

ПримечаниеТак как IP-адрес интерфейса дополнительного узла и шлюз по умолчанию на этом шаге указываются в явном виде, режим присвоения этих параметров будет статическим.

9. В блоке Шаг 2 укажите IP-адрес кластерного интерфейса первого узла, вставьте созданный на нем секретный код и нажмите Подключить. Начнется настройка дополнительного узла, после чего он будет добавлен в кластер и все параметры первого узла реплицируются на дополнительный.

10, В веб-консоли дополнительного узла кластера конфигурации в разделе Настройки ➜ Сеть ➜ Интерфейсы назначьте каждому интерфейсу корректную зону, так как текущие параметры были получены в результате репликации данных с первого узла кластера.

11. В веб-консоли дополнительного узла кластера конфигурации на странице Дашборды в виджете Лицензия нажмите Проверить лицензию, чтобы активировать лицензию на дополнительном узле.

ПримечаниеЕсли на первом узле кластера лицензия была активирована онлайн, дополнительному узлу для активации лицензии также потребуется доступ в интернет. При офлайн-активации лицензии на первом узле подключение дополнительного узла к интернету не требуется.

12. Настройте шлюзы, маршруты, параметры OSPF, BGP, уникальные для каждого из узлов.

ПримечаниеК уникальным относятся параметры диагностики, интерфейсов, шлюзов, DHCP, маршрутов, OSPF и BGP.

Вы можете отслеживать состояние узлов кластера конфигурации по статусу узла UserGate в любой из веб-консолей в блоке Настройки ➜ Консоль администратора ➜ Управление устройством ➜ Кластер конфигурации:

Зеленый: узел доступен.
Оранжевый: узел недоступен, идет перезагрузка узла.
Красный: узел недоступен, связь с узлом потеряна.
Черный: идет запуск узла.

О кластере отказоустойчивости

Кластер отказоустойчивости работает в режиме «активный — пассивный», когда одно из устройств выступает в роли мастер-узла, а остальные — в качестве резервных. Узел, выбранный в качестве мастер-узла, обладает наивысшим приоритетом в кластере, он отвечает на ARP-запросы клиентов и выполняет обработку и инспектирование пользовательского трафика. Резервные узлы не обрабатывают трафик и находятся в режиме ожидания.

На каждом из узлов кластера выбираются сетевые интерфейсы, которым администратор назначает кластерные IP-адреса. Между кластерными интерфейсами передаются VRRP-объявления — сообщения, с помощью которых узлы обмениваются информацией о своем состоянии. На основании VRRP-объявлений оценивается связность кластера, а также уточняются приоритеты всех узлов кластера.

На другие сетевые интерфейсы узлов кластера назначаются виртуальные IP-адреса, на которые направляется трафик. В случае если мастер-узел стал недоступен, роль мастер-узла и все виртуальные IP-адреса переносятся на резервный узел с наибольшим IP-адресом либо — если настроены необходимые параметры — с наибольшим приоритетом. Этот узел продолжит обработку трафика.

Безусловный перенос роли мастер-узла на резервный узел происходит при следующих событиях:

Резервный узел не получает подтверждения того, что мастер-узел находится в сети, например если он выключен или отсутствует сетевая доступность узлов.
На узле настроена проверка доступа в интернет (см. раздел «Настройка шлюзов»), и ни через один из шлюзов нет доступа в интернет.
Узел, указанный в свойствах проверки сети, недоступен на всех узлах кластера. В таком случае кластер отказоустойчивости будет отключен.
Сбой в работе ПО UserGate WAF.

ПримечаниеДля уменьшения времени, требуемого сетевому оборудованию для перевода трафика на резервный узел при переключении, устройству UserGate WAF посылается служебное оповещение GARP (Gratuitous ARP), извещающее сетевое оборудование о смене MAC-адресов для всех виртуальных IP-адресов. Пакет GARP отсылается UserGate WAF каждую минуту, в том числе при переключении роли мастер-узла на резервный узел.

Ниже представлен пример сетевой диаграммы отказоустойчивого кластера в режиме «активный — пассивный». Интерфейсы настроены следующим образом:

Зона Trusted: IP1, IP2, IP3, IP4 и виртуальный IP cluster (Trusted).
Зона Untrusted: IP5, IP6, IP7, IP8 и виртуальный IP cluster (Untrusted).
Зона Cluster: IP9, IP10, IP11, IP12, IP13, IP14. Интерфейсы в зоне Cluster являются кластерными и используются для передачи VRRP-объявлений.

Оба виртуальных IP-адреса находятся на узле UG1. Если узел UG1 становится недоступным, то оба кластерных IP-адреса перейдут на следующий узел, который станет мастер-узлом, например на UG2.

Настройка кластера отказоустойчивости

Настройка кластера отказоустойчивости доступна только для узлов, входящих в кластер конфигурации.

Чтобы настроить кластер отказоустойчивости:

1. В разделе Настройки ➜ Сеть ➜ Зоны выберите зону, в которой планируется добавлять кластерные интерфейсы (зона Cluster network на рисунках выше), и в окне Свойства сетевой зоны на вкладке Контроль доступа разрешите сервисы Кластер и VRRP.

2. В разделе Настройки ➜ Сеть ➜ Интерфейсы назначьте выбранным сетевым интерфейсам зону кластера и IP-адреса.

3. В разделе Настройки ➜ Консоль администратора ➜ Кластеры отказоустойчивости нажмите Добавить.

4. В окне Свойства кластера отказоустойчивости на вкладке Общие установите флажок Включено и введите название кластера.

5. На вкладке Узлы в блоке Доступные узлы выберите от двух до четырех узлов, затем в блоке Настройка кластера назначьте одному из узлов роль мастер-узла.

ПримечаниеЕсли вы установите флажок «Не учитывать приоритет при смене роли мастер-узла», понижение приоритета мастер-узла учитываться не будет, а переключение мастер-роли на резервный узел будет происходить только в случае, если основной узел выйдет из строя.

6. На вкладке Виртуальные IP-адреса нажмите Добавить и назначьте интерфейсам узлов кластера, находящимся в одной зоне, общий виртуальный IP-адрес, на который будет направляться трафик. (На рисунках выше это один виртуальный IP-адрес для интерфейсов в зоне Trusted и еще один для интерфейсов в зоне Untrusted.)

7. Если необходимо, настройте остальные параметры (см. таблицу ниже).

8. Сохраните изменения. В созданном кластере отказоустойчивости одному из узлов будет назначена роль мастер-узла, а на его сетевой интерфейс будет назначен указанный виртуальный IP-адрес.

В таблице описаны дополнительные параметры кластера отказоустойчивости.

Параметр	Описание
Вкладка Общие
Описание	Описание кластера отказоустойчивости
Идентификатор виртуального маршрутизатора (VRID)	Идентификатор, уникальный для каждого VRRP-кластера в локальной сети. Если в сети нет сторонних VRRP-кластеров, рекомендуется оставить значение по умолчанию
Режим отправки служебного трафика	Выбор режима обмена служебным трафиком между узлами кластера: Мультикаст — многоадресная передача сообщений синхронизации сессий и VRRP-объявлений. По умолчанию для отправки VRRP-объявлений назначены интерфейсы кластера конфигурации. Вы можете выбрать другие интерфейсы. Юникаст — одноадресная передача сообщений синхронизации сессий и VRRP-объявлений между мастер-узлом и резервным узлом. При выборе этого способа передачи следует указать IP-адреса и интерфейсы, по которым будет происходить общение между узлами. Доступно после выбора узлов кластера на вкладке Узлы
Интервалы отправки и задержки	Параметры переключения роли мастер-узла на резервный узел: Периодичность VRRP-объявлений — интервал в секундах между VRRP-объявлениями, в которых мастер-узел сообщает остальным узлам о своем состоянии. Счетчик недоступности — количество интервалов, в течение которых резервный узел не получает подтверждения того, что мастер-узел находится в сети. По достижении этого значения начнется переключение роли мастер-узла на резервный узел. Задержка смены роли по приоритету — время, на которое будет задержано переключение роли после того, как приоритет мастер-узла понизится. Эта задержка предоставляет время для сбора информации (например, о маршрутах) и позволяет избежать сбоев в работе сразу после переключения роли мастер-узла
Использовать виртуальный MAC	Если флажок установлен и на соответствующей вкладке параметров кластера отказоустойчивости назначены виртуальные IP-адреса, узлу с ролью мастер-узла назначается виртуальный MAC-адрес кластера. После этого в разделе Настройки ➜ Сеть ➜ Интерфейсы отобразится интерфейс VMAC. В случае переноса мастер-роли на резервный узел этот MAC-адрес сохраняется, что позволяет избежать задержек в передаче трафика
Разрешить транзит трафика через пассивные узлы	Если флажок установлен, резервный узел будет обрабатывать транзитный трафик, который поступает на его интерфейсы. В целях безопасности вы можете запретить обработку этого трафика, при снятом флажке он будет отбрасываться
Вкладка Синхронизация сессий
Синхронизировать сессии TCP, SCTP и DCCP	Включение и отключение синхронизации пользовательских сессий между узлами по протоколам TCP, SCTP, DCCP
Синхронизировать сессии UDP и ICMP	Включение и отключение синхронизации пользовательских сессий между узлами по протоколам UDP и ICMP. Доступно, если установлен флажок Синхронизировать сессии TCP, SCTP и DCCP
Мультикаст-идентификатор	Если в одном кластере конфигурации создано несколько кластеров отказоустойчивости, для синхронизации сессий будет использоваться мультикастовый IP-адрес, определяемый данным параметром. Для каждой группы кластеров отказоустойчивости, в которой должна поддерживаться синхронизация сессий, требуется установить уникальный идентификатор. Доступно, если установлен флажок Синхронизировать сессии TCP, SCTP и DCCP и на вкладке Общие выбран мультикастовый режим доставки
Интерфейсы синхронизации узла	Выбор интерфейсов, через которые будет выполняться синхронизация пользовательских сессий. Важно!В свойствах зоны, в которой находятся выбранные интерфейсы, необходимо разрешить синхронизацию сессий. Доступно, если установлен флажок Синхронизировать сессии TCP, SCTP и DCCP и на вкладке Общие выбран мультикастовый режим доставки
Исключенные из синхронизации IP-адреса	Список IP-адресов, с которыми отключена синхронизация всех пользовательских сессий. Доступно, если установлен флажок Синхронизировать сессии TCP, SCTP и DCCP и на вкладке Общие выбран мультикастовый режим доставки

Вся информация о кластере доступна на странице Кластеры отказоустойчивости. На этой странице вы можете временно вывести любой узел из кластера, например для планового обслуживания. Для этого в веб-консоли нужного узла необходимо перейти на страницу кластеров отказоустойчивости и в блоке Узлы включить Приостановить работу.

Также на странице Кластеры отказоустойчивости вы можете отслеживать состояние кластера отказоустойчивости и узлов, входящих в него:

Статусы кластера отказоустойчивости:
- Зеленый: кластер доступен.
- Оранжевый: неопределенное состояние кластера, как минимум один узел не участвует в работе кластера.
- Желтый треугольник: нет связи как минимум с одним узлом кластера, узел перезагружается или вышел из строя.
Статусы узлов в кластере отказоустойчивости:
- Зеленый: узел кластера доступен.
- Оранжевый: узел работоспособен, но недоступен в кластере.
- Желтый треугольник: узел перезагружается или вышел из строя.

Диагностика узлов кластера отказоустойчивости

Доступность узлов кластера определяется в том числе исходя из результатов диагностики состояния узлов. По умолчанию выполняется проверка состояния узлов кластера, локального DNS-сервера, прокси-сервера и кластерных интерфейсов узлов. Дополнительно вы можете настроить диагностику шлюзов и сетевых интерфейсов, а также проверять, обеспечивают ли узлы кластера доступ к сервисам, развернутым в ИТ-инфраструктуре.

Результаты диагностики влияют на условия переноса роли мастер-узла на резервный узел. По умолчанию перенос роли происходит без учета приоритета узлов. Например, при отключении одного из сетевых интерфейсов мастер-узла весь мастер-узел считается недоступным.

Вы можете настроить параметры таким образом, чтобы перенос роли мастер-узла зависел от понижения его приоритета при отключении одного или нескольких кластерных интерфейсов. Перенос роли мастер-узла на резервный узел произойдет, если его приоритет окажется выше приоритета мастер-узла. По умолчанию приоритет, назначенный мастер-узлу, равен 250, приоритет резервного узла — 249. Приоритет узла уменьшается на 2 для каждого кластерного интерфейса, который физически не подключен к сети. Соответственно, если на кластере отказоустойчивости, состоящем из двух узлов, один из интерфейсов на мастер-узле будет физически отключен от сети, резервный узел станет мастер-узлом (при условии, что на резервном узле все кластерные интерфейсы подключены к сети). В таком случае приоритет мастер-узла будет равен 248, приоритет резервного — 249. При восстановлении физического подключения на первоначальном мастер-узле этот узел снова станет мастер-узлом, поскольку его приоритет вернется в значение 250.

ПримечаниеОтключение одного или нескольких кластерных интерфейсов на резервном узле также будет понижать его приоритет. Тем не менее этот резервный узел может стать мастер-узлом при безусловном переключении роли или в случае, если приоритет мастер-узла станет меньше приоритета резервного узла.

Чтобы настроить диагностику узлов кластера:

1. В разделе Настройки ➜ Консоль администратора ➜ Кластеры отказоустойчивости выберите кластер и нажмите Редактировать.

2. В окне Свойства кластера отказоустойчивости выберите вкладку Диагностика.

3. Установите флажок Проверка шлюзов и выберите, считать шлюз недоступным или понизить приоритет узла, если результаты проверки будут неудовлетворительными.

4. Настройте параметры проверки доступности шлюзов:

Периодичность запуска проверки — регулярная проверка шлюзов через указанный промежуток времени.
Счетчик недоступности — количество последовательных неудовлетворительных результатов проверки, после которых шлюз признается недоступным или приоритет узла понижается.
Счетчик доступности — количество последовательных положительных результатов проверки, подтверждающее, что работоспособность шлюза восстановлена и узел можно признать доступным или повысить его приоритет.

5. Установите флажок Проверка ресурсов и выберите, считать узел недоступным или понизить приоритет узла, если результаты проверки будут неудовлетворительными.

6. Нажмите Проверяемые ресурсы и укажите IP-адреса или FQDN тех ресурсов, доступ к которым будет проверяться.

7. Настройте параметры проверки доступности ресурсов:

Периодичность запуска проверки — регулярная проверка ресурсов через указанный промежуток времени.
Счетчик недоступности — количество последовательных результатов проверки, после которых узел признается недоступным или его приоритет понижается.
Счетчик доступности — количество последовательных положительных результатов проверки, подтверждающее, что доступ к ресурсу восстановлен и узел можно признать доступным или повысить его приоритет.

8. Установите флажок Проверка интерфейсов, нажмите Настройки и настройте следующие параметры:

Для каждого из кластерных интерфейсов выберите действие, которое будет применено к узлу в случае недоступности интерфейса.
Если необходимо отслеживать состояние сетевых интерфейсов, на которые назначены виртуальные IP-адреса, нажмите Добавить, выберите соответствующие сетевые интерфейсы и действия для них в случае недоступности.

9. Сохраните изменения.

Настройка кластера отказоустойчивости в облачной среде

Вы можете настроить кластер отказоустойчивости UserGate WAF в сервисе Yandex Cloud. Кластер отказоустойчивости, развернутый в облаке, может включать в себя только два узла и поддерживает работу в режиме «активный — пассивный». В отличие от обычного кластера отказоустойчивости в облачном решении не используются виртуальные IP-адреса. Трафик направляется на IP-адрес сетевого интерфейса узла, указанного в таблице статической маршрутизации Yandex Cloud. IP-адрес мастер-узла или IP-адрес резервного узла (в случае выхода из строя мастер-узла) прописывается в таблице статической маршрутизации в соответствии с параметрами переключения маршрутов, настроенными в веб-консоли любого из облачных узлов UserGate WAF.

Работа кластера отказоустойчивости в облачной среде возможна при соблюдении всех следующих условий:

В кластере только два узла.
Обмен служебным трафиком между узлами кластера выполняется в юникаст-режиме.
Отключена синхронизация пользовательских сессий.
Интерфейсам узлов кластера не назначены виртуальные IP-адреса.
Отключено использование виртуального MAC-адреса.
Маршрутизация транзитного трафика выполняется балансировщиком, не входящим в состав кластера отказоустойчивости.
Разрешен транзит трафика через резервные узлы.
Доступен интернет для управления таблицами маршрутизации и обеспечения доступа к API для работы с виртуальным частным облаком.

Перед тем как настроить параметры работы кластера UserGate WAF, подготовьте виртуальные машины в облачной среде:

1. Создайте в Yandex Cloud сервисный аккаунт с ролью vpc.privateAdmin.

2. Разверните в Yandex Cloud две виртуальные машины UserGate WAF и объедините их в кластер конфигурации.

3. В веб-интерфейсе сервиса Yandex Cloud в параметрах каждой виртуальной машины добавьте созданный сервисный аккаунт.

4. Создайте таблицу маршрутизации Yandex Cloud.

Чтобы настроить кластер отказоустойчивости в облачной среде:

1. В разделе Настройки ➜ Сеть ➜ Зоны выберите зоны кластера и в окне Свойства сетевой зоны для каждой из зон на вкладке Контроль доступа разрешите сервисы Кластер и VRRP.

2. Перейдите в раздел Настройки ➜ Сеть ➜ Интерфейсы и назначьте сетевым интерфейсам узлов зону кластера и IP-адреса.

3. Перейдите в раздел Настройки ➜ Консоль администратора ➜ Кластеры отказоустойчивости и нажмите Добавить.

4. В окне Свойства кластера отказоустойчивости на вкладке Узлы в блоке Доступные узлы выберите виртуальные машины, развернутые в Yandex Cloud, затем в блоке Настройка кластера назначьте одной из виртуальных машин роль мастер-узла.

5. Убедитесь, что на вкладке Виртуальные IP-адреса интерфейсам узлов кластера не назначены виртуальные IP-адреса.

6. На вкладке Общие установите флажок Включено и введите название кластера.

7. В качестве режима отправки служебного трафика выберите Юникаст и укажите IP-адреса и интерфейсы, по которым будет происходить общение между узлами.

8. Убедитесь, что флажок Использовать виртуальный MAC снят.

9. Установите флажок Разрешить транзит трафика через пассивные узлы.

10. Убедитесь, что на вкладке Синхронизация сессий сняты флажки Синхронизировать сессии TCP, SCTP и DCCP и Синхронизировать сессии UDP и ICMP.

11. На вкладке Настройка облака выберите в качестве облачного провайдера Yandex Cloud.

12. В блоке Переключение маршрута нажмите Добавить и в окне Свойства переключения маршрута настройте следующие параметры:

Идентификатор созданной ранее таблицы статической маршрутизации Yandex Cloud.
Префикс назначения для таблицы статической маршрутизации Yandex Cloud.
В поле <имя_узла_кластера_1> укажите IP-адрес интерфейса первого узла кластера.
В поле <имя_узла_кластера_2> укажите IP-адрес интерфейса второго узла кластера и сохраните изменения параметров переключения маршрута.

13. Сохраните изменения.

После сохранения изменений в таблицу статической маршрутизации Yandex Cloud с указанным идентификатором будут переданы префикс назначения и IP-адрес того узла, которому на вкладке Узлы назначена роль мастер-узла. Трафик будет направлен на IP-адрес мастер-узла. В случае если мастер-узел выйдет из строя, в таблицу статической маршрутизации Yandex Cloud будет передан IP-адрес резервного узла, указанный в параметрах переключения маршрута. Трафик будет перенаправлен на этот IP-адрес.

Вся информация о кластере доступна на странице Кластеры отказоустойчивости. На этой странице вы также можете отслеживать состояние узлов, входящих в кластер:

Статусы кластера отказоустойчивости:
- Зеленый: кластер доступен.
- Оранжевый: неопределенное состояние кластера, как минимум один узел не участвует в работе кластера.
- Желтый треугольник: нет связи как минимум с одним узлом кластера, узел перезагружается или вышел из строя.
Статусы узлов в кластере отказоустойчивости:
- Зеленый: узел кластера доступен.
- Оранжевый: узел работоспособен, но недоступен в кластере.
- Желтый треугольник: узел перезагружается или вышел из строя.