Морфология

Морфологический анализ — механизм, который распознает отдельные слова и словосочетания на веб-сайте. Если в тексте содержится достаточное для блокировки количество указанных слов и словосочетаний, то доступ к сайту блокируется.

Морфологический анализ выполняется как при проверке запроса пользователя, так и при получении ответа от веб-сервера и до его передачи пользователю. Получив ответ от веб-сервера, UserGate SWG просматривает текст на странице и подсчитывает его суммарный «вес», исходя из «весов» слов, указанных в морфологических категориях. Если «вес» страницы превышает «вес» морфологической категории, правило срабатывает. При подсчете «веса» страницы учитываются все словоформы (леммы) запрещенных слов. Для поиска словоформ UserGate SWG использует встроенные словари русского, английского, японского, арабского и немецкого языков.

Существует возможность подписки на словари, предоставляемые компанией UserGate. Эти словари нельзя редактировать. Для использования этих словарей необходима соответствующая лицензия. Подробнее о лицензии на продукт — в разделе «Лицензирование».

Для создания собственного морфологического списка:

1. В разделе Настройки ➜ Библиотеки ➜ Морфология в блоке Списки морфологии нажмите Добавить, укажите название нового списка и его вес. 

2. В блоке Слова нажмите Добавить, укажите слова или фразы с соответствующими им весами. При добавлении слов в морфологический словарь можно использовать модификатор «!» перед словом, например, «!bassterd». В данном случае жаргонное слово не будет преобразовываться в словоформы, что может серьезно уменьшить вероятность ложной блокировки.

Вы можете создавать свои словари и централизованно распространять их на все устройства UserGate, имеющиеся в организации. Для создания такой базы:

1. Создайте файл с необходимыми фразами. Например, файл list.txt может содержать список слов в следующем формате:

!word1
!word2
!word3
word4 50
...
Lastword

Вес слова можно указать. По умолчанию он равен 100.

2. Создайте архив, содержащий этот файл. Например, ZIP-архив с именем list.zip.

3. Создайте файл с версией словаря. Например, файл version.txt, внутри него указан номер версии базы. Необходимо инкрементировать это значение при каждом обновлении морфологического словаря.

4. Разместите файлы (list.zip и version.txt) на веб-сервере.

5. Создайте морфологический список и укажите URL для обновления словаря.

На каждом устройстве UserGate создайте морфологическую базу. При создании укажите тип списка Обновляемый и адрес, откуда необходимо загружать обновления. Устройство UserGate будет проверять наличие новой версии на вашем сайте в соответствии с настроенным расписанием скачивания обновлений.

Вы можете выбрать одно из предустановленных значений расписания или указать время вручную в cron-формате: <минуты: 0–59> <часы: 0–23> <дни месяца: 1–31> <месяцы: 1–12> <дни недели: 0–6, где 0 — воскресенье>.

При ручном вводе также можно использовать следующие символы:

Звездочка (*) — для выбора всех значений. Например, в поле для ввода часов символ означает, что проверка обновлений должна выполняться каждый час.

Дефис (-) — для указания диапазона значений.

Запятая (,) — в качестве разделителя значений.

Косая черта (/) — для указания шага между значениями.