ML кластеры

Реализована защита сетевых ресурсов с помощью модуля машинного обучения «Weblock. ML Module». Раздел «ML кластеры» доступен Администратору.

Для кластера, который будет обслуживаться модулем машинного обучения, создается ML кластер. Серверы кластера составляют структуру ML кластера. Для модуля машинного обучения минимальной единицей обслуживания и мониторинга является кластер.

Для того, чтобы поставить кластер на обслуживание модулем машинного обучения, необходимо:

  • создать ML кластер,

  • настроить конфигурацию ML кластера (создать детектор ML кластера),

    тогда детектор ML кластера автоматически перейдет в режим обучения, при этом модуль машинного обучения, применив специальные алгоритмы, научится выявлять аномальную активность.

  • дождаться завершения обучения детектора ML кластера,

    по окончании процесса обучения модуль будет регистрировать аномальную активность.

Работа модуля машинного обучения зависит от конфигурации веб-сервера «Weblock.» и настроек защиты, перечисленных в таблице.

в конфигурационном файле веб-сервера
default-weblock.conf

  • директива server_name,

  • список блоков location и их имена

в Личном кабинете, в разделе «Кластеры»

  • настройка защиты «F2B»,

  • настройка защиты «Лимиты»

Примечание

Если меняется какой-либо из упомянутых параметров конфигурации веб-сервера «Weblock.» и настроек защиты, то обновляется конфигурация ML кластера. Это означает, что для восстановления способности регистрировать аномальную активность может потребоваться время на переобучение.

На скрине ниже показан раздел «ML кластеры» с подключенными кластерами.

../_images/user_guide_249ml.png

Создание ML кластера

В разделе «ML кластер» по кнопке Добавить создается новый ML кластер.

../_images/user_guide_250ml.png

Кластер – при выборе значения выдается список кластеров, для которых можно создать ML кластер. На каждый кластер можно создать один ML кластер. Если для всех кластеров ML кластеры созданы, то поле будет неактивно и новый ML кластер создать не получится.

Тенант – по умолчанию задано значением «Без тенанта». В данном поле задается тенант, к которому относится кластер. Значение «Без тенанта» предусмотрено для кластера без тенанта.

Тип детектора – задает принципы работы модуля машинного обучения, определяющие аномальную активность. Поле позволяет выбрать значение из списка:

  • DefaultAutoencoder_v1 – во время мониторинга формируются «снимки» состояния модуля «Weblock. Agent» с интервалом 60 секунд. Анализируется заданное количество «снимков». Если проверка выдает отклонение, то регистрируется аномальная активность. Обучается для каждого сервера в кластере.

ML кластер может находиться в одном из состояний:

  • Ожидание регистрации агентов,

  • Конструирование детекторов,

  • Мониторинг,

  • Пауза.

Конфигурация ML кластера

Конфигурирование ML кластера – настройка детектора. Детекторы ML кластера относятся к заданному (при создании ML кластера) типу детектора. Детектор обрабатывает весь кластер.

При изменении конфигурации веб-сервера «Weblock.» и настроек защиты автоматически обновляется конфигурация ML кластера, а именно:

  • детектор ML кластера останавливается,

  • проверяется, есть ли ранее созданные (и остановленные) детекторы, которые бы соответствовали новой конфигурации веб-сервера «Weblock.» и настройкам защиты:
    • если нет, то создается новый детектор с теми же внешними параметрами (время обучения, минимальное количество снимков) в режиме обучения; по окончании обучения аномальная активность будет регистрироваться;

    • если есть, то восстанавливается старый детектор:
      • если старый детектор не закончил обучение, то он заново обучается, по окончании обучения аномальная активность будет регистрироваться;

      • если старый детектор ранее прошел обучение, то сразу аномальная активность будет регистрироваться.

В разделе «ML кластер» в списке по пиктограмме lk_option настраивается детектор.

../_images/user_guide_256ml.png

Время обучения – задается время обучения в часах.

Значение потерь при обучении – служебное, временно не используется.

Минимальное количество снимков – количество анализируемых «снимков» состояния модуля «Weblock. Agent».

По умолчанию заданы рекомендуемые параметры, приведенные в таблице.

Поле

Рекомендуемое значение

Время обучения

6

Минимальное количество снимков

60

Примечание

Алгоритмы машинного обучения дадут лучший результат, если для обучения будет выбран период достаточной активности, но без кибератак. Если в период обучения зафиксирована атака на защищаемый ресурс, то рекомендуем перезапустить обучение.

Работа с ML кластером

Просмотр содержимого ML кластеров доступен по пиктограмме lk_eye в списке ML кластеров. ML кластер состоит из тех же серверов, что и кластер. Для каждого сервера доступны Детектор и История.

../_images/user_guide_261ml.png

По Детектор открывается информация о детекторе с результатами обучения. Чтобы перезапустить обучение, необходимо сначала поставить ML кластер на паузу, как это показано в пункте Пауза для ML кластера, затем нажать кнопку Перезапустить обучение.

../_images/user_guide_263ml.png

По История открывается таблица поминутного состояния ML кластера. Кликая мышью на зеленую ячейку, можно получить информацию в json-формате.

../_images/user_guide_264ml.png

Список детекторов кластера открывается по пиктограмме lk_roster в отдельном окне. В состоянии «мониторинг» к просмотру доступны детекторы, закрепленные за серверами. В состоянии «пауза» к просмотру доступны детекторы, которые были закреплены за серверами в момент установки паузы.

В списке детекторов виден статус обучения, но изменить его здесь нельзя. Перезапустить обучение можно по соседней кнопке «Детектор» (подробнее О перезапуске обучения).

Чтобы удалить детектор, нажмите на пиктограмму lk_red_del. Для удаления детектор будет доступен через 21 день после создания. Во всплывающей подсказке к пиктограмме lk_red_del указан период до возможности удаления.

../_images/user_guide_251ml.png

События ML кластера, которые можно посмотреть по пиктограмме lk_clock, показаны на скрине ниже.

../_images/user_guide_254ml.png

Пауза для ML кластера

Пауза устанавливается с помощью пиктограммы lk_pause. Задержка определяет минимальную длину паузы; значение задается в минутах, ≥ 0 и ≤ 60. Менять значение можно колесом мыши.

../_images/user_guide_257ml.png

После установки паузы пиктограмма lk_pause заменяется на lk_go, снимающую с паузы ML кластер.

Удаление ML кластера

Чтобы удалить ML кластер, сначала следует его остановить, нажав на пиктограмму lk_halt. После остановки ML кластера станет активной пиктограмма lk_red_del, с помощью которой можно удалить ML кластер.

../_images/Weblock_Logos_small.png