ML ADS¶

Реализована защита сетевых ресурсов с помощью сервиса машинного обучения Weblock.ML-ADS. Раздел «ML ADS» доступен Администратору.

Примечание

Необходимо подключить фиксацию критичных сообщений уровней EMERGENCY, ALERT, CRITICAL, ERROR, WARNING, NOTICE в функции Настройки раздела «Структура» – «Серверы» (подробнее Настройки).

Для кластера, который будет обслуживаться сервисом машинного обучения, создается ML кластер. Серверы кластера составляют структуру ML кластера. Для сервиса машинного обучения минимальной единицей обслуживания и мониторинга является кластер.

Для того, чтобы поставить кластер на обслуживание сервисом машинного обучения, необходимо:

создать ML кластер,
настроить конфигурацию ML кластера (создать детектор ML кластера),

тогда детектор ML кластера автоматически перейдет в режим обучения, при этом сервис машинного обучения, применив специальные алгоритмы, научится выявлять аномальную активность.
дождаться завершения обучения детектора ML кластера,

по окончании процесса обучения сервис будет регистрировать аномальную активность.

Работа сервиса машинного обучения зависит от конфигурации веб-сервера «Weblock.» и настроек защиты, перечисленных в таблице.

В конфигурационном файле веб-сервера `default-weblock.conf`	директива `server_name`, список блоков `location` и их имена
В Личном кабинете, в разделе «Структура» - «Серверы»	настройка защиты «F2B», настройка защиты «Рейт-лимиты»

Примечание

Если меняется какой-либо из упомянутых параметров конфигурации веб-сервера «Weblock.» и настроек защиты, то обновляется конфигурация ML кластера. Это означает, что для восстановления способности регистрировать аномальную активность может потребоваться время на переобучение.

На рисунке ниже показан раздел «ML ADS» с подключенными кластерами.

Создание ML кластера¶

В разделе «ML ADS» по кнопке Добавить создается новый ML кластер.

Кластер – при выборе значения выдается список кластеров, для которых можно создать ML кластер. На каждый кластер можно создать один ML кластер. Если для всех кластеров ML кластеры созданы, то поле будет неактивно и новый ML кластер создать не получится.

Тенант – по умолчанию задано значением «Без тенанта». В данном поле задается тенант, к которому относится кластер. Значение «Без тенанта» предусмотрено для кластера без тенанта.

Тип детектора – задает принципы работы сервиса машинного обучения, определяющие аномальную активность. Поле позволяет выбрать значение из списка:

DefaultAutoencoder_v1 – во время мониторинга формируются «снимки» состояния модуля Weblock.Agent с интервалом 60 секунд. Анализируется заданное количество «снимков». Если проверка выдает отклонение, то регистрируется аномальная активность. Обучается для каждого сервера в кластере.

ML кластер может находиться в одном из состояний:

Ожидание регистрации агентов,
Конструирование детекторов,
Мониторинг,
Пауза.

Конфигурация ML кластера¶

Конфигурирование ML кластера – настройка детектора. Детекторы ML кластера относятся к заданному (при создании ML кластера) типу детектора. Детектор обрабатывает весь кластер.

При изменении конфигурации веб-сервера «Weblock.» и настроек защиты автоматически обновляется конфигурация ML кластера, а именно:

детектор ML кластера останавливается,
проверяется, есть ли ранее созданные (и остановленные) детекторы, которые бы соответствовали новой конфигурации веб-сервера «Weblock.» и настройкам защиты:
- если нет, то создается новый детектор с теми же внешними параметрами (время обучения, минимальное количество снимков) в режиме обучения; по окончании обучения аномальная активность будет регистрироваться;
- если есть, то восстанавливается старый детектор:
  
  если старый детектор не закончил обучение, то он заново обучается, по окончании обучения аномальная активность будет регистрироваться;
  
  если старый детектор ранее прошел обучение, то сразу аномальная активность будет регистрироваться.

В разделе «ML ADS» в списке кластеров по пиктограмме lk_ml_option задается конфигурация ML кластера.

Открывается окно «Конфигурация ML кластера», где, задавая параметры конфигурации, настраивается детектор ML кластера.

Время обучения – задается время обучения в часах.

Значение потерь при обучении – служебное, временно не используется.

Минимальное количество снимков – количество анализируемых «снимков» состояния модуля Weblock.Agent.

По умолчанию заданы рекомендуемые параметры, приведенные в таблице.

Поле	Рекомендуемое значение
Время обучения	6
Минимальное количество снимков	60

Примечание

Алгоритмы машинного обучения дадут лучший результат, если для обучения будет выбран период достаточной активности, но без кибератак. Если в период обучения зафиксирована атака на защищаемый ресурс, то рекомендуем перезапустить обучение.

Просмотр серверов ML кластера¶

Просмотр содержимого ML кластеров доступен по пиктограмме lk_oko в списке ML кластеров. ML кластер состоит из тех же серверов, что и кластер. Для каждого сервера доступны Детектор, История и lk_ml_option (редактирование детектора).

Детектор открывает информацию о детекторе с результатами обучения. Зеленая кнопка детектора выделяет обучающиеся детекторы. Не обучающиеся детекторы имеют серую кнопку.

Чтобы перезапустить обучение, необходимо сначала поставить ML кластер на паузу, как это показано в пункте Пауза для ML кластера, затем нажать кнопку Перезапустить обучение.

История открывает таблицу поминутного состояния ML кластера. Кликая мышью на зеленую ячейку, можно получить информацию в json-формате.

Редактирование детектора сервера осуществляется с помощью пиктограммы lk_ml_option в строке сервера.

Детектор задается созданием конфигурации ML кластера. Первоначально Параметры детектора всех серверов кластера одинаковые и соответствуют параметрам конфигурации ML кластера. В данных настройках можно изменить детектор для каждого сервера.

Интервал дообучения – оставшееся время обучения детектора в минутах.

Кол-во снимков для перехода детектора в обученное состояние – количество анализируемых «снимков» состояния модуля Weblock.Agent до завершения обучения.

Отметка времени последнего снимка обучения – дата последнего снимка обучения.

Просмотр детекторов ML кластера¶

Список детекторов кластера открывается в отдельном окне по пиктограмме lk_roster , доступной в списке ML кластеров. В состоянии «мониторинг» к просмотру доступны детекторы, закрепленные за серверами. В состоянии «пауза» к просмотру доступны детекторы, которые были закреплены за серверами в момент установки паузы.

Чтобы удалить детектор, нажмите на пиктограмму lk_del .

С помощью пиктограммы lk_pen можно отредактировать детектор, также, как это описано выше (по пиктограмме lk_ml_option в строке сервера в списке ML кластеров), открывается окно «Редактирование детектора ML ADS сервера».

Просмотр событий ML кластера¶

События ML кластера можно посмотреть по пиктограмме lk_clock , сортируя их по риску, что показано на рисунке ниже.

Пауза для ML кластера¶

Пауза устанавливается с помощью пиктограммы lk_pause в списке ML кластеров. Пауза определяет минимальную длину паузы; значение задается в минутах, ≥ 0 и ≤ 60. Менять значение можно колесом мыши.

Удаление ML кластера¶

Чтобы удалить ML кластер, сначала следует его остановить, нажав на пиктограмму lk_halt в списке ML кластеров.

После остановки ML кластера станет активной пиктограмма lk_ml_del , с помощью которой можно удалить ML кластер.