XF Bot Guard 1.2.3

XF Bot Guard 1.2.3

Тип выпуска: крупное обновление

Важно: прочтите перед обновлением

XF Bot Guard 1.2.3 — это крупное обновление, касающееся базы данных, хранения данных, отчетности и очистки.

Это не то обновление, которое стоит внедрять на очень крупных форумах без предварительного выбора правильного пути модернизации.

Для большинства небольших и средних форумов обычного процесса обновления дополнений XenForo будет достаточно.

Для очень больших форумов обновление может занять значительно больше времени, поскольку существующие данные Bot Guard необходимо перенести в новую структуру, в том числе внести изменения во внутреннее хешированное хранилище и хранилище сведений о событиях.

Прежде чем приступать к обновлению, определитесь, какой путь вам подходит:

• Обычное обновление: сохраняет существующую историю Bot Guard, события, счетчики, сеансы, данные о посетителях и телеметрию, но на больших форумах может занять больше времени.
• Чистая установка: запишите конфигурацию Bot Guard, удалите Bot Guard, установите версию 1.2.3, а затем заново введите конфигурацию. Это позволит избежать переноса старой телеметрии Bot Guard, но исторические данные Bot Guard будут утеряны.

Если вы хотите сохранить исторические данные Bot Guard, используйте обычный способ обновления.

Если у вас очень большой форум и вам не нужна старая телеметрия Bot Guard, лучше воспользоваться способом удаления/переустановки.

Проверьте настройки хранения данных после обновления

В XF Bot Guard 1.2.3 изменена модель хранения данных.

Некоторые настройки хранения данных были изменены с хранения в течение суток на хранение в течение часа, а также были введены новые значения по умолчанию.

После обновления ознакомьтесь с новыми параметрами хранения данных и подумайте, актуальны ли ваши прежние настройки.

Для начала рекомендуется попробовать новые настройки по умолчанию.

Новые значения по умолчанию для хранения

Тип данных	По умолчанию	Простой английский
Необработанные данные о событии	336 часов	14 дней
Данные о посетителях	336 часов	14 дней
Данные сеанса	336 часов	14 дней
Данные счетчика	336 часов	14 дней
Моментальные снимки панели мониторинга	17 520 часов	2 года
IP-данные с нулевым сигналом	2160 часов	90 дней

Максимальное время хранения необработанных данных о событиях, посетителях, сессиях и показателях счетчика:

Код:

Код:Скопировать

720 hours
= 30 days

Новая модель разработана с учетом следующих особенностей:

Код:

Код:Скопировать

shorter raw data retention
+ longer dashboard snapshot retention
= useful long-term visibility without unnecessary raw database growth

Если раньше вы увеличивали срок хранения необработанных данных в основном для наглядности на панели управления, возможно, вам больше не нужно хранить необработанные данные Bot Guard так долго.

Аналогичным образом, если ранее вы сократили срок хранения необработанных данных в основном для того, чтобы контролировать рост базы данных, возможно, теперь, когда изменились процессы очистки и создания отчетов по снимкам, вам стоит пересмотреть этот подход.

Спасибо [COLOR=rgb(20, 116, 184)]@eva2000[/COLOR]

Выражаем благодарность [COLOR=rgb(20, 116, 184)]@eva2000[/COLOR] за подробный и очень полезный отчет о росте объемов данных и их хранении, который помог нам понять суть этого обновления.

В этом отчете подчеркивается, что очень активные форумы могут генерировать большое количество телеметрических данных Bot Guard, и приводится несколько практических рекомендаций по их хранению, очистке, увеличению базы данных и составлению долгосрочных отчетов.

XF Bot Guard 1.2.3 во многом призван решить эту проблему.

Что делает этот релиз

Этот выпуск делает панель управления более практичной в долгосрочной перспективе, особенно на загруженных форумах, где невозможно постоянно отслеживать каждое необработанное событие Bot Guard.

Добавлены ежечасные снимки с информационной панели, новые параметры хранения данных, более безопасная очистка и улучшения в работе внутренней базы данных, призванные со временем снизить нагрузку на нее.

В простых выражениях:

• на дашборде теперь есть собственные долгосрочные сводные данные;
• необработанные данные о событиях, сессиях, посетителях и счетчиках можно хранить в течение более короткого периода;
• долгосрочные отчеты на дашборде по-прежнему доступны;
• очистка теперь выполняется в более безопасных пакетах;
• несколько внутренних хэш-полей перенесены в более компактное двоичное хранилище;
• крупные форумы получают более стабильное развитие, но им следует тщательно выбирать путь обновления.

Это небольшое техническое обновление, которое улучшает отображение активности посетителей в XF Bot Guard в XenForo.

• Предотвращено появление фонового сборщика данных для верификации браузера в качестве текущей страницы посетителя на страницах онлайн-активности XenForo.
• Улучшена отчетность об активности, благодаря чему у реальных посетителей снижается вероятность того, что при обычном просмотре они будут выглядеть так, будто просматривают внутреннюю конечную точку для верификации.
• В этом выпуске не было изменено ни поведение при вызове, ни логика верификации, ни решения по отслеживанию посетителей.

XF Bot Guard 1.0.6 — первый стабильный релиз и повышение отказоустойчивости в производственной среде​

XF Bot Guard 1.0.6 теперь считается первой стабильной версией дополнения.

В этом выпуске основное внимание уделяется повышению безопасности, стабильности, скорости работы и удобству мониторинга платформы 1.0.x на реальных рабочих форумах XenForo. Базовая модель защиты осталась прежней, но внутреннее поведение было оптимизировано для серьезных форумов с консервативными настройками.

Основные цели этого релиза:

• Снижение уровня шума в журнале событий
• Разделение операционных счетчиков и журналов аудита
• Повышение производительности в наиболее загруженных областях
• Более наглядная индикация работоспособности и статуса для администраторов
• Улучшение очистки и хранения данных
• Консервативные настройки по умолчанию для стабильного использования в производственной среде

Версия 1.0.6 — это первая стабильная версия XF Bot Guard.

В предыдущих версиях 1.0.x были реализованы основной процесс решения задач, сбор данных в браузере, обработка доверенных поисковых роботов, модель оценки и процесс верификации. В этом релизе мы укрепили эту основу для более широкого использования в производственной среде.

После установки надстройка по-прежнему отключена по умолчанию, а режим работы по умолчанию остается консервативным.

XF Bot Guard теперь хранит легкие внутренние счетчики отдельно от основного журнала событий.

Раньше некоторые решения по скорингу и ограничению скорости в значительной степени зависели от последних строк в таблице событий аудита. Из-за этого было сложнее безопасно сократить количество логов с низкой ценностью, поскольку удаление этих строк могло повлиять на видимость скоринговых показателей.

В версии 1.0.6 операционные счетчики с коротким окном хранятся отдельно и используются для принятия решений, связанных с недавними запросами, недавними обращениями по ошибочным маршрутам, недавними обращениями по конфиденциальным маршрутам, а также для ограничения частоты неудачных попыток ввода CAPTCHA.

Это означает, что XF Bot Guard теперь может снизить нагрузку на журнал аудита, не ослабляя при этом систему подсчета баллов и ограничения скорости, которые зависят от недавней активности.
Строки аудита с низкой ценностью теперь контролируются отдельно от важных событий, связанных с безопасностью и проверкой.

По умолчанию XF Bot Guard больше не записывает обычные строки с низким приоритетом allow/skip для каждого обычного безопасного гостевого запроса.

Это помогает избежать ситуации, когда на загруженных форумах таблица событий Bot Guard заполняется бесконечными рутинными действиями, связанными с просмотром, но при этом сохраняются полезные события, связанные с безопасностью.

При включенном ведении журнала аудита регистрируются важные события, в том числе:

• События, требующие подтверждения
• События, связанные с прохождением/непрохождением CAPTCHA
• Ограничение скорости прохождения CAPTCHA
• Решения о разрешении доступа для известных поисковых роботов
• События, связанные с сбоем в работе сборщика данных
• Сбои в работе сборщика данных из-за одноразового номера/подтверждения
• Проблемы с конфигурацией хэша секрета или хэша сборщика данных
• Запросы на повторный сбор данных в браузере
• Действия при возникновении ошибок

Администраторы, которым нужны более подробные логи в бета-версии, могут снова включить ведение журналов малозначимых событий в настройках Bot Guard.
Добавлена новая опция для настройки частоты дискретизации.

Это позволяет администраторам хранить небольшую выборку разрешенных строк с низким приоритетом для наглядности, не регистрируя при этом каждый обычный безопасный запрос.

Например, на загруженном форуме можно включить ведение журнала аудита для событий, связанных с безопасностью, и при этом отслеживать лишь небольшой процент рутинных разрешений.

Частота дискретизации по умолчанию — 0 %.
Количество проверок на наличие связей было сокращено, поэтому они больше не пересчитываются при каждом подходящем запросе.

XF Bot Guard по-прежнему отслеживает полезные сигналы о связях, такие как связи между посетителями и IP-адресами, связи между страной посетителя и ASN, а также связи между IP-адресами и «отпечатками» пользователей, но теперь эти данные обновляются периодически, а не запрашиваются при каждом оцениваемом запросе.

Это снижает нагрузку на базу данных при обычном повторном посещении сайта, но при этом сохраняются общие показатели ранжирования.
Новая таблица счетчиков операций автоматически очищается с помощью существующего cron-скрипта Bot Guard.

Противоположные ряды недолговечны и срезаются примерно через 48 часов.

Это позволяет сосредоточиться на текущих рабочих задачах и не дает таблице бесконечно разрастаться.

Существующие правила очистки данных о событиях, посетителях, сеансах, отпечатках пальцев/IP-адресах и онлайн-заданиях остаются в силе.

В XF Bot Guard теперь есть страница с информацией о работоспособности и статусе администратора, которая упрощает проверку производственной среды.

На странице работоспособности отображаются четкие столбцы с информацией о состоянии, предупреждениях и ошибках, связанных с важными проверками конфигурации и среды выполнения, в том числе:

• Состояние включения/отключения Bot Guard
• Статус сбора данных с помощью JavaScript
• Конфигурация CAPTCHA в XenForo
• Статус изменения шаблона PAGE_CONTAINER
• Наличие пакета JavaScript-ресурсов Bot Guard
• Наличие пакета FingerprintJS
• Статус ведения журнала аудита
• Статус ведения журнала аудита с низким приоритетом
• Частота выборки событий
• Настройки хранения событий, посетителей и сессий
• Статус доверия к известному краулеру
• Подтверждение блокировки источника известного краулера
• Приблизительный размер таблицы событий
• Приблизительный размер таблицы счетчиков
• Доступность хэш-секрета / глобальной соли XenForo

Раздел «Здоровье» предназначен для того, чтобы администраторы могли быстро проверить, правильно ли настроено дополнение, прежде чем использовать его в рабочей среде.
В этом выпуске добавлена новая опция подтверждения блокировки источника для форумов, поддерживающих работу с доверенными поисковыми роботами.

Достоверность решений, принимаемых поисковыми роботами, зависит от надежности заголовков запросов, связанных с поисковыми роботами. Эти заголовки можно считать достоверными только в том случае, если посетители не могут обойти уровень прокси-сервера или CDN и напрямую обратиться к исходному серверу, подменив заголовки.

Если функция «Доверие к известным поисковым роботам» включена, но блокировка источника не подтверждена, XF Bot Guard теперь отображает предупреждение на странице работоспособности.

Это не блокирует работу. Это всего лишь предупреждение для администраторов.
Сохраненные события, связанные с принятием решений или обеспечением безопасности, теперь могут содержать упрощенные метаданные о времени.

Это может быть время принятия решения, время обработки данных о рисках, время подсчета очков, время подсчета счетчиков, а также информация о том, проводился ли полный подсчет очков.

Это сделано для того, чтобы можно было диагностировать проблемы в работе приложения, не отображая отладочные данные на общедоступных страницах.
Стабильные значения по умолчанию остаются консервативными.

В частности:

• Bot Guard по-прежнему отключен по умолчанию
• Защита только для гостей по-прежнему включена по умолчанию
• Методы проверки остаются консервативными
• Доверие к известным поисковым роботам по-прежнему отключено по умолчанию
• Жесткое блокирование по-прежнему отключено по умолчанию
• Исключение AJAX по-прежнему включено по умолчанию
• Строгое поведение без поддержки браузеров/без исключений по-прежнему включено
• Поведение с разрешением для Bootstrap по-прежнему включено
• Ведение журнала важных аудиторских проверок по-прежнему включено
• Ведение журнала с разрешением для малозначимых строк по-прежнему отключено по умолчанию

В этом выпуске предпочтение отдается предсказуемому поведению системы, а не агрессивным новым идеям в области обнаружения.
В этом выпуске добавлена новая внутренняя таблица:

Код:
xf_zee_botguard_counter

В этой таблице хранятся недолговечные операционные счетчики, используемые для подсчета очков и определения лимитов скорости.

Таблица автоматически поддерживается XF Bot Guard и очищается в рамках существующего процесса очистки.
После обновления администраторы должны проверить и сохранить настройки Bot Guard, так как в них появились новые параметры.

Администраторы, использующие доверенные поисковые роботы, также должны убедиться, что их настройки прокси-сервера/CDN и исходного сервера не позволяют получить прямой доступ к исходному серверу, прежде чем подтверждать блокировку исходного сервера.

Администраторы, которые ранее полагались на очень подробное ведение журнала allow-row, могут снова включить ведение журнала малозначимых событий или настроить выборку allow-event в параметрах Bot Guard.

Администраторам также следует ознакомиться с новой страницей состояния Bot Guard, на которую можно перейти со страницы журналов.
XF Bot Guard 1.0.6 — это стабильная версия, готовая к использованию.

Это позволяет сократить рост журнала рутинных событий, вывести счетчики оценки из журнала аудита, снизить нагрузку на базу данных, повысить прозрачность для администраторов, улучшить поведение при хранении данных и сохранить консервативную конфигурацию по умолчанию.

Это рекомендуемая стабильная основа для рабочих форумов XenForo с использованием XF Bot Guard.

Перенаправление, укрепление коллекторов и усовершенствование процесса проверки.​

Это обновление улучшает процесс проверки XF Bot Guard, целостность браузера-сборщика данных, обработку доверенных поисковых роботов и интеграцию с XenForo без изменения основной модели защиты.
Исправлена ошибка, из-за которой посетители, прошедшие CAPTCHA, могли возвращаться на главную страницу форума, а не на ту страницу, на которую они пытались попасть.

XF Bot Guard теперь сохраняет исходный безопасный URL-адрес, запрашиваемый в процессе проверки, и после успешной проверки возвращает посетителя на эту страницу.

Сюда входят сценарии с первым посещением и новой сессией, например, когда посетитель открывает защищенную ветку или страницу форума до того, как у него появится сессия на форуме.

Небезопасные цели возврата отклоняются автоматически, в том числе внешние URL-адреса, маршруты Bot Guard, маршруты входа/выхода/регистрации, маршруты API, пути для администрирования/установки, пути в стиле вебхуков, пути в стиле платежных обратных вызовов, а также некорректные значения.

Если исходный URL для возврата отсутствует или небезопасен, XF Bot Guard, как и раньше, безопасно перенаправляет на индекс форума.
Обнаружение известных разрешенных поисковых роботов теперь работает как полноценное разрешение, если включена обработка доверенных поисковых роботов.

Ранее обнаружение известных краулеров снижало показатель риска, но запрос все равно мог быть отклонен, если по другим причинам набирал достаточно высокий балл.

XF Bot Guard по-прежнему вычисляет и регистрирует оценку для мониторинга, но подтвержденные запросы от известных ботов могут быть разрешены на уровне принятия решений без лишних проверок.

Это позволяет отслеживать работу поисковых роботов в журнале событий, а также обеспечивает более стабильное поведение доверенных поисковых роботов.
Браузерный сборщик данных теперь использует недолговечные доказательства, выдаваемые сервером, чтобы лучше привязывать данные, собранные сборщиком, к текущей странице, сеансу и временному окну.

Из-за этого сборщикам данных становится сложнее воспроизвести или синтезировать данные независимо от реальной загрузки страницы.

Достоверность данных, полученных от коллектора, проверяется до того, как метаданные браузера будут приняты в качестве подтверждения надежности коллектора. Недействительные, просроченные, повторно использованные, отсутствующие или несовпадающие данные, полученные от коллектора, обрабатываются безопасным способом и регистрируются для мониторинга.

Эта защита рассчитана на безопасный сбой без нарушения нормальной загрузки страницы.
XF Bot Guard теперь может запрашивать обновление данных браузера при изменении контекста запроса, что может снизить надежность старых метаданных.

Примеры включают:

• Изменения в семействе User-Agent
• Изменения в стране
• Изменения в ASN, если таковые имеются
• Устаревшие метаданные сборщика
• Подозрительные семейства маршрутов
• Отсутствие метаданных сборщика, несмотря на наличие отпечатка посетителя
• Несоответствия в связях между отпечатком и сеансом

Это не приводит к немедленному включению CAPTCHA. Это промежуточный этап, на котором XF Bot Guard может обновить данные браузера, прежде чем перейти к проверке.
В этом обновлении добавлен небольшой уровень риска для семейства маршрутов, которые обычно используются для сбора данных или их перечисления.

Примеры включают:

• Страницы поиска
• Страницы в стиле «Что нового»
• Список участников и перечисление профилей
• Глубокая пагинация
• Повторное перечисление или обход индекса

Это лишь незначительные вспомогательные факторы риска. Они призваны повысить объяснимость и точность оценки, не оказывая существенного влияния на итоговую оценку риска.
Убрал предсказуемый запасной путь для хеширования.

XF Bot Guard теперь использует настроенный хэш-секрет Bot Guard, если он доступен, или глобальную соль XenForo, если она доступна.

Если ни то, ни другое не доступно, XF Bot Guard не генерирует предсказуемые хэши, при необходимости блокирует доступ для посетителей и регистрирует проблему с конфигурацией, чтобы администратор мог ее устранить.
В файлах cookie Bot Guard теперь используются явные современные атрибуты файлов cookie.

Теперь для файлов cookie установлено значение SameSite=Lax, используется протокол Secure при передаче по протоколу HTTPS, а доступ к JavaScript разрешен только в тех случаях, когда это действительно необходимо браузеру.

Это повышает согласованность работы с файлами cookie в современных браузерах, сохраняя при этом совместимость с поддерживаемыми версиями XenForo.
В разделе «Текущие посетители / онлайн-пользователи» на XenForo теперь отображается более четкий текст об активности пользователей.

Теперь посетители, проходящие верификацию, должны видеть общую информацию о процессе верификации, а не неизвестный или непонятный маршрут.

Отображаемый текст действия не содержит конфиденциальных URL-адресов возврата, хэшей посетителей, хэшей IP-адресов, идентификаторов отпечатков, значений nonce или метаданных запроса.
В существующем журнале событий XF Bot Guard теперь более наглядно отображаются новые сценарии поведения.

Новые или улучшенные возможности отображения событий:

• URL-адрес для возврата с помощью CAPTCHA восстановлен или безопасно удален
• Известные случаи переопределения уровня принятия решений поисковыми роботами
• Сбои при проверке доказательств, собранных коллектором
• Запросы на повторный сбор данных в браузере
• Модификаторы рисков для семейства маршрутов
• Проблемы с конфигурацией секретного ключа хеширования / глобальной соли

Коды причин и метаданные по-прежнему используют существующую структуру журнала событий.
В этом выпуске представлен набор инструментов для проверки работоспособности и состояния внутренних компонентов, который используется для улучшения тестирования релизов.

Обвязка охватывает такие ключевые функции, как переопределение доверия к CAPTCHA, переопределение известных поисковых роботов, проверка URL-адреса возврата, отклонение небезопасных возвратов, отклонение самомаршрутов Bot Guard, проверка подлинности сборщика данных, очистка метаданных, энтропийная оценка, классификация маршрутов, исключенные пути/маршруты/методы и поддержка онлайн-активности Bot Guard.

Этот внутренний инструмент дополняет обычное ручное тестирование совместимости XenForo 2.1, 2.2 и 2.3.
Это обновление не требует изменения схемы базы данных и добавления новой страницы конфигурации администратора.

Администраторы, использующие доверенную обработку поисковых роботов, должны убедиться, что их прокси-сервер и среда заголовков настроены должным образом, поскольку решения о доверии к поисковым роботам зависят от надежности заголовков запросов.

Усиление защиты браузера и повышение надежности CAPTCHA​

Это обновление улучшает проверку браузера XF Bot Guard и обработку запросов без изменения основной модели защиты.
XF Bot Guard теперь собирает и анализирует более широкий спектр легковесных браузерных сигналов, чтобы лучше выявлять подозрительные или автоматизированные шаблоны трафика. Эти проверки помогают отличить обычную активность браузера от сеансов, которые кажутся непоследовательными, неполными, автоматизированными или искусственно созданными.

Новые проверки включают в себя:

• Обнаружение артефактов WebDriver и автоматизации
• Проверка согласованности User-Agent и Client Hints
• Проверка согласованности платформы, экрана, сенсорного управления и аппаратного обеспечения
• Проверка правдоподобности языка, часового пояса и страны
• Проверка загрузки и рендеринга ресурсов
• Проверка согласованности возможностей использования файлов cookie

Эти сигналы используются только в качестве вспомогательных факторов риска. Они не заменяют существующую скоринговую модель.
Теперь сигналы о согласованности работы браузеров ограничены, чтобы не наказывать слишком сильно необычные, но легальные браузеры, расширения для защиты конфиденциальности, старые устройства или нестандартные сетевые конфигурации.

Индикаторы высокой степени автоматизации, такие как явное использование WebDriver или безголового браузера, по-прежнему могут существенно влиять на оценку риска.
Браузерный сборщик теперь хранит более подробные, но при этом конфиденциальные метаданные. XF Bot Guard по-прежнему не сохраняет необработанную энтропию компонентов FingerprintJS, необработанные IP-адреса и неограниченные данные на стороне клиента.

Собранные метаданные ограничиваются компактными сигналами о браузере и согласованности запросов, которые используются для оценки риска использования ботов.
Исправлена ошибка, из-за которой посетителю, успешно прошедшему CAPTCHA, сразу же снова предлагалось пройти проверку, если его базовый показатель риска оставался высоким.

При успешном прохождении CAPTCHA теперь корректно учитывается заданная продолжительность периода доверия. В течение активного периода доверия посетитель может пройти проверку без повторного запроса.

Новые факторы риска, связанные с согласованностью браузеров, теперь отображаются в существующем журнале событий XF Bot Guard в виде именованных кодов причин со значениями баллов.

Окно подтверждения CAPTCHA также позволяет вести четкий учет, чтобы было проще понять, когда посетителю разрешили пройти проверку.

Это обновление не добавляет новых параметров конфигурации и не требует внесения изменений в схему базы данных.

• Новая настройка по умолчанию помогает предотвратить получение начального «льготного периода» для трафика с высоким уровнем риска и без проверки браузера.
• Если эта функция включена, Bot Guard принимает более взвешенное решение о допустимом уровне риска, прежде чем разрешить «льготный период».

• В разделе «Участники» и в статистике онлайн-активности теперь не учитываются посетители, которые в данный момент проходят проверку XF Bot Guard и еще не прошли верификацию.
• Добавлена новая строка «Боты» под статистикой онлайн-активности, чтобы показывать, сколько посетителей в данный момент проходят проверку Bot Guard.
• Добавлена новая опция для администраторов, позволяющая включать и отключать корректировку онлайн-активности Bot Guard. По умолчанию эта опция включена.
• Добавлена автоматическая очистка данных о временном отслеживании онлайн-активности, чтобы предотвратить ненужный рост таблицы в долгосрочной перспективе.
• Улучшена обработка установки/обновления для задач очистки Bot Guard по расписанию, благодаря чему необходимые задания по очистке остаются активными и выполняются по расписанию.
• Улучшена совместимость с XenForo 2.1, 2.2 и 2.3 для отслеживания онлайн-активности за счет синхронизации отслеживания запросов Bot Guard с собственными записями об активности сессий в XenForo.