XF Bot Guard 1.3.3

Важные примечания по обновлению для существующих клиентов:

В этом выпуске добавлены новые файлы для поиска IP-адресов по странам/ASN и локальный считыватель MMDB, в результате чего размер дополнительного пакета увеличился примерно до 30 МБ.

Если вы обычно загружаете дополнения через XenForo ACP, возможно, вам потребуется увеличить значения параметров PHP post_max_size и upload_max_filesize для загрузки файлов большего размера. В противном случае загрузите файлы вручную через FTP, SFTP или SCP перед обновлением.

Тип выпуска: минорная версия

XF Bot Guard 1.3.3 — это обновление, направленное на повышение надежности, прозрачности и безопасности. Оно направлено на снижение количества ложных срабатываний при обычной навигации по XenForo, улучшение видимости по странам и автономным системам нумерации, повышение отказоустойчивости Cloudflare Edge Enforcement, ужесточение обработки токенов безопасности, а также упрощение настройки и диагностики для администраторов.

Улучшение: более продуманная хронология ссылок для форм и перенаправлений

Link Chronology теперь безопасно обрабатывает более распространенные пути навигации по XenForo, в том числе некоторые действия в нативных формах и продолжения редиректов с того же источника. Это помогает снизить количество ложных срабатываний, когда легитимные пользователи перемещаются по таким разделам, как поиск, теги, раздел «Что нового», а также по разделам после редиректа, при этом защищая от прямого парсинга защищенных URL-адресов, которые никогда не были доступны посетителю. Чтобы использовать эту функцию, включите Link Chronology в настройках XF Bot Guard. Отключайте ее только в том случае, если вы внедряете систему постепенно или не можете настроить WAF на хостинге.

Функция: резервный поиск по стране и ASN

XF Bot Guard теперь может использовать объединенные базы данных по странам и ASN-идентификаторам локальных IP-адресов, если недоступны доверенные прокси-заголовки. Это означает, что сигналы на основе страны и ASN-идентификатора будут более полезными при использовании большего количества хостингов, поскольку IP-адреса посетителей не будут передаваться во внешнюю службу поиска во время запросов. Загрузите полный пакет обновлений, а затем убедитесь, что объединенные базы данных работают корректно в разделе Дополнительно → Проверка работоспособности. Отдельный ключ API или внешняя учетная запись не требуются.

Функция: карта и таблица давления в разных странах

На панели управления теперь есть раздел «Давление со стороны страны», в котором показано, откуда поступают запросы на принудительное вмешательство, запросы на проверку браузера, которые не обрабатываются, и запросы на вмешательство только для наблюдения. Это позволяет администраторам получить более четкое представление о давлении со стороны злоумышленников в разбивке по регионам и принимать более взвешенные решения в отношении сетевых правил, региональных закономерностей и настроек только для наблюдения. После обновления откройте панель управления XF Bot Guard. Данные о давлении со стороны страны начнут накапливаться с момента обновления и не будут восстанавливаться ретроспективно на основе существующих снимков панели управления.

Исправление: безопасная для гонок очередь Cloudflare Edge

Очередь кандидатов Cloudflare Edge стала безопаснее, если несколько запросов с одного и того же IP-адреса удовлетворяют требованиям одновременно. Вместо того чтобы выдавать ошибку при дублировании записи в очереди, XF Bot Guard перезагружает и обновляет существующую запись о кандидате. Это повышает надежность во время всплесков трафика и помогает Cloudflare Edge Enforcement поддерживать актуальное состояние кандидатов. Включать ничего не нужно — эта функция активируется автоматически при включении Cloudflare Edge Enforcement.

Функция: принудительное отключение для сетей с принудительным вызовом

Принудительные сети для проверки подлинности теперь можно при желании рассматривать как сети с жестким запретом. Это полезно, если у вас есть определенные IP-адреса, диапазоны адресов или автономные системы нумерации, для которых проверка подлинности больше не требуется, и вы хотите, чтобы XF Bot Guard выдавал прямой отказ. Добавьте соответствующие сети в настройки принудительной проверки подлинности, а затем включите жесткий запрет для принудительных сетей.

Функция: очистка в часы, выбранные администратором

Теперь администраторы могут выбирать часы, в которые разрешена обрезка контента в XF Bot Guard. Это позволяет не проводить масштабную очистку в периоды пиковой нагрузки на форумах. По умолчанию очистка разрешена в течение всего дня, поэтому после обновления существующие сайты будут работать так же. Чтобы воспользоваться этой функцией, установите время начала и окончания очистки в настройках XF Bot Guard, а затем проверьте текущий статус очистки в разделе Дополнительно → Проверка работоспособности.

Усиление защиты: работа с токенами, защищенными CSPRNG

Для токенов безопасности теперь используются более строгие правила безопасной генерации случайных чисел. Если безопасный источник случайных чисел в PHP недоступен, XF Bot Guard не будет создавать токены безопасности с уязвимостями, а не будет использовать менее надежные значения. Это защищает потоки токенов сбора, возврата, непрерывности, отчетов и канареечных токенов от небезопасной генерации случайных чисел. Никаких настроек не требуется. Проверьте «Дополнительно» → «Проверка работоспособности», чтобы убедиться, что безопасная генерация случайных чисел работает корректно.

Документация: совместимость ModSecurity / Comodo CWAF

В документации теперь есть специальные рекомендации для хостов, использующих ModSecurity или Comodo CWAF. Некоторые общие правила WAF могут давать ложные срабатывания в отношении файлов cookie, принадлежащих Bot Guard, особенно при наличии резервных файлов cookie Link Chronology. В новых рекомендациях описаны симптомы, которые следует искать в журналах аудита WAF, а также способы исключения только значений файлов cookie XF Bot Guard без глобального отключения ModSecurity. Воспользуйтесь этими рекомендациями, если на вашем сайте появляются ошибки WAF после включения более продвинутых сигналов защиты.

Исправление: отображение темного режима ACP до версии XF 2.3

Стилизация XF Bot Guard в ACP была скорректирована таким образом, чтобы в старых версиях XenForo не применялся темный режим в стиле XF 2.3. Это делает страницы администратора Bot Guard более удобными для чтения в версиях до XF 2.3, сохраняя при этом современный темный режим там, где он поддерживается. Настраивать ничего не нужно. Если после обновления в браузере администратора все еще отображается старая стилизация, обновите кэш браузера.

Улучшение: более удобный порядок выбора опций ACP

Порядок параметров XF Bot Guard стал более логичным. Связанные элементы управления теперь сгруппированы более естественным образом, что упрощает сканирование ACP и снижает вероятность того, что важные настройки будут пропущены. Существующие значения параметров сохранены. После обновления откройте параметры XF Bot Guard, чтобы увидеть обновленный интерфейс.

Улучшение: более понятные формулировки и документация

Фразы и документация в надстройке были приведены в соответствие друг с другом, поэтому в пользовательском интерфейсе, документации, проверках работоспособности, формулировках в журнале событий, формулировках Cloudflare Edge Enforcement и рекомендациях службы поддержки используется более единообразный язык. Это не влияет на работу защиты, но упрощает настройку, устранение неполадок и общение со службой поддержки после обновления.

Укрепление: проверка статической совместимости PHP 7.2

В процессе выпуска новой версии теперь используется дополнительный механизм проверки совместимости с синтаксисом и сигнатурами PHP 7.2. Это помогает предотвратить случайную установку кода, предназначенного только для новых версий PHP, на системы клиентов, которые все еще используют поддерживаемые версии XenForo/PHP. Включать ничего не нужно — это проверка качества выпуска, которая делает обновления более безопасными.

Укрепление: общие улучшения в области безопасности и поддержки

В этом выпуске также были внесены небольшие изменения в систему безопасности запросов, получение данных из внешних источников, запись о сбоях в работе краулера, исключение вложений и ресурсов, защита внутренних идентификаторов, диагностика синхронизации параметров Cloudflare и сигналы о работоспособности пакетов поддержки. Эти изменения сокращают количество ложных срабатываний в пограничных случаях, упрощают диагностику сбоев в работе системы и позволяют лучше контролировать конфиденциальную диагностику. Никаких действий не требуется: эти улучшения применяются автоматически после обновления.

В XF Bot Guard 1.3.2 основное внимание уделяется снижению нагрузки на сервер, более точному обнаружению ботов на форумах и повышению стабильности работы на крупных сайтах. В новой версии расширено кэширование данных для защиты по наиболее важным направлениям, добавлены новые поведенческие сигналы, связанные с хронологией ссылок и временем пребывания на сайте, повышена надежность панели управления, а также добавлена новая проверка работоспособности для устранения проблем с URL-адресами досок объявлений.

Более быстрая защита с помощью более дешевого считывания данных с горячих дорожек

XF Bot Guard уже использовал кэш приложений XenForo на основном «горячем» пути. В версии 1.3.2 этот подход с использованием кэша был распространен на все совместимые «горячие» пути, включая такие области, как счетчики, поиск проверенных ботов, сопоставление сетей, анализ шаблонов быстрого ответа, контекстные ссылки и состояние хронологии ссылок. Проще говоря, это означает, что Bot Guard может избежать множества повторяющихся запросов на чтение из базы данных при высокой нагрузке за счет повторного использования кэшированных данных, если это возможно.

В Bot Guard нет ничего нового, что можно было бы включить. Если кэш приложений XenForo настроен и заполнен, Bot Guard будет использовать его автоматически. В противном случае Bot Guard будет по-прежнему обращаться к базе данных и продолжит работать в обычном режиме, но форумам с высокой посещаемостью настоятельно рекомендуется включить кэш приложений XenForo. Лучше всего использовать Memcached, на втором месте — Redis. APC/APCu может быть полезен для небольших односерверных установок, но не рекомендуется для крупных и посещаемых сообществ.

Более интеллектуальная проверка переходов по ссылкам на форуме

Функция «Хронология ссылок» помогает Bot Guard отличать обычный просмотр от перехода по URL-адресам, характерного для парсеров. Когда посетитель просматривает защищенную страницу, Bot Guard сохраняет в течение короткого времени информацию о защищенных внутренних ссылках, которые были видны на этой странице. При следующем защищенном запросе система может определить, переходит ли посетитель по ссылке, которую ему недавно показали, перезагружает ли ту же страницу или сразу переходит на другой защищенный URL, который не был частью его недавнего пути.

Это важно, потому что реальные пользователи обычно переходят по видимым ссылкам на форумах, в то время как боты часто используют списки URL-адресов, предполагаемые пути, скопированные маршруты или прямой обход защищенных страниц. Сигнал адаптируется под каждый форум, поскольку строится на основе реальных страниц, ссылок и структуры маршрутов этого форума. Он включен по умолчанию, но его можно настроить или отключить в разделе «Хронология ссылок». Он повышает риск, но не приводит к полной блокировке.

Обучение с учетом времени пребывания на форуме

Анализ времени пребывания на странице позволяет Link Chronology лучше понять, как выглядит «обычный» просмотр в каждом отдельном сообществе. Bot Guard анализирует навигацию зарегистрированных пользователей, чтобы определить приблизительные локальные границы того, сколько времени люди обычно проводят между переходами между защищенными страницами. На быстро развивающемся форуме службы поддержки, на форуме с длинными обсуждениями и в сообществе, ориентированном на СМИ, обычное поведение пользователей может быть разным, поэтому Bot Guard анализирует сам форум, а не опирается на одно фиксированное глобальное правило.

Эта функция разработана таким образом, чтобы не нарушать конфиденциальность пользователей. Bot Guard не нужно идентифицировать отдельных участников, хранить историю их просмотров или знать, что именно они читали, чтобы построить эту модель. Она использует локальные совокупные данные о поведении пользователей, чтобы понять обычный ритм работы форума, а затем добавляет ограниченные риски только в тех случаях, когда переход по защищенной ссылке происходит слишком быстро или слишком медленно по сравнению с обычным поведением пользователей на этом форуме. Если локальных данных недостаточно, оценка времени пребывания на сайте просто не применяется.

Более надежная панель управления для крупных сайтов

Теперь на дашборде не загружаются в память неограниченные строки с метриками маршрутов и времени. Отчеты о маршрутах ограничиваются наиболее релевантными маршрутами, результаты маршрутов извлекаются только для выбранных маршрутов, а сводки по времени рассчитываются с учетом ограничений по памяти.

Это позволяет избежать нехватки памяти в панели управления при работе с большими или загруженными системами. Ничего включать не нужно. Обновите панель управления и используйте ее в обычном режиме.

Проверка работоспособности источника URL-адреса доски объявлений

Проверка работоспособности теперь сверяет исходный URL-адрес форума XenForo с исходным адресом текущего публичного запроса. Это помогает выявлять распространенные проблемы с конфигурацией, такие как несоответствие HTTP/HTTPS, неправильный хост, несоответствие www/не-www, несоответствие портов или проблемы с обработкой прокси.

Это важно, поскольку несовпадение источников может повлиять на проверку браузера на соответствие одному источнику, URL-адреса пробных запросов и URL-адреса ресурсов. Чтобы воспользоваться этой функцией, после обновления откройте страницу проверки работоспособности XF Bot Guard и просмотрите результат проверки источника URL-адреса доски. Если система сообщит о проблеме, исправьте URL-адрес доски XenForo или конфигурацию HTTPS/хоста вашего прокси-сервера, а затем повторите проверку.

Количество постоянных участников в Интернете увеличивается

При корректировке онлайн-показателей Bot Guard теперь используется единый показатель активности сессий XenForo, а не совокупность отдельных показателей, которые могут незначительно отличаться при перемещении или загрузке.

Это устраняет временные несоответствия в общем количестве онлайн-пользователей, включая участников, гостей и тех, чьи аккаунты были заблокированы. Это изменение применяется автоматически, если включена защита от ботов и опция корректировки количества онлайн-пользователей.

Важные примечания по обновлению для существующих клиентов:

Для прямого обновления до XF Bot Guard 1.3.1 требуется, чтобы на вашем сайте уже была установлена XF Bot Guard 1.2.9 (1020970) или более новая версия. Если на вашем сайте установлена более старая версия XF Bot Guard, сначала обновите ее до промежуточной версии, которая все еще содержит устаревшие миграции, убедитесь, что обновление прошло успешно, а затем установите версию 1.3.1. Пользователи, у которых уже установлена версия 1.2.9, 1.3.0 или более новая, могут выполнить обновление в обычном режиме.

Тип выпуска: минорная версия

В XF Bot Guard 1.3.1 основное внимание уделяется более безопасным обновлениям, более понятным отчетам на панели управления, более надежным контекстным ссылкам, улучшенной поддержке локализации, безопасной для конфиденциальности диагностике и снижению нагрузки на базу данных. Большинство изменений применяются автоматически после обновления и не требуют дополнительных настроек.

Более безопасные прямые обновления с поддерживаемых версий

XF Bot Guard теперь строго соблюдает поддерживаемый базовый уровень прямого обновления до версии 1.2.9 или более новой. Это предотвращает попытки очень старых версий системы напрямую перейти на новую схему без необходимых этапов миграции. Если у вас уже установлена версия 1.2.9 или более новая, просто обновите систему как обычно. Если у вас более старая версия, сначала обновите ее с помощью необходимого переходного выпуска.

Более наглядные предупреждения о покрытии снимка приборной панели

Теперь на дашборде отображается предупреждение о том, что выбранный временной диапазон еще не полностью охвачен доверенными снимками. Это позволяет избежать ситуации, когда неполные графики воспринимаются как «отсутствие активности ботов», хотя на самом деле проблема заключается в отсутствии, задержке или незавершенности создания снимков дашборда. Откройте дашборд в обычном режиме. Если появится предупреждение, проверьте выбранный диапазон, срок хранения снимков, ежечасный cron для создания снимков и работоспособность/статус.

Более точная панель мониторинга только для наблюдения

Отчеты на панели управления, предназначенные только для наблюдения, теперь лучше соответствуют данным на панели управления активным правоприменением, при этом данные о потенциальных действиях не смешиваются с реальными данными о правоприменении. В показателях давления на маршрут и результатах маршрута теперь используются правильные группы снимков, предназначенные только для наблюдения, поэтому администраторы могут с большей уверенностью тестировать настройки, прежде чем включать активное правоприменение. Включите режим «Только наблюдение», как обычно, а затем просмотрите разделы «Потенциальные вызовы», «Потенциальные отказы» и «Давление на маршрут» на панели управления.

Более надежные канарейки для контекстных ссылок

Контекстная канареечная ссылка была переработана таким образом, чтобы изменять соответствующие якорные теги без повторной сериализации всего HTML-документа. Это делает канареечные ссылки более безопасными при работе со скриптами, стилями, комментариями, шаблонами, заголовками, содержимым текстовых полей, тегами в верхнем регистре, атрибутами без кавычек и более сложной разметкой страницы. Если контекстные канареечные ссылки уже включены, исправление применяется автоматически. В противном случае включите их в настройках XF Bot Guard, если вам нужен дополнительный уровень защиты от ботов.

Ускоренная проверка баз данных на загруженных форумах

Несколько часто используемых запросов были оптимизированы, чтобы сократить ненужную нагрузку на базу данных. Это включает в себя более удобные для индексов проверки контроллеров, дедуплицированные запросы на подсчет количества событий, более быстрые проверки существования объектов и кэширование схемы на уровне запросов. Ничего включать не нужно: после обновления улучшенные пути выполнения запросов используются автоматически.

Полностью сформулированный текст для администратора и панели управления

В интерфейсе администратора XF Bot Guard, на панели управления, в разделе работоспособности, в Cloudflare, при настройке и в текстах, связанных с JavaScript, теперь используются фразы XenForo. Это упрощает перевод, настройку и приведение в соответствие с языковыми настройками вашего форума. При необходимости используйте обычные языковые инструменты XenForo для корректировки формулировок.

Диагностика поддержки конфиденциальных браузеров

Буфер отладки браузера по умолчанию выключен и активируется только в том случае, если для режима отладки явно задано значение true. Если он включен для устранения неполадок в работе службы поддержки, он сохраняет небольшой очищенный журнал последних действий и не раскрывает конфиденциальные данные, такие как идентификаторы посетителей, токены, значения CSRF, возвратные URL, пути запросов, строки запроса, URL скриптов, значения localStorage и необработанные сигналы браузера. Не включайте его при обычном использовании и активируйте только в том случае, если служба поддержки попросит вас об этом.

Более чистый поддерживаемый путь обновления

Устаревшие способы миграции и совместимости, которые больше не поддерживаются при прямом обновлении, были упразднены. Это упрощает процесс обновления и позволяет сосредоточить текущий код на поддерживаемых установках, а не поддерживать устаревшие методы хранения данных, хеширования и восстановления параметров. Никаких настроек не требуется. Единственное, что нужно помнить: установки старше версии 1.2.9 необходимо сначала обновить до требуемой промежуточной версии.

• Устанавливает заголовок X-Robots-Tag: noindex, nofollow, noarchive на маршрутах bot-guard/, чтобы боты с хорошей репутацией игнорировали маршруты Bot Guard и не пытались сканировать конечные точки AJAX и страницы с запросами.
  
  
• Вводится новая опция, Сохраняющая неактивные ключи КАПЧИ XenForo. При включении, которое по умолчанию отключено, это настраивает стандартную область параметров КАПЧИ XenForo, так что неактивные конфигурации КАПЧИ сохраняются, а не удаляются. Это позволяет вводить и сохранять несколько конфигураций CAPTCHA, поэтому одну можно использовать для XenForo в целом, а другую можно выбрать специально для Bot Guard. Без этой опции XenForo сохраняет только активную конфигурацию CAPTCHA и автоматически удаляет остальные.
  
  
• Функция очистки данных теперь обрабатывает гораздо большие объемы данных и делает это гораздо чаще. Это должно улучшить работу с очень большими сайтами и наборами данных. Если на вашем форуме до сих пор не выполнялась очистка данных, теперь она будет более активно поддерживать размер таблиц в соответствии с заданными периодами хранения. Первоначальная очистка может занять некоторое время, так как система не выполняет ее за один раз, чтобы избежать ненужной нагрузки на сервер, но теперь она будет гораздо активнее контролировать сохраненные данные.
  
  
• Устранена ошибка, из-за которой конфигурации перезаписи nginx могли приводить к неправильному вычислению путей к одноразовым кодам сборщика Bot Guard. Это приводило к несовпадению одноразовых кодов для каждого посетителя, из-за чего Bot Guard блокировал всех посетителей. Теперь конфигурации перезаписи nginx учитываются отдельно, и Bot Guard должен корректно работать с такими конфигурациями.

Исправлена ошибка, из-за которой XF Bot Guard некорректно возвращался к стандартному провайдеру CAPTCHA от XenForo при использовании правильно настроенных пользовательских провайдеров CAPTCHA. Пользовательские провайдеры CAPTCHA, совместимые с XenForo, теперь работают корректно.

Важные примечания по обновлению для существующих клиентов:

• Предварительный просмотр URL-адресов в социальных сетях: в этом выпуске добавлена необязательная обработка предварительного просмотра URL-адресов только по метаданным для некоторых социальных сетей и агентов предварительного просмотра сообщений, включая WhatsApp. По умолчанию эта функция отключена. Если для вашего сайта важен предварительный просмотр ссылок на защищенных общедоступных страницах, после обновления ознакомьтесь с новыми вариантами допустимых ответов.
• Расширенные возможности управления сетью: исключения IP-адресов и диапазонов IP-адресов теперь поддерживают десятичные номера автономных систем, а также добавлен новый список принудительно проверяемых сетей. Используйте десятичный синтаксис ASN, например 32934, а не AS32934.

Тип выпуска: выпуск с незначительными изменениями и доработкой

В этом выпуске основное внимание уделяется практическим мерам контроля для существующих систем: более безопасному развертыванию в социальных сетях, расширенной обработке IP-адресов, CIDR-адресов и адресов сетевых узлов, режиму развертывания с наблюдением, более четкой отчетности о ложных срабатываниях, более точному подсчету на панели управления и более безопасному выводу диагностических данных для службы поддержки.

Добавлено

• Добавлены необязательные легковесные корректные ответы для выбранных пользовательских агентов, не разворачивающих URL.
• Добавлен настраиваемый список шаблонов пользовательских агентов для предварительного просмотра URL только по метаданным, в том числе шаблоны для Facebook/Meta, X/Twitter Cards, LinkedIn, Slack, Discord, Telegram, Yahoo Mail, Bluesky, WhatsApp и Skype.
• Добавлена поддержка ASN при сопоставлении со списком сетей Bot Guard.
• Добавлена новая опция Принудительная проверка IP-адресов/CIDR/ASN для принудительной проверки выбранных IP-адресов, диапазонов CIDR или десятичных ASN.
• Добавлен локальный кэш диапазонов ASN, обновляемый в рамках запланированного процесса обновления поискового робота/сети, чтобы при сопоставлении во время запроса можно было использовать локальные диапазоны CIDR вместо динамического поиска.
• Добавлен дополнительный оверлей только для наблюдения для тестирования того, что сделал бы Bot Guard, не предпринимая действий, влияющих на посетителей.
• Добавлены типы событий только для наблюдения: «мог бы вызвать запрос», «мог бы отклонить», «мог бы показать проверку браузера», «мог бы выдать упрощенный ответ» и «мог бы синхронизироваться с результатами Cloudflare».
• Добавлена безопасная для конфиденциальности отчетность по запросам, которые якобы поступают от известных поисковых роботов или ботов, но при этом обрабатываются с помощью CAPTCHA или функции отклонения запросов.
• Добавлена панель отчетности по заявленной активности поисковых роботов или ботов.
• Добавлена панель мониторинга для отслеживания активности при развертывании URL-адресов.
• Добавлен отредактированный рабочий процесс пакета поддержки для администраторов с доступом к конфиденциальной информации Bot Guard.
• Добавлен доступ к пакету поддержки из раздела «Здоровье/статус», а также к отфильтрованным необработанным журналам событий и подробным описаниям отдельных событий.

Улучшенный

• Повышена точность дашбордов по показателям сохраняющегося риска, маршрута, результата и сроков.
• Улучшены панели дашбордов со сроками, добавлены метаданные о сроках принятия решений и расчет 95-го процентиля ближайшего ранга.
• Улучшена фильтрация журнала событий, что упрощает анализ новых событий, связанных с быстрым реагированием, наблюдением и претензиями к краулеру.
• Улучшена отчетность о статусе Cloudflare Edge Enforcement, в том числе стало понятнее, в каком состоянии находится «сухой» режим — сохраненном или эффективном.
• Улучшены журналы синхронизации Cloudflare и обработка сбоев, связанных с проверками блокировки, ограничениями скорости, ожидающими обработки состояниями, удаленными кандидатами, подавленными кандидатами и состояниями повторных попыток.
• Улучшена отчетность о работоспособности/состоянии кэша диапазонов ASN, доступности безопасного генератора случайных чисел, диагностике Cloudflare и работоспособности панели мониторинга.
• Улучшена совместимость с поддерживаемыми версиями XenForo 2.1, 2.2 и 2.3.
• Улучшена проверка совместимости с PHP 7.2 и более поздними версиями.

Измененный

• Изменена функция Cloudflare Edge Enforcement, чтобы при включенном режиме Observe-only выполнялся эффективный пробный запуск без изменения сохраненной опции пробного запуска Cloudflare.
• Устаревшая опция строгого запроса без подтверждения удалена из набора активных опций.

Безопасность и конфиденциальность

• Усиленная защита API Cloudflare, синхронизация журнала, проверка работоспособности и редактирование выходных данных для токенов API, учетных данных, файлов cookie, токенов CSRF, URL-адресов с учетными данными и значений в формате закрытого ключа.
• Усиленная защита от повторного воспроизведения при проверке браузера с помощью одноразовых токенов коллектора с поддержкой сеанса.
• Усиленная обработка текста при аудите событий, благодаря которой некорректная кодировка, полученная из запроса, очищается перед сохранением.
• Усиленная диагностика токенов Cloudflare, благодаря которой после изменения локальных ключей сохраненные токены, которые невозможно расшифровать, обрабатываются более корректно.

Примечания по обновлению

• Минимальные требования к XenForo и PHP не изменились.
• Параметр observe-only по умолчанию выключен.
• По умолчанию отключены облегченные валидные ответы для выбранных пользовательских агентов, не поддерживающих URL-преобразование.
• Если для вашего форума важны предварительные просмотры URL, после обновления проверьте и протестируйте новые облегченные валидные ответы.
• Если вы используете исключения IP/CIDR, после обновления проверьте переименованную опцию Исключенные IP/CIDR/ASN.
• Если вы добавляете записи ASN, используйте простой десятичный синтаксис ASN, например 32934, а не AS32934.
• Записи ASN зависят от процесса планового обновления. Если у ASN еще нет активных кэшированных диапазонов, она не сможет сопоставлять IP-адреса запросов до тех пор, пока кэш не будет заполнен.
• Если вы используете Cloudflare Edge Enforcement, обратите внимание, что при включенном режиме Observe-only синхронизация Cloudflare будет выполняться в тестовом режиме до тех пор, пока режим Observe-only не будет отключен.
• После обновления проверьте работоспособность и статус, особенно если вы используете Cloudflare Edge Enforcement, сетевые средства контроля на основе ASN, обработку расширенных URL или доверенные прокси-сигналы.

Тип выпуска: исправление ошибок

Это исправление устраняет проблему с cron-запуском моментальных снимков дашборда, возникшую из-за буферизации сведений о событиях в XF Bot Guard 1.2.4.

В некоторых случаях, когда буферизованные данные о событиях еще не были обработаны, cron-задание для создания снимка состояния панели мониторинга могло попытаться записать значение внутреннего статуса, длина которого превышала длину столбца состояния снимка. Это могло привести к ошибке сервера MySQL «Данные слишком длинные для столбца 'status'».

Это обновление также оптимизирует время создания снимков дашбордов, чтобы они создавались только за те часы, за которые была сдана отчетность, с учетом существующего льготного периода.

Исправлено

• Исправлена ошибка в расписании создания снимков дашборда, которая могла возникать, когда импорт последних файлов с данными о событиях еще не был завершен.
• Исправлена ошибка, из-за которой значение внутреннего статуса снимка могло превышать ожидаемую длину столбца в базе данных.
• Исправлена ошибка, из-за которой текущий незавершенный час обрабатывался слишком рано.

XF Bot Guard 1.2.3

Тип выпуска: крупное обновление

Важно: прочтите перед обновлением

XF Bot Guard 1.2.3 — это крупное обновление, касающееся базы данных, хранения данных, отчетности и очистки.

Это не то обновление, которое стоит внедрять на очень крупных форумах без предварительного выбора правильного пути модернизации.

Для большинства небольших и средних форумов обычного процесса обновления дополнений XenForo будет достаточно.

Для очень больших форумов обновление может занять значительно больше времени, поскольку существующие данные Bot Guard необходимо перенести в новую структуру, в том числе внести изменения во внутреннее хешированное хранилище и хранилище сведений о событиях.

Прежде чем приступать к обновлению, определитесь, какой путь вам подходит:

• Обычное обновление: сохраняет существующую историю Bot Guard, события, счетчики, сеансы, данные о посетителях и телеметрию, но на больших форумах может занять больше времени.
• Чистая установка: запишите конфигурацию Bot Guard, удалите Bot Guard, установите версию 1.2.3, а затем заново введите конфигурацию. Это позволит избежать переноса старой телеметрии Bot Guard, но исторические данные Bot Guard будут утеряны.

Если вы хотите сохранить исторические данные Bot Guard, используйте обычный способ обновления.

Если у вас очень большой форум и вам не нужна старая телеметрия Bot Guard, лучше воспользоваться способом удаления/переустановки.

Проверьте настройки хранения данных после обновления

В XF Bot Guard 1.2.3 изменена модель хранения данных.

Некоторые настройки хранения данных были изменены с хранения в течение суток на хранение в течение часа, а также были введены новые значения по умолчанию.

После обновления ознакомьтесь с новыми параметрами хранения данных и подумайте, актуальны ли ваши прежние настройки.

Для начала рекомендуется попробовать новые настройки по умолчанию.

Новые значения по умолчанию для хранения

Тип данных	По умолчанию	Простой английский
Необработанные данные о событии	336 часов	14 дней
Данные о посетителях	336 часов	14 дней
Данные сеанса	336 часов	14 дней
Данные счетчика	336 часов	14 дней
Моментальные снимки панели мониторинга	17 520 часов	2 года
IP-данные с нулевым сигналом	2160 часов	90 дней

Максимальное время хранения необработанных данных о событиях, посетителях, сессиях и показателях счетчика:

Код:

Код:Скопировать

720 hours
= 30 days

Новая модель разработана с учетом следующих особенностей:

Код:

Код:Скопировать

shorter raw data retention
+ longer dashboard snapshot retention
= useful long-term visibility without unnecessary raw database growth

Если раньше вы увеличивали срок хранения необработанных данных в основном для наглядности на панели управления, возможно, вам больше не нужно хранить необработанные данные Bot Guard так долго.

Аналогичным образом, если ранее вы сократили срок хранения необработанных данных в основном для того, чтобы контролировать рост базы данных, возможно, теперь, когда изменились процессы очистки и создания отчетов по снимкам, вам стоит пересмотреть этот подход.

Спасибо [COLOR=rgb(20, 116, 184)]@eva2000[/COLOR]

Выражаем благодарность [COLOR=rgb(20, 116, 184)]@eva2000[/COLOR] за подробный и очень полезный отчет о росте объемов данных и их хранении, который помог нам понять суть этого обновления.

В этом отчете подчеркивается, что очень активные форумы могут генерировать большое количество телеметрических данных Bot Guard, и приводится несколько практических рекомендаций по их хранению, очистке, увеличению базы данных и составлению долгосрочных отчетов.

XF Bot Guard 1.2.3 во многом призван решить эту проблему.

Что делает этот релиз

Этот выпуск делает панель управления более практичной в долгосрочной перспективе, особенно на загруженных форумах, где невозможно постоянно отслеживать каждое необработанное событие Bot Guard.

Добавлены ежечасные снимки с информационной панели, новые параметры хранения данных, более безопасная очистка и улучшения в работе внутренней базы данных, призванные со временем снизить нагрузку на нее.

В простых выражениях:

• на дашборде теперь есть собственные долгосрочные сводные данные;
• необработанные данные о событиях, сессиях, посетителях и счетчиках можно хранить в течение более короткого периода;
• долгосрочные отчеты на дашборде по-прежнему доступны;
• очистка теперь выполняется в более безопасных пакетах;
• несколько внутренних хэш-полей перенесены в более компактное двоичное хранилище;
• крупные форумы получают более стабильное развитие, но им следует тщательно выбирать путь обновления.

Это небольшое техническое обновление, которое улучшает отображение активности посетителей в XF Bot Guard в XenForo.

• Предотвращено появление фонового сборщика данных для верификации браузера в качестве текущей страницы посетителя на страницах онлайн-активности XenForo.
• Улучшена отчетность об активности, благодаря чему у реальных посетителей снижается вероятность того, что при обычном просмотре они будут выглядеть так, будто просматривают внутреннюю конечную точку для верификации.
• В этом выпуске не было изменено ни поведение при вызове, ни логика верификации, ни решения по отслеживанию посетителей.

XF Bot Guard 1.0.6 — первый стабильный релиз и повышение отказоустойчивости в производственной среде​

XF Bot Guard 1.0.6 теперь считается первой стабильной версией дополнения.

В этом выпуске основное внимание уделяется повышению безопасности, стабильности, скорости работы и удобству мониторинга платформы 1.0.x на реальных рабочих форумах XenForo. Базовая модель защиты осталась прежней, но внутреннее поведение было оптимизировано для серьезных форумов с консервативными настройками.

Основные цели этого релиза:

• Снижение уровня шума в журнале событий
• Разделение операционных счетчиков и журналов аудита
• Повышение производительности в наиболее загруженных областях
• Более наглядная индикация работоспособности и статуса для администраторов
• Улучшение очистки и хранения данных
• Консервативные настройки по умолчанию для стабильного использования в производственной среде

Версия 1.0.6 — это первая стабильная версия XF Bot Guard.

В предыдущих версиях 1.0.x были реализованы основной процесс решения задач, сбор данных в браузере, обработка доверенных поисковых роботов, модель оценки и процесс верификации. В этом релизе мы укрепили эту основу для более широкого использования в производственной среде.

После установки надстройка по-прежнему отключена по умолчанию, а режим работы по умолчанию остается консервативным.

XF Bot Guard теперь хранит легкие внутренние счетчики отдельно от основного журнала событий.

Раньше некоторые решения по скорингу и ограничению скорости в значительной степени зависели от последних строк в таблице событий аудита. Из-за этого было сложнее безопасно сократить количество логов с низкой ценностью, поскольку удаление этих строк могло повлиять на видимость скоринговых показателей.

В версии 1.0.6 операционные счетчики с коротким окном хранятся отдельно и используются для принятия решений, связанных с недавними запросами, недавними обращениями по ошибочным маршрутам, недавними обращениями по конфиденциальным маршрутам, а также для ограничения частоты неудачных попыток ввода CAPTCHA.

Это означает, что XF Bot Guard теперь может снизить нагрузку на журнал аудита, не ослабляя при этом систему подсчета баллов и ограничения скорости, которые зависят от недавней активности.
Строки аудита с низкой ценностью теперь контролируются отдельно от важных событий, связанных с безопасностью и проверкой.

По умолчанию XF Bot Guard больше не записывает обычные строки с низким приоритетом allow/skip для каждого обычного безопасного гостевого запроса.

Это помогает избежать ситуации, когда на загруженных форумах таблица событий Bot Guard заполняется бесконечными рутинными действиями, связанными с просмотром, но при этом сохраняются полезные события, связанные с безопасностью.

При включенном ведении журнала аудита регистрируются важные события, в том числе:

• События, требующие подтверждения
• События, связанные с прохождением/непрохождением CAPTCHA
• Ограничение скорости прохождения CAPTCHA
• Решения о разрешении доступа для известных поисковых роботов
• События, связанные с сбоем в работе сборщика данных
• Сбои в работе сборщика данных из-за одноразового номера/подтверждения
• Проблемы с конфигурацией хэша секрета или хэша сборщика данных
• Запросы на повторный сбор данных в браузере
• Действия при возникновении ошибок

Администраторы, которым нужны более подробные логи в бета-версии, могут снова включить ведение журналов малозначимых событий в настройках Bot Guard.
Добавлена новая опция для настройки частоты дискретизации.

Это позволяет администраторам хранить небольшую выборку разрешенных строк с низким приоритетом для наглядности, не регистрируя при этом каждый обычный безопасный запрос.

Например, на загруженном форуме можно включить ведение журнала аудита для событий, связанных с безопасностью, и при этом отслеживать лишь небольшой процент рутинных разрешений.

Частота дискретизации по умолчанию — 0 %.
Количество проверок на наличие связей было сокращено, поэтому они больше не пересчитываются при каждом подходящем запросе.

XF Bot Guard по-прежнему отслеживает полезные сигналы о связях, такие как связи между посетителями и IP-адресами, связи между страной посетителя и ASN, а также связи между IP-адресами и «отпечатками» пользователей, но теперь эти данные обновляются периодически, а не запрашиваются при каждом оцениваемом запросе.

Это снижает нагрузку на базу данных при обычном повторном посещении сайта, но при этом сохраняются общие показатели ранжирования.
Новая таблица счетчиков операций автоматически очищается с помощью существующего cron-скрипта Bot Guard.

Противоположные ряды недолговечны и срезаются примерно через 48 часов.

Это позволяет сосредоточиться на текущих рабочих задачах и не дает таблице бесконечно разрастаться.

Существующие правила очистки данных о событиях, посетителях, сеансах, отпечатках пальцев/IP-адресах и онлайн-заданиях остаются в силе.

В XF Bot Guard теперь есть страница с информацией о работоспособности и статусе администратора, которая упрощает проверку производственной среды.

На странице работоспособности отображаются четкие столбцы с информацией о состоянии, предупреждениях и ошибках, связанных с важными проверками конфигурации и среды выполнения, в том числе:

• Состояние включения/отключения Bot Guard
• Статус сбора данных с помощью JavaScript
• Конфигурация CAPTCHA в XenForo
• Статус изменения шаблона PAGE_CONTAINER
• Наличие пакета JavaScript-ресурсов Bot Guard
• Наличие пакета FingerprintJS
• Статус ведения журнала аудита
• Статус ведения журнала аудита с низким приоритетом
• Частота выборки событий
• Настройки хранения событий, посетителей и сессий
• Статус доверия к известному краулеру
• Подтверждение блокировки источника известного краулера
• Приблизительный размер таблицы событий
• Приблизительный размер таблицы счетчиков
• Доступность хэш-секрета / глобальной соли XenForo

Раздел «Здоровье» предназначен для того, чтобы администраторы могли быстро проверить, правильно ли настроено дополнение, прежде чем использовать его в рабочей среде.
В этом выпуске добавлена новая опция подтверждения блокировки источника для форумов, поддерживающих работу с доверенными поисковыми роботами.

Достоверность решений, принимаемых поисковыми роботами, зависит от надежности заголовков запросов, связанных с поисковыми роботами. Эти заголовки можно считать достоверными только в том случае, если посетители не могут обойти уровень прокси-сервера или CDN и напрямую обратиться к исходному серверу, подменив заголовки.

Если функция «Доверие к известным поисковым роботам» включена, но блокировка источника не подтверждена, XF Bot Guard теперь отображает предупреждение на странице работоспособности.

Это не блокирует работу. Это всего лишь предупреждение для администраторов.
Сохраненные события, связанные с принятием решений или обеспечением безопасности, теперь могут содержать упрощенные метаданные о времени.

Это может быть время принятия решения, время обработки данных о рисках, время подсчета очков, время подсчета счетчиков, а также информация о том, проводился ли полный подсчет очков.

Это сделано для того, чтобы можно было диагностировать проблемы в работе приложения, не отображая отладочные данные на общедоступных страницах.
Стабильные значения по умолчанию остаются консервативными.

В частности:

• Bot Guard по-прежнему отключен по умолчанию
• Защита только для гостей по-прежнему включена по умолчанию
• Методы проверки остаются консервативными
• Доверие к известным поисковым роботам по-прежнему отключено по умолчанию
• Жесткое блокирование по-прежнему отключено по умолчанию
• Исключение AJAX по-прежнему включено по умолчанию
• Строгое поведение без поддержки браузеров/без исключений по-прежнему включено
• Поведение с разрешением для Bootstrap по-прежнему включено
• Ведение журнала важных аудиторских проверок по-прежнему включено
• Ведение журнала с разрешением для малозначимых строк по-прежнему отключено по умолчанию

В этом выпуске предпочтение отдается предсказуемому поведению системы, а не агрессивным новым идеям в области обнаружения.
В этом выпуске добавлена новая внутренняя таблица:

Код:
xf_zee_botguard_counter

В этой таблице хранятся недолговечные операционные счетчики, используемые для подсчета очков и определения лимитов скорости.

Таблица автоматически поддерживается XF Bot Guard и очищается в рамках существующего процесса очистки.
После обновления администраторы должны проверить и сохранить настройки Bot Guard, так как в них появились новые параметры.

Администраторы, использующие доверенные поисковые роботы, также должны убедиться, что их настройки прокси-сервера/CDN и исходного сервера не позволяют получить прямой доступ к исходному серверу, прежде чем подтверждать блокировку исходного сервера.

Администраторы, которые ранее полагались на очень подробное ведение журнала allow-row, могут снова включить ведение журнала малозначимых событий или настроить выборку allow-event в параметрах Bot Guard.

Администраторам также следует ознакомиться с новой страницей состояния Bot Guard, на которую можно перейти со страницы журналов.
XF Bot Guard 1.0.6 — это стабильная версия, готовая к использованию.

Это позволяет сократить рост журнала рутинных событий, вывести счетчики оценки из журнала аудита, снизить нагрузку на базу данных, повысить прозрачность для администраторов, улучшить поведение при хранении данных и сохранить консервативную конфигурацию по умолчанию.

Это рекомендуемая стабильная основа для рабочих форумов XenForo с использованием XF Bot Guard.