XF Bot Guard 1.3.5

Локальные базы данных IP-адресов и ASN, управляемые во время выполнения

XF Bot Guard теперь управляет локальными базами данных IPLocate по странам и ASN в качестве загружаемых ресурсов среды выполнения, а не в виде файлов пакета. Надстройка может обновлять эти базы данных с помощью cron-задачи обновления MMDB, хранить их во внутренних данных XenForo, проверять загруженные файлы перед использованием и продолжать использовать предыдущие проверенные файлы в случае сбоя обновления. Это обеспечивает конфиденциальность и быстроту локальных геопоиска и поиска ASN, а также делает обновление баз данных более безопасным и простым в обслуживании. Существующим клиентам не нужно ничего делать вручную: если возникнут проблемы с сервером или исходящим подключением, об этом сообщит проверка работоспособности баз данных по странам/ASN с локальными IP-адресами.

Более надежная выборка на DNS-серверах с двумя стеками

Исходящие HTTPS-запросы к источникам теперь защищены на серверах, где имя хоста разрешается как в IPv4, так и в IPv6. XF Bot Guard может отдавать предпочтение закрепленному общедоступному IPv4-адресу, если он доступен, что позволяет избежать сбоев на серверах, где разрешение DNS в IPv6 работает, а исходящее подключение по протоколу IPv6 — нет. Это повышает надежность обновления исходных данных для поисковых роботов, настроенных источников CIDR JSON, загрузки ресурсов MMDB и других защищенных путей получения данных. Включать ничего не нужно, эта функция работает автоматически.

Уборка и внутренняя отделка

В этом выпуске мы провели общее техническое обслуживание, поработали над упаковкой, вспомогательными инструментами для настройки, проверками работоспособности, обработкой зашифрованных секретных данных, организацией кода для метрик на панели управления и автоматизированным тестированием. Это не самые заметные изменения, но они важны: они помогают сделать обновления более безопасными, снижают риск возникновения регрессий и упрощают поддержку дополнения в долгосрочной перспективе. Никаких действий со стороны пользователей не требуется.

Ресурсы изображений документации меньшего размера

Связанные изображения с документацией были сжаты, чтобы уменьшить ненужный вес пакета. Это не влияет на работу Bot Guard, но позволяет уменьшить размер пакета релиза и локальных ресурсов с документацией. Ничего не нужно включать или настраивать.

Дополнительная резервная функция проверки подписанного поискового робота BETA

XF Bot Guard теперь включает в себя опциональную бета-версию резервной проверки Web Bot Auth. Проще говоря, это новый способ, с помощью которого признанные поисковые роботы могут криптографически подтверждать, что запрос действительно поступил от них. Если обычные проверки с помощью верифицированных поисковых роботов не дают результата, XF Bot Guard может использовать подписи Web Bot Auth в качестве резервного способа проверки.

По умолчанию эта функция отключена, поскольку спецификация все еще находится в стадии разработки и не все поисковые роботы и запросы поисковых роботов ее поддерживают. Функция не доверяет автоматически каждому боту с подписью: неизвестные боты с подписью не считаются проверенными, подписи с ошибками или истекшим сроком действия не принимаются, а при невозможности проверки оценка Bot Guard продолжается в обычном режиме.

Чтобы попробовать, включите Разрешить проверенным поисковым роботам и сборщикам данных, убедитесь, что кэш приложения XenForo настроен и доступен для записи, затем включите BETA (предварительная спецификация): разрешить использование резервной аутентификации веб-ботов для распознанных поисковых роботов. Для встроенных идентификаторов Signature-Agent добавьте доверенные источники HTTPS в разделе BETA (предварительная спецификация): дополнительные шаблоны Signature-Agent для аутентификации веб-ботов.

Подробнее об аутентификации веб-ботов можно узнать здесь:
https://developers.google.com/crawling/docs/crawlers-fetchers/web-bot-auth

Важные примечания по обновлению для существующих клиентов:

Существующим клиентам, использующим Cloudflare Edge Enforcement, после обновления необходимо заново создать управляемое правило Cloudflare и список IP-адресов.

Перейдите в раздел Обзор → Отключить управляемое правило Cloudflare → выберите Удалить управляемое правило и список IP. Затем вернитесь в раздел Обзор и нажмите Восстановить настройки Cloudflare.

Это необходимо, поскольку XF Bot Guard теперь использует более строгий подход к отслеживанию прав собственности на управляемые правила, поэтому он обновляет именно то правило, которым владеет, а не то, название или описание которого совпадает.

Тип выпуска: минорная версия

XF Bot Guard 1.3.4 — это обновление, направленное на повышение безопасности и надежности работы Cloudflare Edge Enforcement. Оно включает в себя более безопасную обработку внешних ответов, более строгую проверку начальной загрузки, более корректное поведение при развертывании URL, возможность исключения RSS/Atom-каналов и небольшие улучшения для удобства администраторов.

Более безопасное управление Cloudflare Edge Enforcement

Cloudflare Edge Enforcement теперь более точно определяет управляемое правило XF Bot Guard, что снижает риск обновления или удаления неправильного правила Cloudflare, если у другого правила похожее название или описание. Это делает действия по восстановлению, отключению и синхронизации Cloudflare более безопасными для существующих конфигураций Cloudflare. Никаких новых настроек не требуется, но после обновления пользователям Cloudflare Edge Enforcement следует ознакомиться с приведенным выше примечанием.

Ограниченная обработка внешних ответов

Теперь внешние ответы, используемые при обновлении диапазонов ASN и вызовах Cloudflare API, имеют более жесткие ограничения. При обновлении WHOIS/IRR на основе ASN принимаются более крупные легитимные ответы, при этом соблюдается максимальный размер ответа и количество диапазонов, а ответы Cloudflare API также ограничиваются, чтобы предотвратить чрезмерный расход памяти из-за неожиданно больших удаленных ответов или сбои при выполнении административных действий. Это происходит автоматически при использовании сетевых списков на основе ASN или Cloudflare Edge Enforcement.

Более надежное доказательство сбора данных bootstrap

Для коллекции Bootstrap теперь требуется корректное подтверждение для сборщика, специфичного для Bootstrap, вместо обычного токена сборщика в путях, предназначенных только для Bootstrap. Это упрощает процесс предварительной проверки в браузере и предотвращает смешивание подтверждений для обычной коллекции и проверки Bootstrap. Включать ничего не нужно — это происходит автоматически при использовании проверки Bootstrap.

Улучшенная обработка перенаправления при раскрытии URL

Легкие ответы, содержащие только метаданные, для агентов, выполняющих развертывание URL, теперь сохраняют корректные редиректы XenForo, но при этом возвращают пустое тело ответа. Это помогает социальным сервисам предварительного просмотра и развертывания URL следовать каноническим редиректам, например при переходе по ссылкам на публикации на их конечные URL, не раскрывая защищенное содержимое страницы на этапе редиректа. Это происходит автоматически, если включены легкие ответы и настроены шаблоны пользовательских агентов для развертывания URL.

Дополнительное исключение из RSS/Atom-канала

Новая опция «Исключить RSS/Atom-каналы из защищенных зон» позволяет администраторам не обрабатывать запросы RSS и Atom-каналов в рамках защищенной системы Bot Guard. Если эта опция включена, запросы к каналам считаются незащищенными и не проходят через защищенную систему оценки, проверки, отклонения, пограничных кандидатов, начальной загрузки или быстрого ответа. Отключите эту опцию, если вам по-прежнему нужна существующая система оценки и отклонения запросов к каналам Bot Guard, не требующая взаимодействия. Включите ее, если ваше сообщество зависит от свободного доступа к каналам.

Снижение энтропии браузера и сигналов автоматизации

Проверка браузера теперь включает в себя несколько дополнительных индикаторов согласованности и автоматизации работы с браузером, в том числе дополнительные маркеры в стиле Selenium/Phantom/Nightmare и проверку согласованности объектов Chrome. Эти сигналы дают Bot Guard больше информации при оценке автоматизированных или нестандартных браузерных сред без необходимости какой-либо настройки со стороны администратора. Они собираются автоматически в рамках обычной проверки браузера.

Напоминание о необходимости поддержки

Теперь администраторы могут навсегда скрыть напоминание о поддержке разработки, которое отображается на страницах администрирования XF Bot Guard. Администраторы с правами на управление опциями XenForo могут отключить его прямо в напоминании или воспользоваться новой опцией Скрыть напоминание о поддержке разработки. Это позволяет освободить административную панель после просмотра напоминания.

Общее упрочнение и очистка

В этом выпуске также улучшена надежность классификации запросов, нормализации URL/путей, обнаружения ресурсов, не относящихся к страницам, обработки состояния синхронизации Cloudflare, записи резервных вариантов, сведений о пакетах поддержки, инвентаризации пакетов ресурсов и тестового покрытия. Эти изменения повышают согласованность в пограничных случаях, таких как маршруты в стиле запросов, статические ресурсы, обнаружение фидов, обработка URL с одинаковым источником и диагностика сбоев. Никаких действий не требуется.

Важные примечания по обновлению для существующих клиентов:

В этом выпуске добавлены новые файлы для поиска IP-адресов по странам/ASN и локальный считыватель MMDB, в результате чего размер дополнительного пакета увеличился примерно до 30 МБ.

Если вы обычно загружаете дополнения через XenForo ACP, возможно, вам потребуется увеличить значения параметров PHP post_max_size и upload_max_filesize для загрузки файлов большего размера. В противном случае загрузите файлы вручную через FTP, SFTP или SCP перед обновлением.

Тип выпуска: минорная версия

XF Bot Guard 1.3.3 — это обновление, направленное на повышение надежности, прозрачности и безопасности. Оно направлено на снижение количества ложных срабатываний при обычной навигации по XenForo, улучшение видимости по странам и автономным системам нумерации, повышение отказоустойчивости Cloudflare Edge Enforcement, ужесточение обработки токенов безопасности, а также упрощение настройки и диагностики для администраторов.

Улучшение: более продуманная хронология ссылок для форм и перенаправлений

Link Chronology теперь безопасно обрабатывает более распространенные пути навигации по XenForo, в том числе некоторые действия в нативных формах и продолжения редиректов с того же источника. Это помогает снизить количество ложных срабатываний, когда легитимные пользователи перемещаются по таким разделам, как поиск, теги, раздел «Что нового», а также по разделам после редиректа, при этом защищая от прямого парсинга защищенных URL-адресов, которые никогда не были доступны посетителю. Чтобы использовать эту функцию, включите Link Chronology в настройках XF Bot Guard. Отключайте ее только в том случае, если вы внедряете систему постепенно или не можете настроить WAF на хостинге.

Функция: резервный поиск по стране и ASN

XF Bot Guard теперь может использовать объединенные базы данных по странам и ASN-идентификаторам локальных IP-адресов, если недоступны доверенные прокси-заголовки. Это означает, что сигналы на основе страны и ASN-идентификатора будут более полезными при использовании большего количества хостингов, поскольку IP-адреса посетителей не будут передаваться во внешнюю службу поиска во время запросов. Загрузите полный пакет обновлений, а затем убедитесь, что объединенные базы данных работают корректно в разделе Дополнительно → Проверка работоспособности. Отдельный ключ API или внешняя учетная запись не требуются.

Функция: карта и таблица давления в разных странах

На панели управления теперь есть раздел «Давление со стороны страны», в котором показано, откуда поступают запросы на принудительное вмешательство, запросы на проверку браузера, которые не обрабатываются, и запросы на вмешательство только для наблюдения. Это позволяет администраторам получить более четкое представление о давлении со стороны злоумышленников в разбивке по регионам и принимать более взвешенные решения в отношении сетевых правил, региональных закономерностей и настроек только для наблюдения. После обновления откройте панель управления XF Bot Guard. Данные о давлении со стороны страны начнут накапливаться с момента обновления и не будут восстанавливаться ретроспективно на основе существующих снимков панели управления.

Исправление: безопасная для гонок очередь Cloudflare Edge

Очередь кандидатов Cloudflare Edge стала безопаснее, если несколько запросов с одного и того же IP-адреса удовлетворяют требованиям одновременно. Вместо того чтобы выдавать ошибку при дублировании записи в очереди, XF Bot Guard перезагружает и обновляет существующую запись о кандидате. Это повышает надежность во время всплесков трафика и помогает Cloudflare Edge Enforcement поддерживать актуальное состояние кандидатов. Включать ничего не нужно — эта функция активируется автоматически при включении Cloudflare Edge Enforcement.

Функция: принудительное отключение для сетей с принудительным вызовом

Принудительные сети для проверки подлинности теперь можно при желании рассматривать как сети с жестким запретом. Это полезно, если у вас есть определенные IP-адреса, диапазоны адресов или автономные системы нумерации, для которых проверка подлинности больше не требуется, и вы хотите, чтобы XF Bot Guard выдавал прямой отказ. Добавьте соответствующие сети в настройки принудительной проверки подлинности, а затем включите жесткий запрет для принудительных сетей.

Функция: очистка в часы, выбранные администратором

Теперь администраторы могут выбирать часы, в которые разрешена обрезка контента в XF Bot Guard. Это позволяет не проводить масштабную очистку в периоды пиковой нагрузки на форумах. По умолчанию очистка разрешена в течение всего дня, поэтому после обновления существующие сайты будут работать так же. Чтобы воспользоваться этой функцией, установите время начала и окончания очистки в настройках XF Bot Guard, а затем проверьте текущий статус очистки в разделе Дополнительно → Проверка работоспособности.

Усиление защиты: работа с токенами, защищенными CSPRNG

Для токенов безопасности теперь используются более строгие правила безопасной генерации случайных чисел. Если безопасный источник случайных чисел в PHP недоступен, XF Bot Guard не будет создавать токены безопасности с уязвимостями, а не будет использовать менее надежные значения. Это защищает потоки токенов сбора, возврата, непрерывности, отчетов и канареечных токенов от небезопасной генерации случайных чисел. Никаких настроек не требуется. Проверьте «Дополнительно» → «Проверка работоспособности», чтобы убедиться, что безопасная генерация случайных чисел работает корректно.

Документация: совместимость ModSecurity / Comodo CWAF

В документации теперь есть специальные рекомендации для хостов, использующих ModSecurity или Comodo CWAF. Некоторые общие правила WAF могут давать ложные срабатывания в отношении файлов cookie, принадлежащих Bot Guard, особенно при наличии резервных файлов cookie Link Chronology. В новых рекомендациях описаны симптомы, которые следует искать в журналах аудита WAF, а также способы исключения только значений файлов cookie XF Bot Guard без глобального отключения ModSecurity. Воспользуйтесь этими рекомендациями, если на вашем сайте появляются ошибки WAF после включения более продвинутых сигналов защиты.

Исправление: отображение темного режима ACP до версии XF 2.3

Стилизация XF Bot Guard в ACP была скорректирована таким образом, чтобы в старых версиях XenForo не применялся темный режим в стиле XF 2.3. Это делает страницы администратора Bot Guard более удобными для чтения в версиях до XF 2.3, сохраняя при этом современный темный режим там, где он поддерживается. Настраивать ничего не нужно. Если после обновления в браузере администратора все еще отображается старая стилизация, обновите кэш браузера.

Улучшение: более удобный порядок выбора опций ACP

Порядок параметров XF Bot Guard стал более логичным. Связанные элементы управления теперь сгруппированы более естественным образом, что упрощает сканирование ACP и снижает вероятность того, что важные настройки будут пропущены. Существующие значения параметров сохранены. После обновления откройте параметры XF Bot Guard, чтобы увидеть обновленный интерфейс.

Улучшение: более понятные формулировки и документация

Фразы и документация в надстройке были приведены в соответствие друг с другом, поэтому в пользовательском интерфейсе, документации, проверках работоспособности, формулировках в журнале событий, формулировках Cloudflare Edge Enforcement и рекомендациях службы поддержки используется более единообразный язык. Это не влияет на работу защиты, но упрощает настройку, устранение неполадок и общение со службой поддержки после обновления.

Укрепление: проверка статической совместимости PHP 7.2

В процессе выпуска новой версии теперь используется дополнительный механизм проверки совместимости с синтаксисом и сигнатурами PHP 7.2. Это помогает предотвратить случайную установку кода, предназначенного только для новых версий PHP, на системы клиентов, которые все еще используют поддерживаемые версии XenForo/PHP. Включать ничего не нужно — это проверка качества выпуска, которая делает обновления более безопасными.

Укрепление: общие улучшения в области безопасности и поддержки

В этом выпуске также были внесены небольшие изменения в систему безопасности запросов, получение данных из внешних источников, запись о сбоях в работе краулера, исключение вложений и ресурсов, защита внутренних идентификаторов, диагностика синхронизации параметров Cloudflare и сигналы о работоспособности пакетов поддержки. Эти изменения сокращают количество ложных срабатываний в пограничных случаях, упрощают диагностику сбоев в работе системы и позволяют лучше контролировать конфиденциальную диагностику. Никаких действий не требуется: эти улучшения применяются автоматически после обновления.

В XF Bot Guard 1.3.2 основное внимание уделяется снижению нагрузки на сервер, более точному обнаружению ботов на форумах и повышению стабильности работы на крупных сайтах. В новой версии расширено кэширование данных для защиты по наиболее важным направлениям, добавлены новые поведенческие сигналы, связанные с хронологией ссылок и временем пребывания на сайте, повышена надежность панели управления, а также добавлена новая проверка работоспособности для устранения проблем с URL-адресами досок объявлений.

Более быстрая защита с помощью более дешевого считывания данных с горячих дорожек

XF Bot Guard уже использовал кэш приложений XenForo на основном «горячем» пути. В версии 1.3.2 этот подход с использованием кэша был распространен на все совместимые «горячие» пути, включая такие области, как счетчики, поиск проверенных ботов, сопоставление сетей, анализ шаблонов быстрого ответа, контекстные ссылки и состояние хронологии ссылок. Проще говоря, это означает, что Bot Guard может избежать множества повторяющихся запросов на чтение из базы данных при высокой нагрузке за счет повторного использования кэшированных данных, если это возможно.

В Bot Guard нет ничего нового, что можно было бы включить. Если кэш приложений XenForo настроен и заполнен, Bot Guard будет использовать его автоматически. В противном случае Bot Guard будет по-прежнему обращаться к базе данных и продолжит работать в обычном режиме, но форумам с высокой посещаемостью настоятельно рекомендуется включить кэш приложений XenForo. Лучше всего использовать Memcached, на втором месте — Redis. APC/APCu может быть полезен для небольших односерверных установок, но не рекомендуется для крупных и посещаемых сообществ.

Более интеллектуальная проверка переходов по ссылкам на форуме

Функция «Хронология ссылок» помогает Bot Guard отличать обычный просмотр от перехода по URL-адресам, характерного для парсеров. Когда посетитель просматривает защищенную страницу, Bot Guard сохраняет в течение короткого времени информацию о защищенных внутренних ссылках, которые были видны на этой странице. При следующем защищенном запросе система может определить, переходит ли посетитель по ссылке, которую ему недавно показали, перезагружает ли ту же страницу или сразу переходит на другой защищенный URL, который не был частью его недавнего пути.

Это важно, потому что реальные пользователи обычно переходят по видимым ссылкам на форумах, в то время как боты часто используют списки URL-адресов, предполагаемые пути, скопированные маршруты или прямой обход защищенных страниц. Сигнал адаптируется под каждый форум, поскольку строится на основе реальных страниц, ссылок и структуры маршрутов этого форума. Он включен по умолчанию, но его можно настроить или отключить в разделе «Хронология ссылок». Он повышает риск, но не приводит к полной блокировке.

Обучение с учетом времени пребывания на форуме

Анализ времени пребывания на странице позволяет Link Chronology лучше понять, как выглядит «обычный» просмотр в каждом отдельном сообществе. Bot Guard анализирует навигацию зарегистрированных пользователей, чтобы определить приблизительные локальные границы того, сколько времени люди обычно проводят между переходами между защищенными страницами. На быстро развивающемся форуме службы поддержки, на форуме с длинными обсуждениями и в сообществе, ориентированном на СМИ, обычное поведение пользователей может быть разным, поэтому Bot Guard анализирует сам форум, а не опирается на одно фиксированное глобальное правило.

Эта функция разработана таким образом, чтобы не нарушать конфиденциальность пользователей. Bot Guard не нужно идентифицировать отдельных участников, хранить историю их просмотров или знать, что именно они читали, чтобы построить эту модель. Она использует локальные совокупные данные о поведении пользователей, чтобы понять обычный ритм работы форума, а затем добавляет ограниченные риски только в тех случаях, когда переход по защищенной ссылке происходит слишком быстро или слишком медленно по сравнению с обычным поведением пользователей на этом форуме. Если локальных данных недостаточно, оценка времени пребывания на сайте просто не применяется.

Более надежная панель управления для крупных сайтов

Теперь на дашборде не загружаются в память неограниченные строки с метриками маршрутов и времени. Отчеты о маршрутах ограничиваются наиболее релевантными маршрутами, результаты маршрутов извлекаются только для выбранных маршрутов, а сводки по времени рассчитываются с учетом ограничений по памяти.

Это позволяет избежать нехватки памяти в панели управления при работе с большими или загруженными системами. Ничего включать не нужно. Обновите панель управления и используйте ее в обычном режиме.

Проверка работоспособности источника URL-адреса доски объявлений

Проверка работоспособности теперь сверяет исходный URL-адрес форума XenForo с исходным адресом текущего публичного запроса. Это помогает выявлять распространенные проблемы с конфигурацией, такие как несоответствие HTTP/HTTPS, неправильный хост, несоответствие www/не-www, несоответствие портов или проблемы с обработкой прокси.

Это важно, поскольку несовпадение источников может повлиять на проверку браузера на соответствие одному источнику, URL-адреса пробных запросов и URL-адреса ресурсов. Чтобы воспользоваться этой функцией, после обновления откройте страницу проверки работоспособности XF Bot Guard и просмотрите результат проверки источника URL-адреса доски. Если система сообщит о проблеме, исправьте URL-адрес доски XenForo или конфигурацию HTTPS/хоста вашего прокси-сервера, а затем повторите проверку.

Количество постоянных участников в Интернете увеличивается

При корректировке онлайн-показателей Bot Guard теперь используется единый показатель активности сессий XenForo, а не совокупность отдельных показателей, которые могут незначительно отличаться при перемещении или загрузке.

Это устраняет временные несоответствия в общем количестве онлайн-пользователей, включая участников, гостей и тех, чьи аккаунты были заблокированы. Это изменение применяется автоматически, если включена защита от ботов и опция корректировки количества онлайн-пользователей.

Важные примечания по обновлению для существующих клиентов:

Для прямого обновления до XF Bot Guard 1.3.1 требуется, чтобы на вашем сайте уже была установлена XF Bot Guard 1.2.9 (1020970) или более новая версия. Если на вашем сайте установлена более старая версия XF Bot Guard, сначала обновите ее до промежуточной версии, которая все еще содержит устаревшие миграции, убедитесь, что обновление прошло успешно, а затем установите версию 1.3.1. Пользователи, у которых уже установлена версия 1.2.9, 1.3.0 или более новая, могут выполнить обновление в обычном режиме.

Тип выпуска: минорная версия

В XF Bot Guard 1.3.1 основное внимание уделяется более безопасным обновлениям, более понятным отчетам на панели управления, более надежным контекстным ссылкам, улучшенной поддержке локализации, безопасной для конфиденциальности диагностике и снижению нагрузки на базу данных. Большинство изменений применяются автоматически после обновления и не требуют дополнительных настроек.

Более безопасные прямые обновления с поддерживаемых версий

XF Bot Guard теперь строго соблюдает поддерживаемый базовый уровень прямого обновления до версии 1.2.9 или более новой. Это предотвращает попытки очень старых версий системы напрямую перейти на новую схему без необходимых этапов миграции. Если у вас уже установлена версия 1.2.9 или более новая, просто обновите систему как обычно. Если у вас более старая версия, сначала обновите ее с помощью необходимого переходного выпуска.

Более наглядные предупреждения о покрытии снимка приборной панели

Теперь на дашборде отображается предупреждение о том, что выбранный временной диапазон еще не полностью охвачен доверенными снимками. Это позволяет избежать ситуации, когда неполные графики воспринимаются как «отсутствие активности ботов», хотя на самом деле проблема заключается в отсутствии, задержке или незавершенности создания снимков дашборда. Откройте дашборд в обычном режиме. Если появится предупреждение, проверьте выбранный диапазон, срок хранения снимков, ежечасный cron для создания снимков и работоспособность/статус.

Более точная панель мониторинга только для наблюдения

Отчеты на панели управления, предназначенные только для наблюдения, теперь лучше соответствуют данным на панели управления активным правоприменением, при этом данные о потенциальных действиях не смешиваются с реальными данными о правоприменении. В показателях давления на маршрут и результатах маршрута теперь используются правильные группы снимков, предназначенные только для наблюдения, поэтому администраторы могут с большей уверенностью тестировать настройки, прежде чем включать активное правоприменение. Включите режим «Только наблюдение», как обычно, а затем просмотрите разделы «Потенциальные вызовы», «Потенциальные отказы» и «Давление на маршрут» на панели управления.

Более надежные канарейки для контекстных ссылок

Контекстная канареечная ссылка была переработана таким образом, чтобы изменять соответствующие якорные теги без повторной сериализации всего HTML-документа. Это делает канареечные ссылки более безопасными при работе со скриптами, стилями, комментариями, шаблонами, заголовками, содержимым текстовых полей, тегами в верхнем регистре, атрибутами без кавычек и более сложной разметкой страницы. Если контекстные канареечные ссылки уже включены, исправление применяется автоматически. В противном случае включите их в настройках XF Bot Guard, если вам нужен дополнительный уровень защиты от ботов.

Ускоренная проверка баз данных на загруженных форумах

Несколько часто используемых запросов были оптимизированы, чтобы сократить ненужную нагрузку на базу данных. Это включает в себя более удобные для индексов проверки контроллеров, дедуплицированные запросы на подсчет количества событий, более быстрые проверки существования объектов и кэширование схемы на уровне запросов. Ничего включать не нужно: после обновления улучшенные пути выполнения запросов используются автоматически.

Полностью сформулированный текст для администратора и панели управления

В интерфейсе администратора XF Bot Guard, на панели управления, в разделе работоспособности, в Cloudflare, при настройке и в текстах, связанных с JavaScript, теперь используются фразы XenForo. Это упрощает перевод, настройку и приведение в соответствие с языковыми настройками вашего форума. При необходимости используйте обычные языковые инструменты XenForo для корректировки формулировок.

Диагностика поддержки конфиденциальных браузеров

Буфер отладки браузера по умолчанию выключен и активируется только в том случае, если для режима отладки явно задано значение true. Если он включен для устранения неполадок в работе службы поддержки, он сохраняет небольшой очищенный журнал последних действий и не раскрывает конфиденциальные данные, такие как идентификаторы посетителей, токены, значения CSRF, возвратные URL, пути запросов, строки запроса, URL скриптов, значения localStorage и необработанные сигналы браузера. Не включайте его при обычном использовании и активируйте только в том случае, если служба поддержки попросит вас об этом.

Более чистый поддерживаемый путь обновления

Устаревшие способы миграции и совместимости, которые больше не поддерживаются при прямом обновлении, были упразднены. Это упрощает процесс обновления и позволяет сосредоточить текущий код на поддерживаемых установках, а не поддерживать устаревшие методы хранения данных, хеширования и восстановления параметров. Никаких настроек не требуется. Единственное, что нужно помнить: установки старше версии 1.2.9 необходимо сначала обновить до требуемой промежуточной версии.

• Устанавливает заголовок X-Robots-Tag: noindex, nofollow, noarchive на маршрутах bot-guard/, чтобы боты с хорошей репутацией игнорировали маршруты Bot Guard и не пытались сканировать конечные точки AJAX и страницы с запросами.
  
  
• Вводится новая опция, Сохраняющая неактивные ключи КАПЧИ XenForo. При включении, которое по умолчанию отключено, это настраивает стандартную область параметров КАПЧИ XenForo, так что неактивные конфигурации КАПЧИ сохраняются, а не удаляются. Это позволяет вводить и сохранять несколько конфигураций CAPTCHA, поэтому одну можно использовать для XenForo в целом, а другую можно выбрать специально для Bot Guard. Без этой опции XenForo сохраняет только активную конфигурацию CAPTCHA и автоматически удаляет остальные.
  
  
• Функция очистки данных теперь обрабатывает гораздо большие объемы данных и делает это гораздо чаще. Это должно улучшить работу с очень большими сайтами и наборами данных. Если на вашем форуме до сих пор не выполнялась очистка данных, теперь она будет более активно поддерживать размер таблиц в соответствии с заданными периодами хранения. Первоначальная очистка может занять некоторое время, так как система не выполняет ее за один раз, чтобы избежать ненужной нагрузки на сервер, но теперь она будет гораздо активнее контролировать сохраненные данные.
  
  
• Устранена ошибка, из-за которой конфигурации перезаписи nginx могли приводить к неправильному вычислению путей к одноразовым кодам сборщика Bot Guard. Это приводило к несовпадению одноразовых кодов для каждого посетителя, из-за чего Bot Guard блокировал всех посетителей. Теперь конфигурации перезаписи nginx учитываются отдельно, и Bot Guard должен корректно работать с такими конфигурациями.

Исправлена ошибка, из-за которой XF Bot Guard некорректно возвращался к стандартному провайдеру CAPTCHA от XenForo при использовании правильно настроенных пользовательских провайдеров CAPTCHA. Пользовательские провайдеры CAPTCHA, совместимые с XenForo, теперь работают корректно.

Важные примечания по обновлению для существующих клиентов:

• Предварительный просмотр URL-адресов в социальных сетях: в этом выпуске добавлена необязательная обработка предварительного просмотра URL-адресов только по метаданным для некоторых социальных сетей и агентов предварительного просмотра сообщений, включая WhatsApp. По умолчанию эта функция отключена. Если для вашего сайта важен предварительный просмотр ссылок на защищенных общедоступных страницах, после обновления ознакомьтесь с новыми вариантами допустимых ответов.
• Расширенные возможности управления сетью: исключения IP-адресов и диапазонов IP-адресов теперь поддерживают десятичные номера автономных систем, а также добавлен новый список принудительно проверяемых сетей. Используйте десятичный синтаксис ASN, например 32934, а не AS32934.

Тип выпуска: выпуск с незначительными изменениями и доработкой

В этом выпуске основное внимание уделяется практическим мерам контроля для существующих систем: более безопасному развертыванию в социальных сетях, расширенной обработке IP-адресов, CIDR-адресов и адресов сетевых узлов, режиму развертывания с наблюдением, более четкой отчетности о ложных срабатываниях, более точному подсчету на панели управления и более безопасному выводу диагностических данных для службы поддержки.

Добавлено

• Добавлены необязательные легковесные корректные ответы для выбранных пользовательских агентов, не разворачивающих URL.
• Добавлен настраиваемый список шаблонов пользовательских агентов для предварительного просмотра URL только по метаданным, в том числе шаблоны для Facebook/Meta, X/Twitter Cards, LinkedIn, Slack, Discord, Telegram, Yahoo Mail, Bluesky, WhatsApp и Skype.
• Добавлена поддержка ASN при сопоставлении со списком сетей Bot Guard.
• Добавлена новая опция Принудительная проверка IP-адресов/CIDR/ASN для принудительной проверки выбранных IP-адресов, диапазонов CIDR или десятичных ASN.
• Добавлен локальный кэш диапазонов ASN, обновляемый в рамках запланированного процесса обновления поискового робота/сети, чтобы при сопоставлении во время запроса можно было использовать локальные диапазоны CIDR вместо динамического поиска.
• Добавлен дополнительный оверлей только для наблюдения для тестирования того, что сделал бы Bot Guard, не предпринимая действий, влияющих на посетителей.
• Добавлены типы событий только для наблюдения: «мог бы вызвать запрос», «мог бы отклонить», «мог бы показать проверку браузера», «мог бы выдать упрощенный ответ» и «мог бы синхронизироваться с результатами Cloudflare».
• Добавлена безопасная для конфиденциальности отчетность по запросам, которые якобы поступают от известных поисковых роботов или ботов, но при этом обрабатываются с помощью CAPTCHA или функции отклонения запросов.
• Добавлена панель отчетности по заявленной активности поисковых роботов или ботов.
• Добавлена панель мониторинга для отслеживания активности при развертывании URL-адресов.
• Добавлен отредактированный рабочий процесс пакета поддержки для администраторов с доступом к конфиденциальной информации Bot Guard.
• Добавлен доступ к пакету поддержки из раздела «Здоровье/статус», а также к отфильтрованным необработанным журналам событий и подробным описаниям отдельных событий.

Улучшенный

• Повышена точность дашбордов по показателям сохраняющегося риска, маршрута, результата и сроков.
• Улучшены панели дашбордов со сроками, добавлены метаданные о сроках принятия решений и расчет 95-го процентиля ближайшего ранга.
• Улучшена фильтрация журнала событий, что упрощает анализ новых событий, связанных с быстрым реагированием, наблюдением и претензиями к краулеру.
• Улучшена отчетность о статусе Cloudflare Edge Enforcement, в том числе стало понятнее, в каком состоянии находится «сухой» режим — сохраненном или эффективном.
• Улучшены журналы синхронизации Cloudflare и обработка сбоев, связанных с проверками блокировки, ограничениями скорости, ожидающими обработки состояниями, удаленными кандидатами, подавленными кандидатами и состояниями повторных попыток.
• Улучшена отчетность о работоспособности/состоянии кэша диапазонов ASN, доступности безопасного генератора случайных чисел, диагностике Cloudflare и работоспособности панели мониторинга.
• Улучшена совместимость с поддерживаемыми версиями XenForo 2.1, 2.2 и 2.3.
• Улучшена проверка совместимости с PHP 7.2 и более поздними версиями.

Измененный

• Изменена функция Cloudflare Edge Enforcement, чтобы при включенном режиме Observe-only выполнялся эффективный пробный запуск без изменения сохраненной опции пробного запуска Cloudflare.
• Устаревшая опция строгого запроса без подтверждения удалена из набора активных опций.

Безопасность и конфиденциальность

• Усиленная защита API Cloudflare, синхронизация журнала, проверка работоспособности и редактирование выходных данных для токенов API, учетных данных, файлов cookie, токенов CSRF, URL-адресов с учетными данными и значений в формате закрытого ключа.
• Усиленная защита от повторного воспроизведения при проверке браузера с помощью одноразовых токенов коллектора с поддержкой сеанса.
• Усиленная обработка текста при аудите событий, благодаря которой некорректная кодировка, полученная из запроса, очищается перед сохранением.
• Усиленная диагностика токенов Cloudflare, благодаря которой после изменения локальных ключей сохраненные токены, которые невозможно расшифровать, обрабатываются более корректно.

Примечания по обновлению

• Минимальные требования к XenForo и PHP не изменились.
• Параметр observe-only по умолчанию выключен.
• По умолчанию отключены облегченные валидные ответы для выбранных пользовательских агентов, не поддерживающих URL-преобразование.
• Если для вашего форума важны предварительные просмотры URL, после обновления проверьте и протестируйте новые облегченные валидные ответы.
• Если вы используете исключения IP/CIDR, после обновления проверьте переименованную опцию Исключенные IP/CIDR/ASN.
• Если вы добавляете записи ASN, используйте простой десятичный синтаксис ASN, например 32934, а не AS32934.
• Записи ASN зависят от процесса планового обновления. Если у ASN еще нет активных кэшированных диапазонов, она не сможет сопоставлять IP-адреса запросов до тех пор, пока кэш не будет заполнен.
• Если вы используете Cloudflare Edge Enforcement, обратите внимание, что при включенном режиме Observe-only синхронизация Cloudflare будет выполняться в тестовом режиме до тех пор, пока режим Observe-only не будет отключен.
• После обновления проверьте работоспособность и статус, особенно если вы используете Cloudflare Edge Enforcement, сетевые средства контроля на основе ASN, обработку расширенных URL или доверенные прокси-сигналы.

Тип выпуска: исправление ошибок

Это исправление устраняет проблему с cron-запуском моментальных снимков дашборда, возникшую из-за буферизации сведений о событиях в XF Bot Guard 1.2.4.

В некоторых случаях, когда буферизованные данные о событиях еще не были обработаны, cron-задание для создания снимка состояния панели мониторинга могло попытаться записать значение внутреннего статуса, длина которого превышала длину столбца состояния снимка. Это могло привести к ошибке сервера MySQL «Данные слишком длинные для столбца 'status'».

Это обновление также оптимизирует время создания снимков дашбордов, чтобы они создавались только за те часы, за которые была сдана отчетность, с учетом существующего льготного периода.

Исправлено

• Исправлена ошибка в расписании создания снимков дашборда, которая могла возникать, когда импорт последних файлов с данными о событиях еще не был завершен.
• Исправлена ошибка, из-за которой значение внутреннего статуса снимка могло превышать ожидаемую длину столбца в базе данных.
• Исправлена ошибка, из-за которой текущий незавершенный час обрабатывался слишком рано.

XF Bot Guard 1.2.3

Тип выпуска: крупное обновление

Важно: прочтите перед обновлением

XF Bot Guard 1.2.3 — это крупное обновление, касающееся базы данных, хранения данных, отчетности и очистки.

Это не то обновление, которое стоит внедрять на очень крупных форумах без предварительного выбора правильного пути модернизации.

Для большинства небольших и средних форумов обычного процесса обновления дополнений XenForo будет достаточно.

Для очень больших форумов обновление может занять значительно больше времени, поскольку существующие данные Bot Guard необходимо перенести в новую структуру, в том числе внести изменения во внутреннее хешированное хранилище и хранилище сведений о событиях.

Прежде чем приступать к обновлению, определитесь, какой путь вам подходит:

• Обычное обновление: сохраняет существующую историю Bot Guard, события, счетчики, сеансы, данные о посетителях и телеметрию, но на больших форумах может занять больше времени.
• Чистая установка: запишите конфигурацию Bot Guard, удалите Bot Guard, установите версию 1.2.3, а затем заново введите конфигурацию. Это позволит избежать переноса старой телеметрии Bot Guard, но исторические данные Bot Guard будут утеряны.

Если вы хотите сохранить исторические данные Bot Guard, используйте обычный способ обновления.

Если у вас очень большой форум и вам не нужна старая телеметрия Bot Guard, лучше воспользоваться способом удаления/переустановки.

Проверьте настройки хранения данных после обновления

В XF Bot Guard 1.2.3 изменена модель хранения данных.

Некоторые настройки хранения данных были изменены с хранения в течение суток на хранение в течение часа, а также были введены новые значения по умолчанию.

После обновления ознакомьтесь с новыми параметрами хранения данных и подумайте, актуальны ли ваши прежние настройки.

Для начала рекомендуется попробовать новые настройки по умолчанию.

Новые значения по умолчанию для хранения

Тип данных	По умолчанию	Простой английский
Необработанные данные о событии	336 часов	14 дней
Данные о посетителях	336 часов	14 дней
Данные сеанса	336 часов	14 дней
Данные счетчика	336 часов	14 дней
Моментальные снимки панели мониторинга	17 520 часов	2 года
IP-данные с нулевым сигналом	2160 часов	90 дней

Максимальное время хранения необработанных данных о событиях, посетителях, сессиях и показателях счетчика:

Код:

Код:Скопировать

720 hours
= 30 days

Новая модель разработана с учетом следующих особенностей:

Код:

Код:Скопировать

shorter raw data retention
+ longer dashboard snapshot retention
= useful long-term visibility without unnecessary raw database growth

Если раньше вы увеличивали срок хранения необработанных данных в основном для наглядности на панели управления, возможно, вам больше не нужно хранить необработанные данные Bot Guard так долго.

Аналогичным образом, если ранее вы сократили срок хранения необработанных данных в основном для того, чтобы контролировать рост базы данных, возможно, теперь, когда изменились процессы очистки и создания отчетов по снимкам, вам стоит пересмотреть этот подход.

Спасибо [COLOR=rgb(20, 116, 184)]@eva2000[/COLOR]

Выражаем благодарность [COLOR=rgb(20, 116, 184)]@eva2000[/COLOR] за подробный и очень полезный отчет о росте объемов данных и их хранении, который помог нам понять суть этого обновления.

В этом отчете подчеркивается, что очень активные форумы могут генерировать большое количество телеметрических данных Bot Guard, и приводится несколько практических рекомендаций по их хранению, очистке, увеличению базы данных и составлению долгосрочных отчетов.

XF Bot Guard 1.2.3 во многом призван решить эту проблему.

Что делает этот релиз

Этот выпуск делает панель управления более практичной в долгосрочной перспективе, особенно на загруженных форумах, где невозможно постоянно отслеживать каждое необработанное событие Bot Guard.

Добавлены ежечасные снимки с информационной панели, новые параметры хранения данных, более безопасная очистка и улучшения в работе внутренней базы данных, призванные со временем снизить нагрузку на нее.

В простых выражениях:

• на дашборде теперь есть собственные долгосрочные сводные данные;
• необработанные данные о событиях, сессиях, посетителях и счетчиках можно хранить в течение более короткого периода;
• долгосрочные отчеты на дашборде по-прежнему доступны;
• очистка теперь выполняется в более безопасных пакетах;
• несколько внутренних хэш-полей перенесены в более компактное двоичное хранилище;
• крупные форумы получают более стабильное развитие, но им следует тщательно выбирать путь обновления.