Всем привет!
Релиз 7.4.4 не был в публичном доступе, поэтому советуем почитать о предыдущем обновлении, чтобы восстановить хронологию.

В Carbon Reductor 7.4.9 внимание было сконцентрировано на стабилизации продукта, так как принятие закона, согласно которому АС «Ревизор» будет служить источником автоматических штрафов в случае пропусков не за горами.

Веб-интерфейс

Отображение новой структуры списков в веб-интерфейсе. Теперь списки разбиты по группам, для категорий: «обработанные», «Роскомнадзор», «Carbon Soft», «Резолвер» отображаются только существующие списки, для провайдеров отображаются все возможные списки, включая белые, с возможностью редактирования.

Разбор реестра

Так как реестр стал большим, «https» ресурсов в нём всё больше и больше, имеется несколько альтернативных методов блокировки по IP (DNS-фильтрация и SNI) резолвер теперь ставит в очередь на запросы не более 500 доменов, потому что большее число может приводить к превышению выделенного на его работу таймаута, одновременным запускам и другим проблемам. Логика работы резолвера такова, что спустя некоторое время после первого запуска он в основном запускает обработку ресурсов, которые действительно необходимо отрезолвить, то есть часто меняющие свои IP-адреса.

Миграция списков и обновление

Обновление с версии 7.3 на версию 7.4 приводило к минутному downtime фильтрации. Теперь такие задачи как обновление веб-интерфейса и миграция списков происходят до остановки фильтрации. Благодаря собранным данным об использовании списков (только названия и размер) удалось сделать обновление на версию 7.4 практически незаметным. Автоматически будут удалены только временные файлы от старой обработки списков, правильно названные файлы будут аккуратно переименованы и размещены в нужном месте, а о тех, с которыми не удалось разобраться автоматически администратор будет уведомлён по почте + заявкой в хелпдеске.

Обработка списков

Описанное здесь мало кого коснулось, так как версия 7.4 долго не была в полном публичном доступе, ибо обкатывалась, исправлялась и стабилизировалась шаг за шагом. Информация по большей части полезна тем, кто помогал её тестировать.

• Ресурсы, которые необходимо блокировать по домену снова дополнительно блокируются модулем HTTP для подстраховки, так как число провайдеров, корректно настроивших фильтрацию по DNS довольно мало. Тем не менее, мы настоятельно рекомендуем настроить её в ближайшие сроки.
• Неправильно обрабатывались URL, содержащие пробелы, что приводило к отсутствию блокировки в оригинальном виде (не фильтровались запросы к ним, совершённые с помощью CURL и старых версий IE).
• Была возможность повредить кэш сигнатур при многократном одновременном запуске скрипта их обновления, что могло привести к отсутствию блокировки части HTTP-ресурсов.
• Список минюста не блокировался, так как сохранялся в файл со старым расширением.
• Мы решили обеспечить обратную совместимость с системами интеграции с DNS серверами провайдера на некоторое время (полгода, год). Запуск резолвера создаёт симлинк на список всех блокируемых доменов, даже если сам резолвер отключен, чтобы старый код, который мы не можем обновить, забирающий https.resolv не сломался. Рекомендуем его обновить на использование файлов load/domain_mask.load, load/domain_exact.load, load/domain_proxy.load и load/domain_hsts.load в соответствии с используемыми опциями.

Исправлено

• Техподдержка: три дня не создавались автоматические задачи в хелпдеске. (Однако уведомления о проблемах администраторам по email продолжали и продолжают отправляться).
• Веб-интерфейс: добавление кириллических записей в собственные списки через веб-интерфейс вызывало ошибку 502 Bad Gateway.
• Не работала проверка содержимого собственных списков, в диагностике были указаны пути до старых собственных списков провайдера.
• Устранён Segfault вспомогательного модуля фильтрации для прокси-серверов.
• Улучшение в диагностике: удобочитаемый формат времени в ошибке диагностики «Проверка актуальности списков».
• Утилиты для отладки: автоматическое удаление дампов requests/replies после их объединения в duplex экономит место на диске.
• RPM: из репозиториев удалены все устаревшие дефолтные файлы.

Спасибо, что пользуетесь Carbon Reductor!