В Carbon Reductor 7.4 значительно улучшены самые важные подсистемы. Это полностью переработанная обработка списков, ставшая более гибкой и проще для расширения. Это максимально быстрый разбор реестра, экономично относящийся к столь ценным ресурсам процессора. Это DNS-резолвер, практически не влияющий на работу других подсистем. Помимо этого были полностью обновлены мастер установки и мастер настройки сети, выгрузка единого реестра стала более устойчивой к временным проблемам на стороне сервера, а также произведено множество других улучшений, направленных на повышение удобства и производительности.

Всё это доступно в Carbon Reductor 7.4.

Совершенно новая обработка списков

В обработке списков большое число нововведений. В первую очередь она стала унифицированной для большей части списков. Код стал стройнее и проще, добавление новых видов списков стало проще для разработчиков, а структура списков стала в разы проще для понимания.

Подробнее

Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:

• load — все агрегированные, обработанные и используемые Carbon Reductor списки;
• rkn — всё, что парсер реестра извлёк из него;
• provider — собственные списки провайдера;
• carbonsoft — списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor;
• resolver — результаты резолва по разным спискам доменов;
• tmp — промежуточные результаты обработки списков, необходимые обычно только разработчикам.

Унифицированы и имена (расширения) файлов (подробнее в документации). Также теперь списки url_https обрабатываются, как и url_http, что повышает качество фильтрации на стороне прокси-серверов.

Новый разбор реестра

Новая версия парсера реестра в 7 раз быстрее и требует в 13 раз меньше оперативной памяти. Благодаря этому у процессора теперь больше времени на то, чтобы заниматься своей основной задачей — фильтрацией трафика, что позитивно влияет на качество её исполнения.

Обновлён резолвер

Обновление реестра, обработка списков и резолв теперь могут проходить одновременно абсолютно не мешая друг другу, благодаря хорошо продуманной системе блокировок.

Также у резолвера появилась возможность опроса кэша резолва по отдельным спискам доменов, дающая на выходе раздельные списки IP адресов, которые могут использоваться для различных целей (блокировка в файрволе, анонсирование по BGP и т.д.).

Мастер настройки Carbon Reductor

Мастер настройки обновлён и теперь учитывает все новые возможности Carbon Reductor, такие как DNS и SNI фильтрация, валидирует вводимые данные и в целом удобнее. Теперь сразу после установки Carbon Reductor, вероятность того, что потребуется что-то донастраивать будет значительно меньше.

Мастер настройки сети

Теперь мастер настройки сети даёт возможность посмотреть какой трафик приходит в зеркало трафика, если его настроили до установки Carbon Reductor. Также теперь поддерживается пять схем настройки захвата зеркала трафика:

• L2, только чистый трафик без тэгов
• L2, только тэгированный трафик
• L2, перемешанный чистый и тэгированный трафик
• L3, только чистый трафик
• L3, только тэгированный трафик

В случае с L3-зеркалами теперь автоматически выставляется опция, отключающая проверки наличия бриджей при старте.

Повышение отказоустойчивости выгрузок

Теперь выгрузки запускаются реже, но в случае временных проблем на стороне сервера Роскомнадзора ожидают некоторое время и повторяют запрос. Это уже попало в критические исправления 7.3.2 176, но упоминалось только в твиттере.

Возможность использования совместно с прокси-серверами

Теперь есть возможность отправлять часть ресурсов в прокси-сервер по BGP или с помощью DNS спуфинга (последнее поддерживается только прокси-сервером поставляемым в комплекте с Carbon Reductor 8 Alpha).

Возможность легко снизить нагрузку на сервер

Вам больше не требуется идеально настраивать зеркало трафика для того, чтобы снизить нагрузку на сервер в 20 и более раз с помощью опции NOTRACK.

Теперь при включении этой опции, трафик с IP-адресом Carbon Reductor, под которым он выходит в интернет через основной маршрут будет отбрасываться перед правилом NOTRACK, применяемым к зеркальному трафику. В результате эта опция не будет приносить никаких проблем, связанных с потерей доступа в сеть сервера Carbon Reductor.

Прочее

• Возможность пропускать определённую подсеть "в разрыв";
• Запуск обновления больше не запускает резолвер, так как это довольно долгая процедура. Теперь единственная точка запуска резолвера — crond;
• Решены проблемы с не поднимающимся веб-интерфейсом после выключения опции "Заглушка на своём сервере";
• Исправлена ошибка с вычислением длины генерируемого пакета HTTP 302 редиректа в некоторых случаях при использовании опции "Добавлять домен в URL редиректа". Из-за неё некоторые виды оборудования дробили пакет на несколько частей, отбрасывая вторую часть, в итоге редирект игнорировался некоторыми операционными системами;
• DNS-фильтрация теперь поддерживается для IPv6-транспорта.

Желающим присоединиться к тестированию перед обновлением

Приблизительно через неделю мы планируем выпустить эту версию как master — то есть для всех, в плановом обновлении. Если у вас имеется тестовый сервер или Вы готовы тестировать на «продакшне», а потом откатиться — создайте в хелпдеске заявку «Тестирование Carbon Reductor 7.4″.

Спасибо, что пользуетесь Carbon Reductor!