В Carbon Reductor 7.4 значительно улучшены самые важные подсистемы. Это полностью переработанная обработка списков, ставшая более гибкой и проще для расширения. Это максимально быстрый разбор реестра, экономично относящийся к столь ценным ресурсам процессора. Это DNS-резолвер, практически не влияющий на работу других подсистем. Помимо этого были полностью обновлены мастер установки и мастер настройки сети, выгрузка единого реестра стала более устойчивой к временным проблемам на стороне сервера, а также произведено множество других улучшений, направленных на повышение удобства и производительности.
Всё это доступно в Carbon Reductor 7.4.
Совершенно новая обработка списков
В обработке списков большое число нововведений. В первую очередь она стала унифицированной для большей части списков. Код стал стройнее и проще, добавление новых видов списков стало проще для разработчиков, а структура списков стала в разы проще для понимания.
Подробнее
Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:
- load — все агрегированные, обработанные и используемые Carbon Reductor списки;
- rkn — всё, что парсер реестра извлёк из него;
- provider — собственные списки провайдера;
- carbonsoft — списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor;
- resolver — результаты резолва по разным спискам доменов;
- tmp — промежуточные результаты обработки списков, необходимые обычно только разработчикам.
Унифицированы и имена (расширения) файлов (подробнее в документации). Также теперь списки url_https обрабатываются, как и url_http, что повышает качество фильтрации на стороне прокси-серверов.
Новый разбор реестра
Новая версия парсера реестра в 7 раз быстрее и требует в 13 раз меньше оперативной памяти. Благодаря этому у процессора теперь больше времени на то, чтобы заниматься своей основной задачей — фильтрацией трафика, что позитивно влияет на качество её исполнения.
Обновлён резолвер
Обновление реестра, обработка списков и резолв теперь могут проходить одновременно абсолютно не мешая друг другу, благодаря хорошо продуманной системе блокировок.
Также у резолвера появилась возможность опроса кэша резолва по отдельным спискам доменов, дающая на выходе раздельные списки IP адресов, которые могут использоваться для различных целей (блокировка в файрволе, анонсирование по BGP и т.д.).
Мастер настройки Carbon Reductor
Мастер настройки обновлён и теперь учитывает все новые возможности Carbon Reductor, такие как DNS и SNI фильтрация, валидирует вводимые данные и в целом удобнее. Теперь сразу после установки Carbon Reductor, вероятность того, что потребуется что-то донастраивать будет значительно меньше.
Мастер настройки сети
Теперь мастер настройки сети даёт возможность посмотреть какой трафик приходит в зеркало трафика, если его настроили до установки Carbon Reductor. Также теперь поддерживается пять схем настройки захвата зеркала трафика:
- L2, только чистый трафик без тэгов
- L2, только тэгированный трафик
- L2, перемешанный чистый и тэгированный трафик
- L3, только чистый трафик
- L3, только тэгированный трафик
В случае с L3-зеркалами теперь автоматически выставляется опция, отключающая проверки наличия бриджей при старте.
Повышение отказоустойчивости выгрузок
Теперь выгрузки запускаются реже, но в случае временных проблем на стороне сервера Роскомнадзора ожидают некоторое время и повторяют запрос. Это уже попало в критические исправления 7.3.2 176, но упоминалось только в твиттере.
Возможность использования совместно с прокси-серверами
Теперь есть возможность отправлять часть ресурсов в прокси-сервер по BGP или с помощью DNS спуфинга (последнее поддерживается только прокси-сервером поставляемым в комплекте с Carbon Reductor 8 Alpha).
Возможность легко снизить нагрузку на сервер
Вам больше не требуется идеально настраивать зеркало трафика для того, чтобы снизить нагрузку на сервер в 20 и более раз с помощью опции NOTRACK.
Теперь при включении этой опции, трафик с IP-адресом Carbon Reductor, под которым он выходит в интернет через основной маршрут будет отбрасываться перед правилом NOTRACK, применяемым к зеркальному трафику. В результате эта опция не будет приносить никаких проблем, связанных с потерей доступа в сеть сервера Carbon Reductor.
Прочее
- Возможность пропускать определённую подсеть "в разрыв";
- Запуск обновления больше не запускает резолвер, так как это довольно долгая процедура. Теперь единственная точка запуска резолвера — crond;
- Решены проблемы с не поднимающимся веб-интерфейсом после выключения опции "Заглушка на своём сервере";
- Исправлена ошибка с вычислением длины генерируемого пакета HTTP 302 редиректа в некоторых случаях при использовании опции "Добавлять домен в URL редиректа". Из-за неё некоторые виды оборудования дробили пакет на несколько частей, отбрасывая вторую часть, в итоге редирект игнорировался некоторыми операционными системами;
- DNS-фильтрация теперь поддерживается для IPv6-транспорта.
Желающим присоединиться к тестированию перед обновлением
Приблизительно через неделю мы планируем выпустить эту версию как master — то есть для всех, в плановом обновлении. Если у вас имеется тестовый сервер или Вы готовы тестировать на «продакшне», а потом откатиться — создайте в хелпдеске заявку «Тестирование Carbon Reductor 7.4″.
Спасибо, что пользуетесь Carbon Reductor!
