С начала 2017 года разработчики Carbon Soft провели огромную работу над улучшением качества системы фильтрации, которой пользуется вот уже 1000 операторов связи по всей России. Для того, чтобы у Вас было более полное понимание продукта и его возможностей представляем Вам ретроспективный обзор самых важных изменений за текущий год.
Новое поколение продукта — Carbon Reductor 8
Carbon Reductor выпущен в виде новой серии продукта 8 версии. Теперь он базируется на единой платформе Carbon - надёжная, проверенная временем платформа с онлайн мониторингом и фоновым обновлением. Продукт поделён на отдельные контейнеры: reductor_dpi, blockpage, https_proxy, bgp, rkn. Контейнер представляет из себя изолированное окружение, где есть всё, что необходимо для работы, что значительно повышает надёжность и отказоустойчивость продукта в целом. Также, платформа позволяет оперативно добавлять новые модули при изменении законодательства.
Установка происходит со стандартного дистрибутива CentOS с расширенным установщиком carbon_kickstart. Возможна установка с ISO или UBS-flash образа. Carbon_kickstart автоматически сделает надёжную разбивку дисков, используемую платформой Carbon, соберёт при необходимости софтрейд.
Мониторинг и система критического обновления платформы Carbon сокращают время от выявления проблемы до её полного устранения на всех серверах системы фильтрации с нескольких дней до нескольких часов. Например: система мониторинга обнаружила проблему на одном из серверов пользователей, один из разрабочтиков её устранил, а через полтора часа уже выпустил Hotfix (критическое обновление) для всех наших пользователей, что навсегда исключает возможность возникновения этой проблемы на каком-либо сервере.
Платформа Carbon имеет 3 встроенных watchdog’a, что позволяет срочно перезагрузить сервер в случае аппаратного или софтверного зависания.
Глобальная круглосуточная система мониторинга. Интеграция с личным кабинетом АС «Ревизор»
Пользователям Carbon Reductor 8 больше не нужно постоянно заходить в личный кабинет АС «Ревизор» и проверять работоспособность системы фильтрации, теперь за Вас это сделает Carbon Reductor.
Carbon Reductor скачивает и анализирует отчёты из личного кабинета АС «Ревизор» в автоматическом режиме. Результаты анализа отправляются в систему мониторинга для отслеживания корректности работы Вашего сервера фильтрации. При любых форс-мажорных ситуациях, например, сбой в сети или аппаратной части сервера фильтрации, наша техническая поддержка будет оповещена о неполадках нашей системой мониторинга, сообщит о них администратору Сarbon Reductor на Вашей стороне и решит проблему в самые кратчайшие сроки.
Система мониторинга отслеживает проблемы, которые могут повлиять на работоспособность системы фильтрации начиная от включенных опций для обеспечения высокого качества фильтрации заканчивая свободным местом на диске или сроком действия сертификата для выгрузки реестра. Более того, эта система автоматически устраняет некоторые проблемы без вмешательства инженера. Например, при устаревании списков автоматически включается их срочное обновление, повисшая служба перезапускается и т.д.
Суть мониторинга проста. О любых проблемах мы узнаем быстрее Вас и в большинстве случаев этот вопрос решится без Вашего участия.
Дополнительно добавлена возможность мониторинга со стороны пользователя — поддержка Zabbix-агента, что позволит интегрировать мониторинг в инфраструктуру провайдера.
Корректировка системы фильтрации в соответствии с особенностями АС «Ревизор»
Мы обнаружили особенность работы АС «Ревизор» - он обновляет списки Роскомнадзора через час после того, как они обновятся в источнике. Carbon Reductor обновляет списки в течение нескольких минут после их изменения со стороны Роскомнадзора. Это привело к ситуации, когда АС «Ревизор» зафиксировал фиктивный пропуск по устаревшему списку - сайт, который ранее был заблокирован, разблокировали, но информация о нём в АС «Ревизор» обновилась позже, чем в Carbon Reductor. Теперь используются все списки за последние 24 часа для исключения рассинхронизации с АС «Ревизор».
Улучшение DPI и интеллектуальные алгоритмы обработки списков
Имея большой опыт в разборе ситуаций, когда в списке появляются некорректные URL, мы разработали набор алгоритмов предварительной корректировки списков до загрузки в фильтр.
Кроме этого, мы разработали облачную систему проверки корректности фильтрации, которая отлавливает сложные URL и сайты с нестандартным поведением, которые не фильтруются по URL. Такие сайты автоматически добавляются в Hotfix список IP фильтрации.
Добавлена отправка пакета разрыва соединения не только абоненту, но и веб-серверу, чтобы исключить игнорирование rst пакета на стороне абонента.
Решены проблемы обхода фильтрации с использованием микрофрагментации пакетов со стороны сервера и абонента.
Значительно улучшены алгоритмы по обработке SSL и DNS трафика.
Усовершенствован алгоритм хешированного поиска, исключены почти все блокировки внутри модулей ядра, проведена оптимизация многоядерной обработки, что обеспечивает многолетний запас прочности по размеру списка фильтрации - более 100 млн URL.
Возможность внедрения резервного сервера
Мы решили дополнительно подстраховать пользователей Carbon Reductor от форс‑мажорных ситуаций.
С марта 2017 года предполагается, что система фильтрации у провайдера должна работать идеально 100% времени. Мы прикладываем огромные усилия, чтобы это было действительно так, но причины пропусков в фильтрации часто не связаны с продуктом.
Это могут быть сбои оборудования на сервере с Carbon Reductor: если внезапно выйдет из строя жёсткий диск, сервер продолжит работу и будет продолжать осуществлять фильтрацию трафика, но не сможет выгрузить списки и добавить новые URL. Блоки питания, битые модули оперативной памяти, сетевые кабели - ситуация та же самая.
Для того, чтобы предупредить аппаратные форс-мажоры, от которых никто не застрахован, мы предлагаем нашим пользователям организовать резервный сервер с Carbon Reductor. Лицензия на резервный сервер предоставляется бесплатно.
К тому же, установка резервного сервера это возможность спокойно проводить техническое обслуживание системы фильтрации с рестартом сети или перезагрузками: замена оборудования, обновления ядра Linux, установки параметров драйверам сетевых карт и других экспериментов.
Режим обслуживания
Как Вы наверняка помните, АС «Ревизор» стал производить непрерывную проверку фильтрации - не реже чем 15 запросов в секунду. В связи с этим потребовалось ввести режим обслуживания на случай если новая версия Carbon Reductor содержит изменения модулей фильтрации.
На время сложных обновлений модулей ядра, на 2-3 секунды включается режим обслуживания. Правила файрвола очищаются, вместо этого добавляется REJECT для всех видов трафика. Это сделано с целью исключить пропуски фильтрации в процессе обновления Carbon Reductor. Такие сложные обновления бывают достаточно редко, раз в 3 месяца, и будут не заметны ни для Вас, ни для Ваших абонентов.
Ускорено внедрение за счёт автоматической оценки сервера
Пригодится на случай установки дополнительного или резервного серверов фильтрации.
Автоматизированы и значительно улучшены следующие задачи:
- Сбор информации о сервере.
- Оценка этой информации для выявления узких мест, способных приводить к проблемам фильтрации.
- Автоматическая оптимизация производительности.
- Принятие более рациональных решений для оптимизации производительности.
- Созданы утилиты для упрощения отладки и настройки оборудования на сервере.
Больше возможностей при интеграции с маршрутизаторами
Добавлена встроенная возможность использования BGP.
Добавлена интеграция с маршрутизаторами по OSPF для получения кратчайших маршрутов до абонентских машин. Благодаря этому ответный пакет от Carbon Reductor дойдёт в несколько раз быстрее до машины абонента, запрашивающей запрещённый ресурс.
Для снижения нагрузки на маршрутизаторы мы ввели возможность работы с целыми подсетями IP-адресов. Из-за повышения количества заблокированных IP-адресов в реестре запрещённых сайтов у многих маршрутизаторов возникали проблемы с производительностью – теперь проблема решена.
Добавлена система проверки статуса BGP сессии при интеграции с маршрутизаторами сети. Если BGP сессия не активна (например, маршрутизатор не отвечает), Carbon Reductor оповестит администратора о сбое в сети.
Улучшены надёжность, безопасность, отказустойчивость
Нагрузка на систему фильтрации может со временем повышаться, например, при росте абонентской базы. Для того чтобы Вы и техподдержка могли более полноценно контролировать актуальность Вашего сервера, в вывод информации о сервере добавлена оценка аппаратной части по шкале от 1 до 10.
Бывают случаи, когда локальная сеть не очень хорошо защищена, поэтому мы добавили пару вещей, которые дополнительно напомнят о безопасности Вашего сервера фильтрации:
- Проверка смены пароля пользователя root в диагностике. Теперь отображается ошибка в случае использования стандартного пароля.
- В мастере настройки предлагается использовать нестандартный порт для SSH. При использовании стандартного, диагностика будет выводить ошибку.
Появилась возможность ограничивать действия в веб-интерфейсе. Настройка, выключение и управление сервером теперь разграничиваются правами доступа. Может быть 2 роли: уровень доступа администратор – редактирование, настройка, перезагрузка и т.д., менеджер – просмотр результатов работы системы фильтрации. Пригодится на тот случай, если у Вас несколько человек, которые контролируют работу системы фильтрации и один ответственный - например, главный инженер, имеющий доступ к настройкам системы.
Система бэкапов Carbon Reductor теперь позволяет скачать бэкап и восстановить работу сервера фильтрации из резервной копии с FTP-сервера с помощью одной команды, что позволит быстро развернуть настроенный Carbon Reductor в случае если выйдет из строя аппаратная часть сервера фильтрации.
В заключение
Помимо вышеописанного внедрено более 250 улучшений продукта, которые в неменьшей степени влияют на качество фильтрации и Ваше спокойствие, но уместить их в эту статью, к сожалению, не удалось =).
Скачать Carbon Reductor DPI можно на сайте в разделе скачать. В том числе и для установки резервного сервера.
Спасибо, что пользуетесь Carbon Reductor!
