Carbon Reductor DPI

Самое важное

Как Вы знаете, мы тщательно работаем над системой мониторинга сервера фильтрации каждый месяц. В этот раз мы значительно улучшили процесс обработки сообщений от мониторинга технической поддержкой.

Теперь техническая поддержка будет реагировать на потенциальные проблемы в несколько раз быстрее. Мы внедрили 3 дежурных специалиста, которые в круглосуточном режиме обрабатывают заявки от системы мониторинга, если такие возникают. О них при необходимости узнает вся цепочка специалистов с помощью системы критических оповещений, начиная от первого дежурного и заканчивая руководителем подразделения Carbon Reductor DPI — ни одна задача ни в коем случае не останется упущенной несмотря на текущее время суток.

Усовершенствован и анализ отчётов от АС «Ревизор». Carbon Reductor DPI уже умеет проверять отчёты, сформированные АС «Ревизор». Теперь Carbon Reductor автоматически инициирует формирование отчёта, анализирует сгенерированный отчёт и позже вновь проделывает ту же работу в рамках ежедневной проверки работоспособности системы фильтрации.

Веб-интерфейс

• Исправлено отображение статистики по сетевым интерфейсам. Ранее не отображались графики по количеству проверенных пакетов, а также статистика по некоторым именам интерфейсов, при этом статистика оставалась доступна через консоль.
• Откорректирована работоспособность изменения паролей пользователей.

Мониторинг

• Добавлена система анализа факта блокировки трафика. Она позволяет определить, происходит ли блокировка запрещённых ресурсов на основе анализа обмена пакетами между самим запрещённым ресурсом и АС «Ревизор». Проверка происходит раз в 6 часов, а также сразу после обновления. При обнаружении аномалии система мониторинга оповестит техническую поддержку Carbon Soft и Вашего системного администратора.
• Откорректирована работа теста времени работы сертификата для выгрузки единого реестра запрещённых сайтов.

Фильтрация

• Согласована работа SNI-фильтрации с белыми списками, исправлены мелкие ошибки.
• В некоторых случаях не работали белые списки для IP-адресов без указания масок — исправлено.

Прочее

• Поведение системы обновления стало более правильным. Исправлены ошибка, которая разрешала обновление при его полном отключении. Однако нужно учитывать, что есть версии на которые необходимо обновляться. Такие версии выпускаются при критических изменениях, связанных, как правило, непосредственно с модулем фильтрации. Переход на такие обновления проходит в обязательном порядке вне зависимости от выбора опций.
• Откорректирована обработка списков, проведены работы по повышению отказоустойчивости.
• Исправлена автоматическая отправка новых маршрутов по BGP в интеграции с маршрутизаторами.

Спасибо, что пользуетесь Carbon Reductor!

С начала 2017 года разработчики Carbon Soft провели огромную работу над улучшением качества системы фильтрации, которой пользуется вот уже 1000 операторов связи по всей России. Для того, чтобы у Вас было более полное понимание продукта и его возможностей представляем Вам ретроспективный обзор самых важных изменений за текущий год.

Новое поколение продукта — Carbon Reductor 8

Carbon Reductor выпущен в виде новой серии продукта 8 версии. Теперь он базируется на единой платформе Carbon - надёжная, проверенная временем платформа с онлайн мониторингом и фоновым обновлением. Продукт поделён на отдельные контейнеры: reductor_dpi, blockpage, https_proxy, bgp, rkn. Контейнер представляет из себя изолированное окружение, где есть всё, что необходимо для работы, что значительно повышает надёжность и отказоустойчивость продукта в целом. Также, платформа позволяет оперативно добавлять новые модули при изменении законодательства.

Установка происходит со стандартного дистрибутива CentOS с расширенным установщиком carbon_kickstart. Возможна установка с ISO или UBS-flash образа. Carbon_kickstart автоматически сделает надёжную разбивку дисков, используемую платформой Carbon, соберёт при необходимости софтрейд.

Мониторинг и система критического обновления платформы Carbon сокращают время от выявления проблемы до её полного устранения на всех серверах системы фильтрации с нескольких дней до нескольких часов. Например: система мониторинга обнаружила проблему на одном из серверов пользователей, один из разрабочтиков её устранил, а через полтора часа уже выпустил Hotfix (критическое обновление) для всех наших пользователей, что навсегда исключает возможность возникновения этой проблемы на каком-либо сервере.

Платформа Carbon имеет 3 встроенных watchdog’a, что позволяет срочно перезагрузить сервер в случае аппаратного или софтверного зависания.

Читать далее →

Вчера, 26 октября 2017 всем операторам связи, осуществляющим выгрузку реестра запрещённых материалов, а также фильтрацию трафика, от Роскомнадзора пришло письмо о смене IP-адреса ресурса получения выгрузки операторами связи vigruzki.rkn.gov.ru.

В связи с вопросами от наших пользователей и чтобы прояснить ситуацию по продукту Carbon Reductor, сообщаем, что выгрузка в Вашем сервере фильтрации осуществляется путём обращения по доменному имени, поэтому смена IP-адреса данного ресурса никак не скажется на работоспособности продукта.

Также рекомендуем проверить настройки firewall Вашего маршрутизатора на предмет блокировки нового IP-адреса ресурса для выгрузок. Текущий IP-адрес — 46.61.232.10, новый — 81.177.103.92.

Спасибо, что пользуетесь Carbon Reductor!

Самое важное

Появилась возможность ограничивать действия в веб-интерфейсе. Настройка, выключение и управление сервером теперь разграничиваются правами доступа. Может быть 2 роли: уровень доступа администратор – редактирование, настройка, перезагрузка и т.д., менеджер – просмотр результатов работы. Пригодится на тот случай, если у Вас несколько человек, которые контролируют работу системы фильтрации и один ответственный — например, главный инженер, имеющий доступ к настройкам системы.

Мы оптимизировали интеграцию с маршрутизаторами. Для снижения нагрузки на маршрутизаторы оператора связи мы ввели возможность работы с целыми подсетями IP-адресов. Из-за повышения количества заблокированных IP-адресов в реестре запрещённых сайтов у некоторых маршрутизаторов возникали проблемы с производительностью – теперь их больше не будет.

Повышена отказоустойчивость при обработке списков – добавлена проверка URL на корректность. Ранее некорректные URL могли привести к сбою процесса обработки списка.

Веб-интерфейс

• Графики со статистикой работы Carbon Reductor больше не очищаются при обновлении версии продукта.
• Улучшена стабильность работы веб-интерфейса, исправлена ошибка, в редких случаях приводящая к его недоступности.

Мониторинг

• Откорректирована работа системы диагностики. Наличие трафика в зеркале анализируется более корректно.
• Добавлена система проверки статуса BGP сессии при интеграции с маршрутизаторами сети. Если BGP сессия не активна (например, маршрутизатор не отвечает), Carbon Reductor оповестит администратора о сбое в сети, который может привести к пропускам фильтрации.
• Исправлена ошибка проверки статуса UPS. Это приводило к ложному оповещению администратора о его неисправности.

Фильтрация

Изменена логика разбора реестра для доменов с точкой на конце (для случаев записи example.com.). Теперь такие записи блокируются во всех вариациях, чтобы исключить влияние человеческого фактора при заполнении реестра.

Прочее

• Режим обслуживания теперь поддерживает работу с хук-файлами (файлы с доп. настройками). Есть некоторые пользователи, которые используют их для собственных настроек.
• Добавлена поддержка Zabbix-агента, что позволит дополнительно выполнять мониторинг сервера самостоятельно, помимо системы мониторинга Carbon Soft.
• Исправлен запуск хук-файлов при старте Carbon Reductor.

Спасибо, что пользуетесь Carbon Reductor!

Добрый день!

Рады сообщить, что Роскомнадзор в данный момент тестирует решение по фильтрации запрещённых ресурсов Carbon Reductor DPI.

По итогам тестирования будет выдан официальный документ, подтверждающий работоспособность фильтра трафика и соответствие требованиям Роскомнадзора. Тестирование займет от 2-х до 4-х недель. О результатах мы также сообщим.

Спасибо, что пользуетесь Carbon Reductor!

Самое важное

В систему мониторинга добавлен анализатор трафика, обнаруживающий пропуски фильтрации, в том числе связанные с проблемами в сети провайдера. При обнаружении таковых будет отправлено уведомление администратору сервера фильтрации и в техническую поддержку Carbon Soft.

Также повышена надёжность системы фильтрации — добавлена интеграция с маршрутизаторами по OSPF для получения кратчайших маршрутов до абонентских машин. Благодаря этому ответный пакет от Carbon Reductor дойдёт в несколько раз быстрее до машины абонента, запрашивающей запрещённый ресурс.

Система бэкапов Carbon Reductor теперь позволяет скачать бэкап и восстановить работу сервера фильтрации из резервной копии с FTP-сервера с помощью одной команды.

Веб-интерфейс

Веб-интерфейс Carbon Reductor теперь показывает количество проверенных пакетов для любых имён сетевых интерфейсов, а не только «eth».

Фильтрация

• Исправлена ошибка в системе разбора реестра, URL с номером порта теперь добавляются корректно.
• Белые списки IP-адресов для https больше не влияют на фильтрацию при помощи SNI.

HTTPS-proxy

Добавлен тест проверки устаревания сертификата, полученного от центра сертификации Carbon Soft.

Прочее

• По просьбам нескольких пользователей страница заглушки стала поддерживать код ответа «HTTP/451» «Недоступно по юридическим причинам» вместо «HTTP/200» «Доступ запрещен». Опционально.
• Активация продукта стала быстрее, откорректирована логика работы с серверами.
• Для экономии места на сервере автоматически удаляются отчёты, скачанные с портала АС «Ревизор», старше 14 дней.
• Исправлена работа с интегрированными DNS-серверами. Ранее возникала ошибка из-за добавления в реестр доменов с пробелами.
• Добавлена поддержка автоматической настройки DHCP-сервера для установки Carbon Reductor в разрыв запросного канала.

Спасибо, что пользуетесь Carbon Reductor!

Самое важное

Пользователям 8-й версии больше не нужно собственноручно заходить в личный кабинет АС «Ревизор» и проверять таким образом работоспособность системы фильтрации, теперь это делает Carbon Reductor.

В нашей практике мы несколько раз встречались с ситуацией, когда неполадки в сети оператора связи или в аппаратной части сервера фильтрации приводили к пропускам запрещённых ресурсов, к ненулевым отчётам АС «Ревизор» и, соответственно, к потенциальному штрафу.

Регулярно мы разрабатываем всё новые рекомендации по обеспечению защиты от подобных ситуаций:

• Грамотная настройка Carbon Reductor.
• Настройка мониторинга основного и установка резервного серверов фильтрации.
• Практика общения с РЧЦ от наших пользователей.

В новой версии мы пошли дальше и провели интеграцию Carbon Reductor с личным кабинетом АС «Ревизор».

Теперь Carbon Reductor способен скачивать и анализировать отчёты из личного кабинета АС «Ревизор» в автоматическом режиме. Результаты анализа отправляются в систему мониторинга для отслеживания корректности работы Вашего сервера фильтрации. При любых форс-мажорных ситуациях, например, сбой в сети или аппаратной части сервера фильтрации, наша техническая поддержка будет оповещена о неполадках нашей системой мониторинга, сообщит о них администратору Сarbon Reductor на Вашей стороне и решит проблему в самые кратчайшие сроки.

Также мы исправили ошибку, влияющую на создание автоматических заявок о проблемах с сервером фильтрации. Это приводило к созданию заявок о несуществующих проблемах.

Веб-интерфейс

Для Вашего удобства добавлена возможность изменения настроек в веб-интерфейсе.

Мониторинг

• Мы добавили предупреждение об окончании срока действия ЭЦП (электронная цифровая подпись) за 30 дней в виду того, что процедура получения ЭЦП в некоторых случаях может быть долгой.
• Проверка интеграции с маршрутизатором теперь учитывает интеграцию с несколькими маршрутизаторами.
• Исправлены ложные срабатывания проверки высокой нагрузки на процессор.
• Исправлено дублирование создаваемых заявок от системы мониторинга.

Фильтрация

• Для исключения блокировок незапрещённых ресурсов через манипуляцию DNS-записями (например, vk, google и пр.) резолвер теперь используется только в чрезвычайных случаях и работает по спискам Carbon Soft.
• Восстановлена работоспоснобность дополнительных (собственных) правил файрвола для обработки DNS-трафика.

Списки, выгрузки, сертификаты

• Для снижения нагрузки на маршрутизаторы при анонсировании по BGP появилась возможность использовать список IP-подсетей вместо списка IP-адресов.
• Исправлено извлечение закрытого ключа из PFX-контейнера средствами Carbon Reductor.

Спасибо, что пользуетесь Carbon Reductor!

Самое важное

Решена проблема с обновлением на новые версии продукта. Ранее была ошибка в системе, которая в некоторых случаях не позволяла выполнить обновление на последнюю версию.

Веб-интерфейс

• Теперь при выполнении авторизации с неверной парой логин/пароль высвечивается ошибка.
• Восстановлен график устаревания списков, а также исправлена логика его отрисовки. Теперь можно видеть дату изменения локального дампа.
• Ранее, после устранения неисправностей, отображались старые ошибки — исправлено, в диагностике отображаются только актуальные ошибки.

Мониторинг

• Добавлен тест, выполняющий проверку включения всех обязательных опций для обеспечения высокого качества фильтрации.
• Исправлен тест для проверки гипертрединга — проверка не производится на процессорах семейства AMD.
• Исправлена ошибка при проверке собственных списков провайдера, если в чёрном списке использовались подсети, то тест завершался с ошибкой.

Фильтрация

• Из меню скрыты опции, которые являются обязательными для достижения уровня фильтрации, требуемого законодательством.
• Исправлена ошибка рестарта, которая приводила к продолжительному выполнению режима обслуживания.
• У серверов был отключен резолвер, чтобы избежать блокировки популярных ресурсов (vk.com, avito.ru и другие), функционал фильтрации при этом не пострадал.

Списки, выгрузки

Исправлена работа белых списков для ip_block. В некоторых случаях они не работали.

Обновление

В Carbon Reductor 7 внесены важные изменения, позволяющие быстро перейти на Carbon Reductor 8.

Прочее

• В мастере установки вопрос о настройке сети отображался некорректно — исправлено.
• Логирование dns запросов не используется, поэтому было удалено из menu и всех скриптов, которые его проверяли.

Спасибо, что пользуетесь Carbon Reductor!

Уважаемые пользователи Carbon Reductor 7!

В связи участившимися случаями DNS подстановки IP адресов популярных сайтов, необходимо произвести/проверить настройку сервера.

1. Включить опцию SNI фильтрации.
2. Выключить опцию фильтрации с использованием DNS резолва.

Подробнее, о том как это правильно сделать, читайте в документации.

К сожалению, мы не можем изменить эти опции удаленно в текущей версии 7.

На всех серверах 8 версии продукта настройка произведена автоматически. Это будет возможно и в следующей версии Carbon Reductor 7, которая выйдет после 25 июня.

Спасибо, что пользуетесь Carbon Reductor!

Добрый день!

За последние пару месяцев разработчики хорошо потрудились и выложили крупное обновление в devel‑ветку. Обновление серверов пройдет автоматически.

Самое важное

Исправлена редкая ошибка, приводившая к зависаниям серверов (soft-lockup) и последующей перезагрузке. Всего было зафиксировано 4 случая за 3 месяца, они обошлись без последствий, благодаря использованию резервных серверов фильтрации.

Исправлены проблемы со стартом сервиса фильтрации при изменении параметров ipset, ранее приводило к запуску режима обслуживания и уведомлениям администраторов о возникшей проблеме.

Сервис bgp_blackhole теперь поддерживает работу с IP адресами подсетей.

Списки, реестр, выгрузки

Недавно мы обнаружили особенность работы АС «Ревизор» — он обновляет списки Роскомнадзора через час после того, как они обновятся в источнике. Carbon Reductor обновляет списки в течение нескольких минут после их изменения со стороны Роскомнадзора. Это привело к ситуации, когда АС «Ревизор» зафиксировал фиктивный пропуск по устаревшему списку — сайт, который ранее был заблокирован, разблокировали, но информация о нём в АС «Ревизор» обновилась позже, чем в Carbon Reductor. Теперь используются все списки за последние 24 часа (по умолчанию, но опционально) для исключения рассинхронизации с АС «Ревизор».

Добавлена возможность просматривать изменения выгруженных из реестра Роскомнадзора списков с помощью git в папке `/var/lib/reductor/rkn_history/lists/` (за исключением результатов резолвера и временных файлов от обработки списков).

Добавлена проверка отсутствия файлов запроса и подписи в утилите для выгрузки единого реестра с выводом ошибки понятным для администратора. В заблуждение попадали пользователи, переключившие выгрузку реестра с собственного сервера на выгрузку через Carbon Reductor с использованием запроса и подписи к серверу Роскомнадзора. Проверка работает как при запуске выгрузки, так и при автоматической диагностике сервера.

Добавлена возможность использования Крипто-Про для подписи запроса на сервере с Carbon Reductor 8.

Исправлено:

• Список Минюста не отображался в веб-интерфейсе.
• Работа белых списков IP адресов (https).
• Просмотр информации о списках в веб-интерфейсе показывал информацию не обо всех списках.
• Демон проверки единого реестра rknd отслеживал только срочные изменения, теперь отслеживает все (интервал проверки — раз в 5 минут).
• Заполнение списка доменов ресурсов, использующих HSTS при выборе соответствующей опции в мастере настройки.

Интеграция с сетью провайдера

Добавлена поддержка интеграции Carbon Reductor с несколькими маршрутизаторами — система отправки команд (events.sh) теперь поддерживает список хук-файлов, в которых определяется порядок взаимодействия с каждым маршрутизатором.

Информация о сервере

• В вывод информации о сервере добавлена оценка аппаратной части по шкале от 1 до 10 для того, чтобы Вы и техподдержка могли более полноценно контролировать актуальность Вашего сервера.
• Вывод информации о сервере теперь показывает все установленные модели процессоров. Сделано для машин с несколькими разными процессорами.
• Исправлен вывод информации о сервере: при использовании VLAN-интерфейсов для приема зеркала выводились неуместные ошибки ethtool.

Безопасность

Бывают случаи, когда локальная сеть не очень хорошо защищена, поэтому мы добавили пару вещей, которые дополнительно напомнят о безопасности Вашего сервера фильтрации:

• Проверка смены пароля пользователя root в диагностике. Теперь отображается ошибка в случае использования стандартного пароля.
• В мастере настройки предлагается использовать нестандартный порт для SSH. При использовании стандартного, диагностика будет выводить ошибку.

Режим обслуживания

Стабилизирована работа режима обслуживания, теперь он запускается при любом рестарте файрвола, даже если не требуется изменять ipset и модули фильтрации.

Прочее

Добавлено:

• Возможность указать несколько IP-адресов АС «Ревизор» через пробел на случай необходимости проведения технического обслуживания сервера.
• Добавлена возможность сбора дампа трафика от АС «Ревизор» с помощью инструкции с примерами. Помогает для отладки вновь установленного сервера.
• Диагностика возможности зацикливания HTTPS-прокси, если HSTS-ресурс резолвится редуктором в его собственный IP адрес. Такое может происходить в случае, если осуществляется фильтрация с помощью DNS-сервера провайдера и при этом и страница заглушка и прокси-сервер находятся на одном сервере.

Исправлено:

• Минорные ошибки в новом контейнере bgp_blackhole.
• Вывод ошибок диагностики в веб-интерфейсе теперь показывает только текущие проблемы.
• Запуск активации мог приводить к уходу сервиса reductor в режим обслуживания при неприменённых ручных изменениях в модулях фильтрации или конфигурации ipset.
• Выводящиеся в веб-интерфейсе ссылки вели на документацию по Carbon Reductor 7.
• Мастер настройки зеркала трафика мог не отображать некоторые сетевые устройства.
• У некоторых вновь пришедших пользователей возникали проблемы с установкой с DVD-диска, теперь установка работает исправно.
• Утилита cache_ctl не работала.
• Примеры утилиты list_ctl содержали упоминания старого формата списков.
• Проблема с правами на временные файлы nginx приводила к отображению веб-интерфейса без CSS.
• Имена ipset в firewall теперь соответствуют спискам, которые в них загружаются.
• Проверка наличия трафика теперь использует счётчики модулей фильтрации вместо запуска tcpdump, так же учитывается включены модули или нет.

Спасибо, что пользуетесь Carbon Reductor!