Продукты

Добрый день!

Последний месяц Carbon Soft совместно с Роскомадзором плотно тестирует новый способ выгрузки списка запрещённых сайтов. На текущий момент в тестировании приняли участие 10 операторов связи, использующих Carbon Reductor DPI.

Что представляет из себя новый способ выгрузки реестра

В отличие от обычного способа выгрузки реестра новый способ имеет 2 нововведения.

Получение изменений реестра производится с помощью пары логин/пароль через API Роскомнадзора. То есть ЭЦП (электронно-цифровая подпись) в новой системе на текущий момент не нужна. Однако избавляться от неё не нужно. ЭЦП может понадобиться для операторов связи впервые получающих доступ к порталу АС «Ревизор», возможно где-то ещё.

Теперь, помимо полной выгрузки реестра, периодически, раз в 5 минут, отслеживается появление небольших изменений — дельта-пакетов. После чего производится обновление правил фильтрации трафика в соответствии с данными из каждого дельта-пакета. Сам дельта-пакет на текущий момент представляет собой небольшие изменения в реестре Роскомнадзора, примерно от 1 до 10 записей (максимально до 300 ресурсов) и имеет формат аналогичный самому файлу реестра. Каждый дельта-пакет имеет свой идентификационный номер и время создания, по которому как раз и осуществляется проверка наличия новых изменений. Общая ежечасная выгрузка реестра запрещенных сайтов загружается операторами связи по существующим в настоящее время правилам.

Что даёт новый способ выгрузки

Во-первых, это даёт повышенную скорость загрузки и обработки списков, а также повысится эффективность и оперативность реагирования систем фильтрации на изменения в реестре, т.к. системе фильтрации не нужно скачивать весь список при наличии «дельт». С введением выгрузок по дельта-пакетам скорость скачки изменений повысится в разы, а серверу фильтрации нужно будет обработать только новые 5-10 URL, а не весь список как ранее. Новые URL добавятся в правила фильтрации мгновенно. Это делает ещё надёжней и оперативней работу системы фильтрации в целом.

Во-вторых, неудобства связанные с ЭЦП для выгрузки списков теперь исключены. Бывали случаи, что из-за просроченной подписи не происходила выгрузка списка запрещённых сайтов и, как следствие, пропуски фильтрации.

Когда будет переход на новый способ выгрузки списков

Роскомнадзор уже поддерживает 2 механизма выгрузки и продолжит в обозримом будущем. Возможно останется только новый способ выгрузки, но однозначно говорить об этом пока рано.

Возможность использования нового механизма выгрузки уже появилась в новой master-версии Carbon Reductor DPI 8. Изменения в 7-й версии появятся чуть позже, примерно через 2 месяца.

На текущий момент мы уже переводим на новую систему всех желающих. Просто оставьте заявку на портале HelpDesk о своём желании, инженеры технической поддержки Вам помогут. Техническая документация по настройке выгрузки списков также обновлена.

Получить логин и пароль можно в Роскомнадзоре (в случае использования собственной системы фильтрации трафика) или через представителя разработчика системы фильтрации трафика (если используете Carbon Reductor DPI).

Об изменениях в 7-й версии, а также любых других новостях мы сообщим дополнительно, поэтому оставайтесь на связи!

Спасибо, что пользуетесь Carbon Reductor DPI!

Добрый день! Традиционный ежемесячный релиз Carbon Reductor DPI уже готов. Пройдёмся по порядку в соответствии со списком изменений новой версии.

Самое важное

Оптимизирован алгоритм анализа HTTP трафика, уменьшено количество коллизий для популярных сайтов, что повысило производительность Вашего сервера. В результате максимальное время поиска запрошенного URL в списке запрещённых сайтов уменьшилось на 30% для этих сайтов. В абсолютной величине это время составляет 0,000021 секунды.

Теперь Carbon Reductor может сообщить о сбое в работе сервера даже при неработающих DNS серверах провайдера, которые прописаны в настройках ПО. Для этого на сервере фильтрации хранятся и обновляются IP адреса доменов Carbon Soft. К тому же, если Ваши DNS сервера не работают, мы сообщим Вам об этом.

Блокировка запрещённых ресурсов стала надёжнее за счёт того, что теперь на маршрутизаторе мы можем заблокировать большее количество ресурсов. Теперь отправка списков IP адресов на маршрутизаторы умеет использовать все списки IP адресов и подсетей и не ограничена только списком IP, который обязателен к блокировке по всем протоколам и портам.

Мониторинг

• Теперь по умолчанию отчёты АС «Ревизор» запрашиваются только для текущей учётной записи. Опционально можно запрашивать отчёты по всем единицам АС «Ревизор», установленным в Вашей сети. Пригодится, если у Вас в сети установлено несколько АС «Ревизор».
• Переработана система создания заявок по возможным сбоям на сервере фильтрации. Оглавление стало более информативным для администратора сервера, подробности вынесены в тело заявки.
• В анализе отчётов АС «Ревизор» фраза «Мониторинг в указанную дату не проводился» распознавалась как ошибка. Исправлено.
• Откорректирована работа теста проверки зацикливания https-proxy, когда одновременно на одном сервере работают https-proxy и страница-заглушка.

Прочее

• Найдена и исправлена трудновоспроизводимая ошибка, касаемая работы белых списков для https-ресурсов, заблокированных по IP, при указании подсетей.
• Исправлены небольшие недочеты в веб-интерфейсе.

Спасибо, что пользуетесь Carbon Reductor DPI!

Добрый день!

В начале осени Carbon Reductor DPI преодолел планку в 1000 операторов связи.

Теперь более половины рынка независимых провайдеров используют наше решение по фильтрации трафика.

На текущий момент Carbon Reductor DPI фильтрует 4,8 млн российских пользователей интернета. В секунду обрабатывается 180 гигабайт трафика.

За 2017 год операторами связи, использующими наше решение отфильтровано более 641 петабайт исходящего трафика или 18,9 квадриллионов сетевых пакетов.

Подробнее о Carbon Reductor DPI.

Спасибо, что пользуетесь продуктами Carbon Soft!

Добрый день!

Рады сообщить, что Carbon Reductor DPI успешно прошел тестирование Роскомнадзором и рекомендован к установке операторам связи по всей России как средство фильтрации трафика по спискам запрещённых сайтов и для выполнения ФЗ-139; ФЗ-149; ФЗ-187; ФЗ-398; ФЗ-436.

В тестировании приняло участие 22 оператора связи — самая большая выборка пользователей среди протестированных решений на рынке. По итогам у всех провайдеров, установивших систему фильтрации в соответствии с системными требованиями, достигнута 100% блокировка запрещённых сайтов и каких-либо нарушений или пропусков фильтрации за время тестирование не выявлено.

Подробная информация о Carbon Reductor DPI

Техническая документация по Carbon Reductor DPI

Спасибо, что пользуетесь Carbon Reductor DPI!

Самое важное

Как Вы знаете, мы тщательно работаем над системой мониторинга сервера фильтрации каждый месяц. В этот раз мы значительно улучшили процесс обработки сообщений от мониторинга технической поддержкой.

Теперь техническая поддержка будет реагировать на потенциальные проблемы в несколько раз быстрее. Мы внедрили 3 дежурных специалиста, которые в круглосуточном режиме обрабатывают заявки от системы мониторинга, если такие возникают. О них при необходимости узнает вся цепочка специалистов с помощью системы критических оповещений, начиная от первого дежурного и заканчивая руководителем подразделения Carbon Reductor DPI — ни одна задача ни в коем случае не останется упущенной несмотря на текущее время суток.

Усовершенствован и анализ отчётов от АС «Ревизор». Carbon Reductor DPI уже умеет проверять отчёты, сформированные АС «Ревизор». Теперь Carbon Reductor автоматически инициирует формирование отчёта, анализирует сгенерированный отчёт и позже вновь проделывает ту же работу в рамках ежедневной проверки работоспособности системы фильтрации.

Веб-интерфейс

• Исправлено отображение статистики по сетевым интерфейсам. Ранее не отображались графики по количеству проверенных пакетов, а также статистика по некоторым именам интерфейсов, при этом статистика оставалась доступна через консоль.
• Откорректирована работоспособность изменения паролей пользователей.

Мониторинг

• Добавлена система анализа факта блокировки трафика. Она позволяет определить, происходит ли блокировка запрещённых ресурсов на основе анализа обмена пакетами между самим запрещённым ресурсом и АС «Ревизор». Проверка происходит раз в 6 часов, а также сразу после обновления. При обнаружении аномалии система мониторинга оповестит техническую поддержку Carbon Soft и Вашего системного администратора.
• Откорректирована работа теста времени работы сертификата для выгрузки единого реестра запрещённых сайтов.

Фильтрация

• Согласована работа SNI-фильтрации с белыми списками, исправлены мелкие ошибки.
• В некоторых случаях не работали белые списки для IP-адресов без указания масок — исправлено.

Прочее

• Поведение системы обновления стало более правильным. Исправлены ошибка, которая разрешала обновление при его полном отключении. Однако нужно учитывать, что есть версии на которые необходимо обновляться. Такие версии выпускаются при критических изменениях, связанных, как правило, непосредственно с модулем фильтрации. Переход на такие обновления проходит в обязательном порядке вне зависимости от выбора опций.
• Откорректирована обработка списков, проведены работы по повышению отказоустойчивости.
• Исправлена автоматическая отправка новых маршрутов по BGP в интеграции с маршрутизаторами.

Спасибо, что пользуетесь Carbon Reductor!

С начала 2017 года разработчики Carbon Soft провели огромную работу над улучшением качества системы фильтрации, которой пользуется вот уже 1000 операторов связи по всей России. Для того, чтобы у Вас было более полное понимание продукта и его возможностей представляем Вам ретроспективный обзор самых важных изменений за текущий год.

Новое поколение продукта — Carbon Reductor 8

Carbon Reductor выпущен в виде новой серии продукта 8 версии. Теперь он базируется на единой платформе Carbon - надёжная, проверенная временем платформа с онлайн мониторингом и фоновым обновлением. Продукт поделён на отдельные контейнеры: reductor_dpi, blockpage, https_proxy, bgp, rkn. Контейнер представляет из себя изолированное окружение, где есть всё, что необходимо для работы, что значительно повышает надёжность и отказоустойчивость продукта в целом. Также, платформа позволяет оперативно добавлять новые модули при изменении законодательства.

Установка происходит со стандартного дистрибутива CentOS с расширенным установщиком carbon_kickstart. Возможна установка с ISO или UBS-flash образа. Carbon_kickstart автоматически сделает надёжную разбивку дисков, используемую платформой Carbon, соберёт при необходимости софтрейд.

Мониторинг и система критического обновления платформы Carbon сокращают время от выявления проблемы до её полного устранения на всех серверах системы фильтрации с нескольких дней до нескольких часов. Например: система мониторинга обнаружила проблему на одном из серверов пользователей, один из разрабочтиков её устранил, а через полтора часа уже выпустил Hotfix (критическое обновление) для всех наших пользователей, что навсегда исключает возможность возникновения этой проблемы на каком-либо сервере.

Платформа Carbon имеет 3 встроенных watchdog’a, что позволяет срочно перезагрузить сервер в случае аппаратного или софтверного зависания.

Читать далее →

Вчера, 26 октября 2017 всем операторам связи, осуществляющим выгрузку реестра запрещённых материалов, а также фильтрацию трафика, от Роскомнадзора пришло письмо о смене IP-адреса ресурса получения выгрузки операторами связи vigruzki.rkn.gov.ru.

В связи с вопросами от наших пользователей и чтобы прояснить ситуацию по продукту Carbon Reductor, сообщаем, что выгрузка в Вашем сервере фильтрации осуществляется путём обращения по доменному имени, поэтому смена IP-адреса данного ресурса никак не скажется на работоспособности продукта.

Также рекомендуем проверить настройки firewall Вашего маршрутизатора на предмет блокировки нового IP-адреса ресурса для выгрузок. Текущий IP-адрес — 46.61.232.10, новый — 81.177.103.92.

Спасибо, что пользуетесь Carbon Reductor!

Самое важное

Появилась возможность ограничивать действия в веб-интерфейсе. Настройка, выключение и управление сервером теперь разграничиваются правами доступа. Может быть 2 роли: уровень доступа администратор – редактирование, настройка, перезагрузка и т.д., менеджер – просмотр результатов работы. Пригодится на тот случай, если у Вас несколько человек, которые контролируют работу системы фильтрации и один ответственный — например, главный инженер, имеющий доступ к настройкам системы.

Мы оптимизировали интеграцию с маршрутизаторами. Для снижения нагрузки на маршрутизаторы оператора связи мы ввели возможность работы с целыми подсетями IP-адресов. Из-за повышения количества заблокированных IP-адресов в реестре запрещённых сайтов у некоторых маршрутизаторов возникали проблемы с производительностью – теперь их больше не будет.

Повышена отказоустойчивость при обработке списков – добавлена проверка URL на корректность. Ранее некорректные URL могли привести к сбою процесса обработки списка.

Веб-интерфейс

• Графики со статистикой работы Carbon Reductor больше не очищаются при обновлении версии продукта.
• Улучшена стабильность работы веб-интерфейса, исправлена ошибка, в редких случаях приводящая к его недоступности.

Мониторинг

• Откорректирована работа системы диагностики. Наличие трафика в зеркале анализируется более корректно.
• Добавлена система проверки статуса BGP сессии при интеграции с маршрутизаторами сети. Если BGP сессия не активна (например, маршрутизатор не отвечает), Carbon Reductor оповестит администратора о сбое в сети, который может привести к пропускам фильтрации.
• Исправлена ошибка проверки статуса UPS. Это приводило к ложному оповещению администратора о его неисправности.

Фильтрация

Изменена логика разбора реестра для доменов с точкой на конце (для случаев записи example.com.). Теперь такие записи блокируются во всех вариациях, чтобы исключить влияние человеческого фактора при заполнении реестра.

Прочее

• Режим обслуживания теперь поддерживает работу с хук-файлами (файлы с доп. настройками). Есть некоторые пользователи, которые используют их для собственных настроек.
• Добавлена поддержка Zabbix-агента, что позволит дополнительно выполнять мониторинг сервера самостоятельно, помимо системы мониторинга Carbon Soft.
• Исправлен запуск хук-файлов при старте Carbon Reductor.

Спасибо, что пользуетесь Carbon Reductor!

Добрый день!

Рады сообщить, что Роскомнадзор в данный момент тестирует решение по фильтрации запрещённых ресурсов Carbon Reductor DPI.

По итогам тестирования будет выдан официальный документ, подтверждающий работоспособность фильтра трафика и соответствие требованиям Роскомнадзора. Тестирование займет от 2-х до 4-х недель. О результатах мы также сообщим.

Спасибо, что пользуетесь Carbon Reductor!