Новые рекомендации от РКН

Новые рекомендации от РКН

Добрый день!

Работа над Carbon Reductor DPI идет полным ходом, тем временем, Роскомнадзор обновляет правила блокировки ресурсов. Вступают в силу с 15.08.2016.

Ссылка на документ

Из этого мы выделили пару пунктов:


Фильтрация по маскам доменов

Похоже РКН планировал, что вопрос с блокировками субдоменов будет немного более явным, но не вышло.

Если действовать дословно — многие ресурсы будут заблокированы по «example.com», но не будут по «www.example.com». А если требуется заблокировать субдомены запись будет иметь вид «*.example.com».

Терзают сомнения, что старые записи реестра переделывать не будут, а за открывшиеся ссылки с подстановкой «www.» не будут придираться. Разумнее было бы в реестре явно указывать в тэге записи match_mode=»exact» или match_mode=»with_subdomains», с поведением «with_subdomains» по умолчанию.

Технически почти всё готово — у модуля «dnsmatch» есть флаг «—exact», который говорит искать точные совпадения, не блокируя субдомены. Пока что используется только для собственных списков. Глобально установить его можно будет в следующей выпущенной версии. Немного переписать парсер реестра, чтобы раздельно складывал две категории доменов и добавить 1 правило файрвола — дело 1-2 часов.

Официально одобряется бан «https» ссылок по домену

Текущая логика разбора реестра и использование списка таких доменов для DNS-спуфинга считаются приемлемыми.

Вообще — здорово, что весной мы решили, что DNS-модуль нужен и реализовали его. Кстати, на одну из будущих версий задумана поддержка DNS идущего по IPv6.


Новую версию с поддержкой новых рекомендаций планируем выпустить в начале августа.

Оставайтесь на связи.

Спасибо, что используете продукты Carbon Soft!

Блокировка URL роликов YouTube

Блокировка URL роликов YouTube

Всем привет, на связи Carbon Soft!

Как вы знаете, YouTube с мая перешел на принудительный HSTS и скорее всего значительная часть сервисов тоже начнёт его использовать. В связи с этим, блокировка отдельных URL, которые находятся в реестре запрещенных сайтов стала практически невозможна.

Мы направили официальное письмо в Роскомнадзор с просьбой разъяснить ситуацию и предоставить решение проблемы, юридическое или техническое, ведь неразумно блокировать ресурсы, которыми пользуются десятки миллионов абонентов России.

И вот что нам ответили:

В случае, если оператор связи не имеет технической возможности расшифровать в информационном потоке данных конкретный указатель страницы сайта в сети «Интернет» полагаем, что блокировка доступа может осуществляться, в том числе по доменному имени.

Оригинал обращения в РКН
Оригинал ответа от РКН

Проще говоря РКН ответил: если не можете расшифровать трафик, исполняйте закон и блокируйте весь домен.

Попробуем рассмотреть потенциальные решения проблемы

Блокировать всю соцсеть по домену или адресу подсети

Жуткое решение, чреватое перебежками пользователей от одного провайдера к другому. Хотя Роскомнадзор на наш запрос ответил: «Как хотите, так и делайте, только чтобы те URL, которые есть в реестре были заблокированы. Не можете вырвать URL, блокируйте весь домен.»

В варианте с блокировками по подсетям IP, скорее всего будут заблокированы в том числе многие другие сервисы google, что точно оттолкнёт абонентов от провайдера.

Проксировать только трафик от ревизора

С первого взгляда кажется разумным — и Роскомнадзор и абоненты спокойны. А вот паре провайдеров, которые так делали, а потом напоролись на предписания от прокуратуры после внезапных проверок — не кажется.

Проксировать трафик всех абонентов до youtube

По URL HTTPS отфильтровать в принципе возможно, но только с использованием проксирования с подменой сертификатов. У некоторых так и работает (хотя не понятно насколько это законно). В случае использования HSTS это будет работать только в одном случае — если пользователь сам добавит в свою операционную систему корневой сертификат, который будет использоваться на прокси-сервере. Так уже сделали в Казахстане (и это очень грустно). Автоматически это сделать довольно тяжело — максимум, что сейчас приходит в голову — на странице заглушке давать ссылку на этот сертификат + сделать рассылку по e-mail’ам.

Дополнительно скорее всего придётся дропать весь QUIC-трафик до youtube (http(s) over udp), либо придумывать что с ним делать.

Мысли по поводу снижения болезненности такого подхода:

Направлять в такое прокси весь трафик — было бы очень нежелательно, так создаётся угроза безопасности при доступе к интернет-банкам и многим другим важным вещам. Из мыслей — поднять что-то вроде CA, который выдаёт провайдерам сертификаты с зашитыми в них доменами, которые можно проксировать, либо заставить провайдеров явно это делать самостоятельно.

Второй вопрос — как направить в прокси только нужный трафик, пока что остаётся не решённым. Возможно хитро патчить прокси + использовать DNS-спуфинг одновременно, как бы дико это не звучало.

Блокировать только HTTP, спорить с РКН в судах/до суда

Если есть юридический отдел, попробовать можно. Но, если с РКН это, допустим, прокатит, как быть с прокуратурами и списком Минюста, где есть ссылки с использованием HTTPS — неизвестно.

Итог

Мы готовим новую версию Carbon Reductor с технической возможностью фильтрации HSTS, но автоматически настроить и включить это вряд ли представляется возможным.

В любом случае, оставайтесь на связи и следите за нашими новостями по адресу: www.carbonsoft.ru/blog

Релиз Carbon Billing 5.18.01

Релиз Carbon Billing 5.18.01

Всем привет!

Снова на связи Carbon Soft с новым ежемесячным обновлением Carbon Billing 5. Традиционно выкладываем текстовую версию релиза со списком обновлений.

Видео-презентацию смотрите здесь.

Поехали!


Новое:

  • добавлена интеграция с TITV (см. видео-презентацию);
  • добавлена возможность отображать реквизиты абонента на основной вкладке в любой подгруппе. Интерфейс для менеджеров стал информативнее;
  • добавлена возможность использовать любые поля справочника домов для формирования строки отображения адреса в интерфейсе.

Улучшения:

  • улучшена система мониторинга параметров биллинга и платформы — обнаруженные ошибки автоматически попадают в «Helpdesk», а техподдержка оперативно решит эту проблему;
  • настройка Megogo стала еще проще – занимает 1 час (см. видео-презентацию);
  • доработка мультивалютной системы: создавайте услугу и заключайте договоры в валюте, которая отличается от основной;
  • для операторов, предоставляющих услугу VOIP телефонии по агентской схеме добавлена возможность выставления счетов абоненту от каждого агента отдельно.

Прочее:

  • опция устанавливающая месяц равным 30 дням теперь распространяется и на тип списания «ежемесячно пропорционально количеству дней», если вы хотите, чтобы каждый день списывалась одна и та же сумма;
  • в коммутаторе теперь можно задать любые диапазоны портов — специально для расширяемых коммутаторов;
  • исправлены ошибки, о которых Вы сообщили;
  • теперь объём пени можно задать в десятичных долях;
  • в печатной форме карточки абонента появилась возможность отображать маску сети в формате IP-адреса.

Спасибо, что доверяете нашим решениям. До связи!

Релиз Carbon Reductor 7.1.2

Релиз Carbon Reductor 7.1.2

Ежемесячное обновление Carbon Reductor уже подоспело. Добавлен новый функционал и исправлены ошибки. Чтобы разобраться в новых фичах, пойдем по порядку.

Новая система обновления

Теперь вопрос «нужно ли обновляться и на какую версию» решается на стороне сервера. Благодаря этому мы лучше контролируем массовые обновления.

Текущая логика работы такова: на свежую версию обновляются 10 случайных (вероятность 30%) серверов в период первой половины рабочего дня отдела технической поддержки с понедельника по четверг. После этого версия «замораживается» на 24 часа в случае минорных изменений и на 120 часов в случае мажорных изменений, а обращающимся за обновлением отдаётся ссылка на последнюю “обкатанную” версию.

Carbon Reductor Satellite 2.0

Реализация «Ревизора», которая отправляет данные о проверках фильтрации только туда, куда Вы попросите, обновилась.

  • Система умеет проверять фильтрацию HTTP, HTTPS и DNS ресурсов;
  • Поддерживает хуки, так что можно отправлять результаты проверки в собственные системы мониторинга. То есть Вы сможете заблаговременно узнать о проблемах на сервере;
  • Время работы полной проверки сокращено с 5-ти до 1-го часа;
  • Теперь для обновления достаточно одной команды.

Доработки DNS-спуфинга

Теперь DNS-спуфинг работает сразу после установки и дополнительно разработана система интеграции с DNS-серверами провайдера. Поддерживаются bind/named и unbound.

Резолвер

Исправления:

  • Благодаря правильному анализу опции «поддержка IPv6» меньше проблем при использовании интеграции с маршрутизатором;
  • Редуктор не блокирует страницу-заглушку при неправильной настройке зеркала.

Файрвол и веб-интерфейс

Новое:

  • Веб-интерфейс недоступен, если не указан IP администратора;
  • Можно указать конкретные IP-адреса и порты на которых будет доступен веб‑интерфейс. По умолчанию он работает на 0.0.0.0:8080.

Исправления:

  • Исправлена проблема проверки доступности при использовании некоторых систем мониторинга. Проверка TTL=1 переехала из «mangle PREROUTING» в «raw PREROUTING» в цепочку «mirror traffic»;
  • Кастомные редиректы HTTP теперь наследуют опции «--log» и «--save-domain».

Прочее

Новое:

  • На случай внезапно возникшей необходимости доработки системы обращений url‑списков внедрена поддержка черных и белых «Хотфикс-списков». Они страхуют Вас на время, пока Вы не обновитесь на версию с доработками. Отключаемая опция;
  • Адрес дефолтной заглушки для демонстрации работы редиректа переехал с deny.carbonsoft.ru на denypage.ru.

Исправления:

  • Упрощена система обработки списков. Кэш сигнатур изменил формат, благодаря этому теперь нет проблем и специальной обработки URL с некоторыми спецсимволами;
  • Система мониторинга путалась при создании тикетов между несколькими Carbon Reductor, зарегистрированными на одну компанию. В результате периодически возникала ситуация, когда по одному серверу создавалась заявка, а потом сразу же закрывалась по данным, поступившим от другого сервера;
  • Просроченная оплата теперь не плодит несколько тикетов в хелпдеске.

Релиз Carbon Billing 5.17.01

Релиз Carbon Billing 5.17.01

Салют!

Теперь будем записывать видео-презентации новых версий Carbon Billing 5.
Вот ссылка на видео-презентацию.

Ну и традиционно, в текстовом режиме о майских улучшениях в версии Сarbon Billing 5.17.01:

1. Результаты поиска теперь разбиты на страницы. Стало удобней.

2. Добавили бекап всех платежей проведенных в системе за месяц – теперь в случае ЧП, платежи быстро восстановятся.

3. Качественно переработали интерфейс добавления и редактирования услуги – стало проще. Посмотрите — уверены, что Вам понравится.

4. По просьбам зарубежных партнеров – сделали интерфейс биллинга на английском.

5. В группу “Все” добавлена возможность просмотра общей детальной статистики по трафику, нашим друзьям из ФСБ понравится.

6. Настраивайте разные сообщения для оповещения для юр. и физ. лиц., в прошлом месяце этой возможности не было.

7. Переработали архитектуру хранения аудита для ускорения и повышения стабильности основной базы дынных.

8. Добавили опцию сдвига даты следующего списания на месяц для ежемесячных тарифов и опцию равенства месяца 30 дням.

9. Исправили несколько багов, о которых сообщили нам клиенты.

У нас всё. До новых встреч!

График работы технической поддержки с 13 по 17 июня

График работы технической поддержки с 13 по 17 июня
День Время работы (МСК)
13 июня Выходной день
14 — 16 июня 8:00 — 16:00
17 июня 8:00 — 15:00

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем

Отчет по внедрениям за май

Отчет по внедрениям за май

Здравствуйте!

Здесь список компаний, которые внедрили Carbon Billing 5 и Carbon Reductor в мае. Как на сайтах пишут «Нам доверяют» и перечисляют список клиентов, так и мы пишем «Доверились нам в мае»:

Сarbon Reductor:

  • ООО «Мир Телематики»
  • ООО «СЕРВЕР В АРЕНДУ»
  • ООО «Эксперт-Телеком»
  • ООО «АРЕНТЕЛ»
  • ООО «Фотон»
  • ООО «Новая Телекоммуникационная Компания»
  • ООО «Скайворк»
  • ООО «Комитен»
  • ООО «Студия Ладья»
  • ООО «ВидеоМир»
  • ИП Романова Светлана Александровна
  • ООО «Альянс-Медиа»
  • ООО «Связь Плюс»
  • ООО «Комета»
  • ООО «ПраймЛинк Телекоммуникации»
  • ООО «Алианс»

А здесь те, кто перешел на Carbon Billing 5:

  • ООО «Спутник ВМ»
  • ООО «Сочи ТВ»
  • ООО «МедиаСеть»
  • SUPERDACH LIMITED
  • ООО «АПЛИНК»
  • ООО «Фирма «Релант»
  • ИП Нарышев Дмитрий Михайлович
  • ООО «ЯкСтар»


Релиз Carbon Reductor 7.0.0

Релиз Carbon Reductor 7.0.0

Фильтрация HTTPS-ресурсов с активной динамической сменой IP адресов

Мы почти две недели готовили решение проблемы с ресурсами, часто меняющими IP адрес и, наконец, готовы выпустить новую мажорную версию 7.0.0! (На CentOS 7 она работать не будет, если что, а то мало ли, что подумаете).

  • Благодаря этому появляется возможность заредиректить пользователя на заглушку при обращении к HTTPS ресурсу
  • Помимо этого решается проблема с ресурсами, часто меняющими IP адреса
  • Возможно, благодаря этому можно будет отключить резолвер
  • На текущий момент поддерживается только A и AAAA записи для IPv4 запросов по UDP
  • На текущий момент генерируется пакет с TTL = 1 минуте, чтобы абоненты с кэшированием DNS не страдали долго из-за теоретических ошибочных блокировок.
  • Проверено: 100% юнит-тестов проходят, а модуль обкатан на серверах 5 провайдеров размером от 500 до 100000 абонентов.
  • Модуль интеграции с биллингом теперь тоже поддерживает использование нового модуля, что особенно важно для блокировки youtube.com / google.com и других ресурсов, использующих QUIC (HTTPS over UDP).

По умолчанию после обновления модуль отключен, включить можно в настройках алгоритма фильтрации. Проверка утилитой Роскомнадзора прошла успешно, данные о проверке ревизором получим завтра с утра.

Из задумок, что сделать дальше:

  • Поддержка IPv6-запросов
  • Поддержка ответа с несколькими IP адресами
  • «Рандомизация» TTL чтобы не вызывать лишних подозрений
  • Поддержка TCP’шных DNS-запросов

Типовое решение для веб-сервера-заглушки

Поскольку модуль подмены DNS-ответов может редиректить абонентов только на IP, а не на конкретный URL, приходится немного модифицировать веб-сервера с заглушками. Поскольку клиентов много, мы постарались максимально автоматизировать этот процесс, а также учли несколько нюансов и проблем, возникающих при большом количестве обращений к серверу. Подробная инструкция по настройке и установке: https://github.com/carbonsoft/reductor_blockpages

P.S: Мы в скором времени сделаем поддержку такой заглушки прямо на Carbon Reductor, пока релизим так, чтобы те, кто ждал этой возможности не ждали её ещё несколько дней. Праздники же скоро, всё такое. Скорее всего необходимо будет добавить на Carbon Reductor ещё один IP адрес, доступный всем абонентам.

Упрощение файрвола и ненадобность части хуков

Теперь оптимизация подсистемы роутинга отключена по умолчанию, а при включении затрагивает только трафик, который попадает на интерфейсы, находящиеся в бриджах. Иными словами, чтобы разрешить доступ к какому-либо порту редуктора по интерфейсу для менеджмента достаточно просто добавить правило в filter INPUT с помощью хука, а mangle PREROUTING трогать не надо. Отрезание лишнего трафика происходит там же, где и применение правил NOTRACK (если опция включена) — в raw PREROUTING, цепочка — mirror_traffic.

Примечание — работает только с L2-зеркалами. L3 нужно будет настраивать вручную с помощью хуков. (пока что).

Веб-интерфейс

Помимо самого редуктора мы обновили веб-интерфейс до версии 1.1.8. Там много мелких улучшений в удобстве использования.

  • Видно какая вкладка/список сейчас открыты.
  • Вывод информации о сервере более стал унифицированным и читаемым.
  • У части графиков удалена ненужная легенда
  • И вообще местами текст переработан, исправлена куча орфографических ошибок (которых от себя даже не ожидали, очень стыдно), каша из английского и русского текста.

Иными словами смотреть в вебку стало немного приятнее. Обновить её нужно вручную, автоматическое обновление для неё мы пока не прикрутили, но в скором времени запилим и это. :)

Прочее

  • Для того чтобы диагностика и выгрузки не ругались на отсутствие сертификата теперь достаточно указать, что выгрузка идёт с собственного сервера (не нужно указывать дополнительно опцию skip_sign_request).
  • Диагностика при исправлении проблемы с актуальностью списков запускает выгрузку списков с timeout (≈55 минут) аналогично cron, в результате это защищает от зависания этого процесса.
  • Устранён небольшой Warning по поводу использования устаревшего BaseException в резолвере.
  • Увеличены TTL для записей нерезолвящихся доменов с 1 до 3 часов (для резолвящихся максимальный TTL остаётся 1 час). Ранее из-за большого числа таких доменов резолвер циклился. Впрочем, скоро он скорее всего всё равно станет не нужен.
  • Число тредов резолвера можно задать через QDNS_THREADS=8 ./bin/reload_ip.sh Повышена отказоустойчивость в случае проблем с /var/log/
  • Удалён fallback-режим (-134 строчки кода, ура).

Релиз Carbon Billing 5.16.01

Релиз Carbon Billing 5.16.01

Привет! Вышла новая версия флагманского продукта Carbon Billing. Появилось много классных фич. Расскажем обо всем по порядку.

1. Ни для кого не новость, что биллинг интегрирован с 1C, но в этом релизе мы существенно доработали эту интеграцию. Теперь при выгрузке учитывается агентская схема.

2. Супер новость! Появилась интеграция с UserSide. Это система автоматизации для ISP. Веб-ориентированный программный комплекс, который позволяет управлять множеством процессов в компании. Взаимодействие с биллингами, учет абонентов и их тарифов, работа с оборудованием, ВОЛС, складом, бухгалтерией и персоналом.

3. И еще одна отличная новость. Теперь интегрироваться с IPTVPORTAL стало еще проще благодаря стандартной схеме.

4. Мы доработали расширенный поиск, добавив дополнительные поля. Теперь можно искать отдельно по улице, номеру дома и корпусу.

5. Доработана система бекапов. Теперь помимо базы данных и конфигурации бекапятся еще и настройки личного кабинета.

6. Не обошлось без добавления новых платежных систем. Добавили аж 2 штуки: City-Pay и ПлатеЖКа.

7. Доработаны отчеты для директора. Добавлена возможность учитывать заблокированных абонентов для диаграммы популярности тарифов.

8. И в конце приятная новость, которая позволит вам увеличить прибыль. В Carbon Billing появилась интеграция с RentSoft. Рентсофт предлагает вам запустить на своем абонентском портале новую услугу подписки на программное обеспечение: SaaS, антивирусы и т.д. Предложите это своим абонентам и получите % с продаж.

А еще, мы исправили все ошибки, о которых вы нам любезно сообщили.

Среди наших клиентов