Релиз Carbon Reductor 7.2.2

Добрый день!

В этом месяце Роскомнадзор опять подкинул работы новыми рекомендациями по работе с единым реестром, которым Carbon Reductor теперь соответствует. Традиционно выкладываем структурированный список обновлений:

Выгрузки реестра и его обработка

Новое:

добавлен демон rknd, инициирующий экстренные выгрузки реестра. Он уже помог обнаружить и исправить три недостатка в процессах выгрузки реестра и загрузки URL/доменов в ядро;
добавлена поддержка масок доменов в разборе реестра;
добавлена отказоустойчивость для выгрузок реестра;
теперь отчёт о возникновении проблемы с выгрузкой реестра содержит в себе подробности этой проблемы.

Исправления:

процессы выгрузки реестра и загрузки URL в ядро теперь не могут быть запущены более 1 раза одновременно. Ранее это приводило к проблеме, идентифицируемой диагностикой как «Проверка загрузки URL в ядро»;
в случае запуска выгрузок на не активированном Carbon Reductor запускалась старая версия системы активации, что завершалось не удачно. Удалена и заменена актуальной.

Модули ядра

DNS

Новое:

добавлена поддержка выбора режима матчинга: ‑‑exact и with-subdomains (по умолчанию). Пока не используется, в devel-ветке есть код, который добавляет такую поддержку в кастомные списки DNS (и сами кастомные списки DNS);
добавлена поддержка регистронезависимого ‑‑icase поиска, отключенная по умолчанию. Он значительно менее производительный, лучше его добавлять дополнительным правилом для тех подсетей откуда запросы часто идут не в нижнем регистре.

Исправления:

значительно снижена вероятность коллизии хэшей в dnsmatch, что позитивно сказывается на производительности;
удалено всё оставшееся отладочное логирование, а также логирование checked/matched в dnsmatch.

HTTP

добавлена поддержка очень коротких доменов в HTTP-матчере (например, http://x.yz).

Прочее

Новое:

периодические задачи, потенциально способные повлиять на работоспособность фильтрации, подстроены под график проверок Ревизора. Сохраняет дампы трафика в аккуратно подобранной структуре каталогов в /var/lib/revisor_dump/. Добавление в «крон» только вручную;
добавлена утилита для сохранения трафика от проверок «Ревизора» для последующего анализа — revisor_dump.sh;
при запуске рестарта по SSH, логируется IP-адрес запустившего;
добавлен скрипт для превращения списка бэкапов в git-репозиторий с файлом xml для отслеживания изменений в нём;
commit’ы в /etc/sysconfig/network-scripts/, создаваемые мастером настройки сети стали удобочитаемы.

Исправления:

проверка обработки пакетов в диагностике иногда имела ложные срабатывания;
в некоторых случаях проброс переменной LC_CTYPE отличного от ru_RU.UTF-8 при подключении к Carbon Reductor по SSH и запуск обработки списка приводил к ошибке при обработке списков;
принятие решения об обновлении на новую версию целиком лежит на сервере обновления, все «умности» на клиентской стороне удалены;
не создавались ссылки на цепочку mirror_traffic в таблице raw, если не была включена опция NOTRACK. В результате не работала его особая обработка и отсеивание лишнего на раннем этапе.

Спасибо, что доверяете решениям Carbon Soft!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-08-08

Чемпионат по настольному теннису

Всем привет!

В воскресение 07.08.16 команда Carbon Soft приняла участие в турнире по настольному теннису в рамках IT-спартакиады в Екатеринбурге. День был весьма насыщенный – каждый из игроков отыграл минимум по 20 сетов с 7 оппонентами. Наивысшие места в топ 50 заняли: Свяжин Артем, Шевнин Игнат, Кучаев Денис.

Публикуем фото отчет:

Рубрика: Новости | Дата: 2016-08-08

Итоги за июль — Carbon Reductor

Добрый день!

РКН нагнетает с каждым днём: добавляет всё больше сайтов в список заблокированных, обновляет требования по блокировке, рекомендует заблокировать YouTube, находит способы обхода блокировки и т.д.

А мы всё также поддерживаем наших клиентов, разрабатываем новые решения и используем нестандартные ухищрения с целью решения Ваших проблем!

Как всегда публикуем новые отзывы от пользователей Carbon Reductor:

Отзыв от ООО «ТРК ТОНУС»

Откуда возникла потребность в поиске решения фильтрации трафика?

Потому что обязаны фильтровать. Потребность со стороны закона;

Как узнали о нашем продукте?

Я ранее еще регистрировался на вашем сайте по поводу биллинга, рассматривал информацию. Ну и потом заметил на сайте, что есть блокировка. Списывался с вашими техниками по поводу установки Carbon Reductor на сторонний биллинг. Т.е. я думал сначала, что привязка идет к конкретному биллингу, потом выяснилось что нет. Поэтому принято решение устанавливать его;

Почему выбрали именно нас? Что стало решающим при выборе компании?

Да не знаю, по функционалу: всё описано, всё доступно, легко и просто;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

Да, вот сейчас единственное ждем обновления, чтобы https можно было вырезать, а так всё нормально, всё хорошо;

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

В принципе так-то всё устраивает. Единственное, знаете, столкнулись, не знаю проблема, не проблема, может быть это индивидуально – набирали свой лист блокировки, который дала прокуратура. И как-то некорректно получилось. Т.е. если через веб-интерфейс вносишь, то как-то некорректно срабатывает. Если же через консоль редактируешь файл, то все корректно. Сейчас проблемы нет, эти сайты уже попали в списки РКН. Но ситуация была. Но опять-таки, это была не проблема, это не тяжело;

Отзыв от ООО «Теле-дом»

Откуда возникла потребность в поиске решения фильтрации трафика?

Ну как, законодательство обязывает;

Как узнали о нашем продукте?

Просто в интернете, через поисковик;

Почему выбрали именно нас? Что стало решающим при выборе компании?

На тот момент я не находил больше ничего путного. У вас был неплохой сайт, документация, решили попробовать, вроде бы неплохо;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

По началу там были какие-то проблемы по спискам Минюста, что они там не актуально немножко обновлялись. После, вроде бы, претензий нет.

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

Да, честно говоря, даже не задумывался об этом. Поэтому не готов сейчас ответить на этот вопрос;

Спасибо, что используете продукты компании Carbon Soft!

Рубрика: Carbon Reductor DPI, Отзывы | Дата: 2016-08-04

Новые рекомендации от РКН

Добрый день!

Работа над Carbon Reductor DPI идет полным ходом, тем временем, Роскомнадзор обновляет правила блокировки ресурсов. Вступают в силу с 15.08.2016.

Ссылка на документ

Из этого мы выделили пару пунктов:

Фильтрация по маскам доменов

Похоже РКН планировал, что вопрос с блокировками субдоменов будет немного более явным, но не вышло.

Если действовать дословно — многие ресурсы будут заблокированы по «example.com», но не будут по «www.example.com». А если требуется заблокировать субдомены запись будет иметь вид «*.example.com».

Терзают сомнения, что старые записи реестра переделывать не будут, а за открывшиеся ссылки с подстановкой «www.» не будут придираться. Разумнее было бы в реестре явно указывать в тэге записи match_mode=»exact» или match_mode=»with_subdomains», с поведением «with_subdomains» по умолчанию.

Технически почти всё готово — у модуля «dnsmatch» есть флаг «—exact», который говорит искать точные совпадения, не блокируя субдомены. Пока что используется только для собственных списков. Глобально установить его можно будет в следующей выпущенной версии. Немного переписать парсер реестра, чтобы раздельно складывал две категории доменов и добавить 1 правило файрвола — дело 1-2 часов.

Официально одобряется бан «https» ссылок по домену

Текущая логика разбора реестра и использование списка таких доменов для DNS-спуфинга считаются приемлемыми.

Вообще — здорово, что весной мы решили, что DNS-модуль нужен и реализовали его. Кстати, на одну из будущих версий задумана поддержка DNS идущего по IPv6.

Новую версию с поддержкой новых рекомендаций планируем выпустить в начале августа.

Оставайтесь на связи.

Спасибо, что используете продукты Carbon Soft!

Рубрика: Новости | Дата: 2016-07-26

Количество пользователей внутреннего роумингового интернет-трафика увеличилось на 21%

В период отпусков выросли показатели интернет-роуминга МТС. Количество пользователей внутреннего роумингового интернет-трафика увеличилось на 21%, а количество генерируемого трафика возросло на 96%. Как утверждает представитель МТС Дмитрий Солодовников, интенсивнее растет именно потребление мобильного трафика. Рост потребления интернет-трафика в 4 раза быстрее, чем увеличение абонентской базы. По сравнению с прошлым годом пользователи смартфонов потребили во внутреннем роуминге трафика более чем на 320%, а владельцы планшетов – на 54%. Количество абонентов МТС, которые пользуются мобильным интернетом в поездках по России, увеличилось на 23%.
Как считает Солодовников, это вызвано, в первую очередь, увеличением территории покрытия сетей LTE, работающие в 83 регионах России. Некоторое значение имеет увеличение количества абонентов оператора, пакетные тарифы, которые дают возможность пользоваться мобильным интернетом на территории страны по тем же ценам, что и в домашнем регионе.
Как сообщает представитель Мегафона Юлия Дорохина, на увеличение потребления мобильного интернета на территории России влияет снижение количества путешествий за рубеж и распространение туризма внутри страны. Если сравнивать текущие показатели с показателями прошлого года, то количество потребляемого трафика выросло минимум в два раза. Также, как отмечает Дорохина, большую роль играет и стоимость услуг, которая в тарифных планах равна стоимости обслуживания в домашней сети.
Что касается еще одного оператора «большой тройки», то компания Вымпелком также предоставила свои данные, из которых видно, что количество абонентов международного роуминга за последний год снизилось на 26%, а во внутрисетевом роуминге увеличилось на 6%.
Точной информации о том, какую часть от дохода операторов составляет внутренний роуминг, нету, но из слов генерального директора Telecom Daily известно, что внутренний роуминг позволяет российским операторам зарабатывать от 1 до 1,5% от всех доходов. Как говорит директор «ТМТ консалтинг» Константин Анкилов, благодаря увеличению потребления трафика во внутреннем роуминге по отношению к росту абонентской базы операторы делают связь все лучше, надежнее и дешевле. Это возможно благодаря тому, что весь трафик идет по собственным сетям, которые при необходимости модернизируются.
По собственной оценке Дениса Кускова, главы Telecom Daily, количество абонентов международного роуминга в прошлом году уменьшилось на 18-25%, а вот количество абонентов внутреннего роуминга увеличилось на 22-27%. Как считает Кусков, к этому привело использование пакетных тарифов, с помощью которых услуги связи по России доступны по тем же ценам, что и в домашнем регионе. Также это связано с увеличением количества смартфонов с поддержкой сетей LTE, увеличением зоны покрытия операторами. Но этот рост не способен существенно повлиять на уровень доходов из-за снижения международного роуминга и из-за использования пакетных тарифов.

Рубрика: Полезное | Дата: 2016-07-16

Блокировка URL роликов YouTube

Всем привет, на связи Carbon Soft!

Как вы знаете, YouTube с мая перешел на принудительный HSTS и скорее всего значительная часть сервисов тоже начнёт его использовать. В связи с этим, блокировка отдельных URL, которые находятся в реестре запрещенных сайтов стала практически невозможна.

Мы направили официальное письмо в Роскомнадзор с просьбой разъяснить ситуацию и предоставить решение проблемы, юридическое или техническое, ведь неразумно блокировать ресурсы, которыми пользуются десятки миллионов абонентов России.

И вот что нам ответили:

В случае, если оператор связи не имеет технической возможности расшифровать в информационном потоке данных конкретный указатель страницы сайта в сети «Интернет» полагаем, что блокировка доступа может осуществляться, в том числе по доменному имени.

Оригинал обращения в РКН
Оригинал ответа от РКН

Проще говоря РКН ответил: если не можете расшифровать трафик, исполняйте закон и блокируйте весь домен.

Попробуем рассмотреть потенциальные решения проблемы

Блокировать всю соцсеть по домену или адресу подсети

Жуткое решение, чреватое перебежками пользователей от одного провайдера к другому. Хотя Роскомнадзор на наш запрос ответил: «Как хотите, так и делайте, только чтобы те URL, которые есть в реестре были заблокированы. Не можете вырвать URL, блокируйте весь домен.»

В варианте с блокировками по подсетям IP, скорее всего будут заблокированы в том числе многие другие сервисы google, что точно оттолкнёт абонентов от провайдера.

Проксировать только трафик от ревизора

С первого взгляда кажется разумным — и Роскомнадзор и абоненты спокойны. А вот паре провайдеров, которые так делали, а потом напоролись на предписания от прокуратуры после внезапных проверок — не кажется.

Проксировать трафик всех абонентов до youtube

По URL HTTPS отфильтровать в принципе возможно, но только с использованием проксирования с подменой сертификатов. У некоторых так и работает (хотя не понятно насколько это законно). В случае использования HSTS это будет работать только в одном случае — если пользователь сам добавит в свою операционную систему корневой сертификат, который будет использоваться на прокси-сервере. Так уже сделали в Казахстане (и это очень грустно). Автоматически это сделать довольно тяжело — максимум, что сейчас приходит в голову — на странице заглушке давать ссылку на этот сертификат + сделать рассылку по e-mail’ам.

Дополнительно скорее всего придётся дропать весь QUIC-трафик до youtube (http(s) over udp), либо придумывать что с ним делать.

Мысли по поводу снижения болезненности такого подхода:

Направлять в такое прокси весь трафик — было бы очень нежелательно, так создаётся угроза безопасности при доступе к интернет-банкам и многим другим важным вещам. Из мыслей — поднять что-то вроде CA, который выдаёт провайдерам сертификаты с зашитыми в них доменами, которые можно проксировать, либо заставить провайдеров явно это делать самостоятельно.

Второй вопрос — как направить в прокси только нужный трафик, пока что остаётся не решённым. Возможно хитро патчить прокси + использовать DNS-спуфинг одновременно, как бы дико это не звучало.

Блокировать только HTTP, спорить с РКН в судах/до суда

Если есть юридический отдел, попробовать можно. Но, если с РКН это, допустим, прокатит, как быть с прокуратурами и списком Минюста, где есть ссылки с использованием HTTPS — неизвестно.

Итог

Мы готовим новую версию Carbon Reductor с технической возможностью фильтрации HSTS, но автоматически настроить и включить это вряд ли представляется возможным.

В любом случае, оставайтесь на связи и следите за нашими новостями по адресу: www.carbonsoft.ru/blog

Рубрика: Новости | Дата: 2016-07-14

Релиз Carbon Billing 5.18.01

Всем привет!

Снова на связи Carbon Soft с новым ежемесячным обновлением Carbon Billing 5. Традиционно выкладываем текстовую версию релиза со списком обновлений.

Видео-презентацию смотрите здесь.

Поехали!

Новое:

добавлена интеграция с TITV (см. видео-презентацию);
добавлена возможность отображать реквизиты абонента на основной вкладке в любой подгруппе. Интерфейс для менеджеров стал информативнее;
добавлена возможность использовать любые поля справочника домов для формирования строки отображения адреса в интерфейсе.

Улучшения:

улучшена система мониторинга параметров биллинга и платформы — обнаруженные ошибки автоматически попадают в «Helpdesk», а техподдержка оперативно решит эту проблему;
настройка Megogo стала еще проще – занимает 1 час (см. видео-презентацию);
доработка мультивалютной системы: создавайте услугу и заключайте договоры в валюте, которая отличается от основной;
для операторов, предоставляющих услугу VOIP телефонии по агентской схеме добавлена возможность выставления счетов абоненту от каждого агента отдельно.

Прочее:

опция устанавливающая месяц равным 30 дням теперь распространяется и на тип списания «ежемесячно пропорционально количеству дней», если вы хотите, чтобы каждый день списывалась одна и та же сумма;
в коммутаторе теперь можно задать любые диапазоны портов — специально для расширяемых коммутаторов;
исправлены ошибки, о которых Вы сообщили;
теперь объём пени можно задать в десятичных долях;
в печатной форме карточки абонента появилась возможность отображать маску сети в формате IP-адреса.

Спасибо, что доверяете нашим решениям. До связи!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-07-06

Отзывы от пользователей Carbon Reductor

Всем доброго времени суток! Первый месяц лета подошел к концу, а мы всё решаем проблемы с фильтрацией трафика и подключаем новых пользователей к Carbon Reductor. В виде маленького отчета публикуем пару свежих отзывов от новых клиентов.

Спасибо, что выбираете нас!

Отзыв от компании ООО «МВ-Самара»

Откуда возникла потребность в поиске решения фильтрации трафика?

Знаем о Федеральном Законе и требуется его исполнять;

Как узнали о нашем продукте?

В интернете, с помощью поисковых запросов;

Почему выбрали именно нас? Что стало решающим при выборе компании?

Нас устроила цена. Выбирали среди нескольких компаний, но уже не вспомню среди кого;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

Да. Все хорошо, все устраивает;

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

Да честно говоря, даже не думал на эту тему. Все сейчас устраивает. Пока ничего дополнительного, на мой взгляд, не надо.

Отзыв от компании ООО «БОСПОР-ТЕЛЕКОМ»

Откуда возникла потребность в поиске решения фильтрации трафика?

В связи с Российским законодательством =) Федеральным Законом;

Как узнали о нашем продукте?

Во основном искали через интернет;

Почему выбрали именно нас? Что стало решающим при выборе компании?

Ценовая политика, выгодные условия аренды ПО;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

Были небольшие недочеты в плане того, что закончился ключ роскомнадзоровский, поставили новый, а он его не видел. После работы вашими ребятами удаленно с сервером что-то сделали, обновили ПО, все заработало.

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

Да в принципе все устраивает. Не задумывались даже.

Рубрика: Отзывы | Дата: 2016-07-05

Релиз Carbon Reductor 7.1.2

Ежемесячное обновление Carbon Reductor уже подоспело. Добавлен новый функционал и исправлены ошибки. Чтобы разобраться в новых фичах, пойдем по порядку.

Новая система обновления

Теперь вопрос «нужно ли обновляться и на какую версию» решается на стороне сервера. Благодаря этому мы лучше контролируем массовые обновления.

Текущая логика работы такова: на свежую версию обновляются 10 случайных (вероятность 30%) серверов в период первой половины рабочего дня отдела технической поддержки с понедельника по четверг. После этого версия «замораживается» на 24 часа в случае минорных изменений и на 120 часов в случае мажорных изменений, а обращающимся за обновлением отдаётся ссылка на последнюю “обкатанную” версию.

Carbon Reductor Satellite 2.0

Реализация «Ревизора», которая отправляет данные о проверках фильтрации только туда, куда Вы попросите, обновилась.

Система умеет проверять фильтрацию HTTP, HTTPS и DNS ресурсов;
Поддерживает хуки, так что можно отправлять результаты проверки в собственные системы мониторинга. То есть Вы сможете заблаговременно узнать о проблемах на сервере;
Время работы полной проверки сокращено с 5-ти до 1-го часа;
Теперь для обновления достаточно одной команды.

Доработки DNS-спуфинга

Теперь DNS-спуфинг работает сразу после установки и дополнительно разработана система интеграции с DNS-серверами провайдера. Поддерживаются bind/named и unbound.

Резолвер

Исправления:

Благодаря правильному анализу опции «поддержка IPv6» меньше проблем при использовании интеграции с маршрутизатором;
Редуктор не блокирует страницу-заглушку при неправильной настройке зеркала.

Файрвол и веб-интерфейс

Новое:

Веб-интерфейс недоступен, если не указан IP администратора;
Можно указать конкретные IP-адреса и порты на которых будет доступен веб‑интерфейс. По умолчанию он работает на 0.0.0.0:8080.

Исправления:

Исправлена проблема проверки доступности при использовании некоторых систем мониторинга. Проверка TTL=1 переехала из «mangle PREROUTING» в «raw PREROUTING» в цепочку «mirror traffic»;
Кастомные редиректы HTTP теперь наследуют опции «--log» и «--save-domain».

Прочее

Новое:

На случай внезапно возникшей необходимости доработки системы обращений url‑списков внедрена поддержка черных и белых «Хотфикс-списков». Они страхуют Вас на время, пока Вы не обновитесь на версию с доработками. Отключаемая опция;
Адрес дефолтной заглушки для демонстрации работы редиректа переехал с deny.carbonsoft.ru на denypage.ru.

Исправления:

Упрощена система обработки списков. Кэш сигнатур изменил формат, благодаря этому теперь нет проблем и специальной обработки URL с некоторыми спецсимволами;
Система мониторинга путалась при создании тикетов между несколькими Carbon Reductor, зарегистрированными на одну компанию. В результате периодически возникала ситуация, когда по одному серверу создавалась заявка, а потом сразу же закрывалась по данным, поступившим от другого сервера;
Просроченная оплата теперь не плодит несколько тикетов в хелпдеске.

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-07-04