Продукты для бизнеса и людей, ценящих своё время

Релиз Carbon Reductor 7.3.2

Всем привет!

В этом месяце команда Carbon Reductor уделила значительное внимание новому «SNI‑модулю», который позволит избежать массовых блокировок по IP.

Полный список обновлений ниже:

Выгрузки реестра

Исправлена логика работы RKND (демон, инициирующий срочные выгрузки единого реестра в соответствии с последними рекомендациями Роскомнадзора). Совпадение даты локальной копии реестра и даты на стороне сервера Роскомнадзора считалось устареванием реестра и RKND продолжал его выкачивать раз в пять минут вплоть до появления новой штатной выгрузки.

Улучшен и обкатан SNI-модуль

Теперь у нас есть техническая возможность избежать массовых блокировок ресурсов по IP, использующих HTTPS-протокол и CDN. Также новый модуль является подстраховкой для фильтрации DNS-трафика, если она по какой-либо причине не срабатывает.

В теории, в следующей версии, которая включит в себя новый парсер реестра можно будет отключить резолвер доменов блокируемых https-ресурсов.

Отключение резолвера после выхода следующей версии (мы напишем об этом, прямо сейчас ничего отключать не надо!) даст пару плюсов в плане блокировки:

Снизится число лишних блокировок ресурсов по IP, когда множество сайтов расположено на одном хостинге;
Не будут блокироваться легальные сайты в ситуации, когда по злому умыслу в настройках DNS владельцы заблокированных ресурсов указывают их IP-адреса.

DNS-модуль

Добавлена поддержка фильтрации DNS-запросов с указанием дополнительного поля “UDP Payload Size” – теперь фильтрация работает в том числе и для современных Linux-хостов.

Прочее

Повышена безопасность процесса записи URL и доменов в модули;
При обнаружении ошибки диагностики «Загрузка URL» показывается больше отладочной информации;
Незначительно оптимизирована производительность модуля HTTP фильтрации (минус две арифметические операции в 80% попавших на обработку пакетов).

Спасибо, что пользуетесь Carbon Reductor! До связи.

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-09-09

Релиз Carbon Billing 5.19.03

Всем привет!

В августе мы повременили с новыми фичами и плотно поработали над стабильностью Carbon Billing 5.

Выкладываем список фиксов:

Проведена стабилизация 7 систем и 1 улучшение:

Настройка пользовательского интерфейса для ФСБ – в некоторых случаях в ЛК отображался только поиск для ФСБ и не открывался кастомный интерфейс. Теперь работают оба поиска;
Повышена стабильность работы API платёжных систем – ранее некорректно обрабатывались платежи из разных платёжных систем с одинаковыми ID;
Иногда веб-касса неверно распознавала ответ от ККМ Атол о статусе смены – исправлено;
OSS – исправлен баг при генерации конфигов;
Добавлен бэкап VOIP-услуги перед загрузкой новой – при загрузке цен сохраняются данные по старым ценам и логируется имя администратора, таким образом исключена возможность потери данных;
FTP – добавили в бэкап данные учётных записей base – в случае выхода сервера из строя, данные об учётных записях сохраняются;
Групповое формирование счетов – некоторые поля не учитывались при формировании актов;
Улучшена производительность обработки списания услуг – уменьшено время обработки одной операции.

Спасибо, что используете Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-09-08

Маленькие победы в спартакиаде

Всем привет!

Если уж не в спорте, то в математике мы точно хороши!

27.08 команда Carbon Soft одержала маленькую победу в спортивном покерном турнире.

Участие принимали: Шевнин Игнат, Жданов Максим, Аликин Алексей. Ну а почетное 13 место из 60 занял Александр Бубнов. Он и принимает поздравления от коллектива Carbon Soft!

Фотоотчет:

Турнир по покеру среди IT

Турнир по покеру

Мы на турнире по покеру

Рубрика: Новости | Дата: 2016-09-06

Спартакиада: мини-футбол

Всем привет!

Вновь Carbon Soft соревнуется в спортивных дисциплинах с другими IT-компаниями Екатеринбурга. На этот раз мини-футбол.

Участие из Carbon Soft приняли: Кучаев Денис, Шевнин Игнат, Савраскин Николай, Собянин Александр, Кошкарёв Семён, Червонных Станислав.

Отыграли несколько игр против 4-х команд и заняли 3 место во второй группе.

Фотоотчет прилагаем:

Футбольный турнир

Лимонад от

Медали турнира по футболу

Рубрика: Новости | Дата: 2016-08-30

Чемпионат по волейболу

Всем привет!

Спартакиада IT-шников продолжается, на этот раз Carbon Soft принял участие в волейболе 13.08. Команда отыграла несколько игр по 2-3 сета и по итогам дня заняла 9 место из 10. Принимали участие: Кучаев Денис, Неуймина Надежда, Собянин Александр, Фомина Анна, Ковшарёв Семён.

Публикуем фото отчет:

Мы на турнире по волейболу

Выступили на турнире по волейболу

Наша команда по волейболу

Рубрика: Новости | Дата: 2016-08-15

Релиз Carbon Billing 5.19.01

Ежемесячное обновление биллинга от Carbon Soft уже вышло в свет.

Видео-презентацию смотрите на нашем YouTube канале.

Список нового функционала и улучшений как всегда ниже:

Добавлены возможности:

блокировать пользователей на IPTVPortal – биллинг блокирует абонентов в случае неуплаты;
настройки пароля для HotSpot – возможно изменить длину пароля для его упрощения;
задавать дополнительные параметры в каждую учётную запись для скрипта управления оборудования;
добавлен функционал разбиения логов VOIP старее 3-х месяцев для компактности основной базы данных;
теперь можно формировать и выгружать отдельные агентские счета для телефонии;
добавлено дерево географических кодов в настройку тарифов телефонии – настройка по маскам телефонии стала проще и функциональней;
добавлены счётчики VOIP-трафика в разрезе услуг;
добавлена платёжная система Форвад Мобайл;
для абонентов Узбекистана добавлена платежная система Paynet.uz с возможностью отмены платежей.

Улучшения:

добавлена возможность отправлять на смс-шлюз номер получателя без
ведущего «+» — теперь корректно поддерживаются все смс-шлюзы;
доработан общий поиск, теперь работает и по выданному номеру телефонии;
доработан обработчик синхронизации с 1С, теперь можно выгружать агентские счета в 1С вместо актов;
исправлены ошибки, о которых Вы сообщили;
улучшено общее быстродействие системы;
теперь система авторизации VOIP Radius покрыта автоматическими тестами, что повышает её надёжность.

Спасибо, что используете Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-08-10

Релиз Carbon Reductor 7.2.2

Добрый день!

В этом месяце Роскомнадзор опять подкинул работы новыми рекомендациями по работе с единым реестром, которым Carbon Reductor теперь соответствует. Традиционно выкладываем структурированный список обновлений:

Выгрузки реестра и его обработка

Новое:

добавлен демон rknd, инициирующий экстренные выгрузки реестра. Он уже помог обнаружить и исправить три недостатка в процессах выгрузки реестра и загрузки URL/доменов в ядро;
добавлена поддержка масок доменов в разборе реестра;
добавлена отказоустойчивость для выгрузок реестра;
теперь отчёт о возникновении проблемы с выгрузкой реестра содержит в себе подробности этой проблемы.

Исправления:

процессы выгрузки реестра и загрузки URL в ядро теперь не могут быть запущены более 1 раза одновременно. Ранее это приводило к проблеме, идентифицируемой диагностикой как «Проверка загрузки URL в ядро»;
в случае запуска выгрузок на не активированном Carbon Reductor запускалась старая версия системы активации, что завершалось не удачно. Удалена и заменена актуальной.

Модули ядра

DNS

Новое:

добавлена поддержка выбора режима матчинга: ‑‑exact и with-subdomains (по умолчанию). Пока не используется, в devel-ветке есть код, который добавляет такую поддержку в кастомные списки DNS (и сами кастомные списки DNS);
добавлена поддержка регистронезависимого ‑‑icase поиска, отключенная по умолчанию. Он значительно менее производительный, лучше его добавлять дополнительным правилом для тех подсетей откуда запросы часто идут не в нижнем регистре.

Исправления:

значительно снижена вероятность коллизии хэшей в dnsmatch, что позитивно сказывается на производительности;
удалено всё оставшееся отладочное логирование, а также логирование checked/matched в dnsmatch.

HTTP

добавлена поддержка очень коротких доменов в HTTP-матчере (например, http://x.yz).

Прочее

Новое:

периодические задачи, потенциально способные повлиять на работоспособность фильтрации, подстроены под график проверок Ревизора. Сохраняет дампы трафика в аккуратно подобранной структуре каталогов в /var/lib/revisor_dump/. Добавление в «крон» только вручную;
добавлена утилита для сохранения трафика от проверок «Ревизора» для последующего анализа — revisor_dump.sh;
при запуске рестарта по SSH, логируется IP-адрес запустившего;
добавлен скрипт для превращения списка бэкапов в git-репозиторий с файлом xml для отслеживания изменений в нём;
commit’ы в /etc/sysconfig/network-scripts/, создаваемые мастером настройки сети стали удобочитаемы.

Исправления:

проверка обработки пакетов в диагностике иногда имела ложные срабатывания;
в некоторых случаях проброс переменной LC_CTYPE отличного от ru_RU.UTF-8 при подключении к Carbon Reductor по SSH и запуск обработки списка приводил к ошибке при обработке списков;
принятие решения об обновлении на новую версию целиком лежит на сервере обновления, все «умности» на клиентской стороне удалены;
не создавались ссылки на цепочку mirror_traffic в таблице raw, если не была включена опция NOTRACK. В результате не работала его особая обработка и отсеивание лишнего на раннем этапе.

Спасибо, что доверяете решениям Carbon Soft!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-08-08

Чемпионат по настольному теннису

Всем привет!

В воскресение 07.08.16 команда Carbon Soft приняла участие в турнире по настольному теннису в рамках IT-спартакиады в Екатеринбурге. День был весьма насыщенный – каждый из игроков отыграл минимум по 20 сетов с 7 оппонентами. Наивысшие места в топ 50 заняли: Свяжин Артем, Шевнин Игнат, Кучаев Денис.

Публикуем фото отчет:

Рубрика: Новости | Дата: 2016-08-08

Новые рекомендации от РКН

Добрый день!

Работа над Carbon Reductor DPI идет полным ходом, тем временем, Роскомнадзор обновляет правила блокировки ресурсов. Вступают в силу с 15.08.2016.

Ссылка на документ

Из этого мы выделили пару пунктов:

Фильтрация по маскам доменов

Похоже РКН планировал, что вопрос с блокировками субдоменов будет немного более явным, но не вышло.

Если действовать дословно — многие ресурсы будут заблокированы по «example.com», но не будут по «www.example.com». А если требуется заблокировать субдомены запись будет иметь вид «*.example.com».

Терзают сомнения, что старые записи реестра переделывать не будут, а за открывшиеся ссылки с подстановкой «www.» не будут придираться. Разумнее было бы в реестре явно указывать в тэге записи match_mode=»exact» или match_mode=»with_subdomains», с поведением «with_subdomains» по умолчанию.

Технически почти всё готово — у модуля «dnsmatch» есть флаг «—exact», который говорит искать точные совпадения, не блокируя субдомены. Пока что используется только для собственных списков. Глобально установить его можно будет в следующей выпущенной версии. Немного переписать парсер реестра, чтобы раздельно складывал две категории доменов и добавить 1 правило файрвола — дело 1-2 часов.

Официально одобряется бан «https» ссылок по домену

Текущая логика разбора реестра и использование списка таких доменов для DNS-спуфинга считаются приемлемыми.

Вообще — здорово, что весной мы решили, что DNS-модуль нужен и реализовали его. Кстати, на одну из будущих версий задумана поддержка DNS идущего по IPv6.

Новую версию с поддержкой новых рекомендаций планируем выпустить в начале августа.

Оставайтесь на связи.

Спасибо, что используете продукты Carbon Soft!

Рубрика: Новости | Дата: 2016-07-26

Блокировка URL роликов YouTube

Всем привет, на связи Carbon Soft!

Как вы знаете, YouTube с мая перешел на принудительный HSTS и скорее всего значительная часть сервисов тоже начнёт его использовать. В связи с этим, блокировка отдельных URL, которые находятся в реестре запрещенных сайтов стала практически невозможна.

Мы направили официальное письмо в Роскомнадзор с просьбой разъяснить ситуацию и предоставить решение проблемы, юридическое или техническое, ведь неразумно блокировать ресурсы, которыми пользуются десятки миллионов абонентов России.

И вот что нам ответили:

В случае, если оператор связи не имеет технической возможности расшифровать в информационном потоке данных конкретный указатель страницы сайта в сети «Интернет» полагаем, что блокировка доступа может осуществляться, в том числе по доменному имени.

Оригинал обращения в РКН
Оригинал ответа от РКН

Проще говоря РКН ответил: если не можете расшифровать трафик, исполняйте закон и блокируйте весь домен.

Попробуем рассмотреть потенциальные решения проблемы

Блокировать всю соцсеть по домену или адресу подсети

Жуткое решение, чреватое перебежками пользователей от одного провайдера к другому. Хотя Роскомнадзор на наш запрос ответил: «Как хотите, так и делайте, только чтобы те URL, которые есть в реестре были заблокированы. Не можете вырвать URL, блокируйте весь домен.»

В варианте с блокировками по подсетям IP, скорее всего будут заблокированы в том числе многие другие сервисы google, что точно оттолкнёт абонентов от провайдера.

Проксировать только трафик от ревизора

С первого взгляда кажется разумным — и Роскомнадзор и абоненты спокойны. А вот паре провайдеров, которые так делали, а потом напоролись на предписания от прокуратуры после внезапных проверок — не кажется.

Проксировать трафик всех абонентов до youtube

По URL HTTPS отфильтровать в принципе возможно, но только с использованием проксирования с подменой сертификатов. У некоторых так и работает (хотя не понятно насколько это законно). В случае использования HSTS это будет работать только в одном случае — если пользователь сам добавит в свою операционную систему корневой сертификат, который будет использоваться на прокси-сервере. Так уже сделали в Казахстане (и это очень грустно). Автоматически это сделать довольно тяжело — максимум, что сейчас приходит в голову — на странице заглушке давать ссылку на этот сертификат + сделать рассылку по e-mail’ам.

Дополнительно скорее всего придётся дропать весь QUIC-трафик до youtube (http(s) over udp), либо придумывать что с ним делать.

Мысли по поводу снижения болезненности такого подхода:

Направлять в такое прокси весь трафик — было бы очень нежелательно, так создаётся угроза безопасности при доступе к интернет-банкам и многим другим важным вещам. Из мыслей — поднять что-то вроде CA, который выдаёт провайдерам сертификаты с зашитыми в них доменами, которые можно проксировать, либо заставить провайдеров явно это делать самостоятельно.

Второй вопрос — как направить в прокси только нужный трафик, пока что остаётся не решённым. Возможно хитро патчить прокси + использовать DNS-спуфинг одновременно, как бы дико это не звучало.

Блокировать только HTTP, спорить с РКН в судах/до суда

Если есть юридический отдел, попробовать можно. Но, если с РКН это, допустим, прокатит, как быть с прокуратурами и списком Минюста, где есть ссылки с использованием HTTPS — неизвестно.

Итог

Мы готовим новую версию Carbon Reductor с технической возможностью фильтрации HSTS, но автоматически настроить и включить это вряд ли представляется возможным.

В любом случае, оставайтесь на связи и следите за нашими новостями по адресу: www.carbonsoft.ru/blog

Рубрика: Новости | Дата: 2016-07-14