Релиз Carbon Reductor 8.00.07

Добрый день!

Начнём с наиболее важной информации: законопроект, согласно которому размер штрафа за незаблокированные ресурсы повысится и составит 50-100 тыс.руб, подписан В.В.Путиным 22.02.2017 и вступит в силу 24.03.2017. В связи с этим, пожалуйста, для тех, кто еще не ознакомился, почитайте статьи о правильной настройке сервера фильтрации и об установке резервного сервера. А для тех, кто хочет дополнительно застраховаться, обратите внимание на подписку
SLA3 — Аутсорсинг. На этом уровне техническая поддержка берёт на себя администрирование сервера с Carbon Reductor, а также здесь предусмотрена страховка от штрафов Роскомнадзора.

Теперь о релизе (обновление будет доступно для скачивания после 13 марта).

Ускорено внедрение за счёт автоматической оценки сервера

Автоматизированы и улучшены следующие задачи:

Сбор информации о сервере.
Оценка этой информации для выявления узких мест, способных приводить к проблемам фильтрации.
Принятие более рациональных решений для оптимизации производительности.
Утилиты для упрощения отладки и настройки оборудования на сервере.

Автоматическая оптимизация производительности из коробки

Система чем-то похожа на демон «tuned» от Red Hat. Мы воспользовались бы им самим, если бы он поддерживал такой профиль оптимизации настроек сервера как захват трафика.

Возможности:

Отключение и установка «плавающей» частоты процессора.
Определение оптимального размера буферов сетевых карт, участвующих в захвате трафика.
Автоматическая настройка RPS для более равномерной нагрузки на ядра процессора (только при необходимости).

Автоматическая настройка RSS не включена по умолчанию. При использовании многопроцессорных систем с несколькими сетевыми картами есть много нюансов и нужно оценивать нагрузку, которая идёт на сетевые карты. Вся логика, которую раньше настраивали вручную сейчас унифицирована и помещена в утилиту, что позволяет упростить распределение прерываний.

Интеграция с маршрутизаторами

Расширен функционал интеграции с маршрутизаторами: добавлена возможность использования BGP.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-03-10

График работы технической поддержки с 6 по 10 марта

День	Время работы (МСК)
6 марта	8:00 — 16:00
7 марта	8:00 — 15:00
8 марта	Выходной
9 марта	8:00 — 16:00
10 марта	8:00 — 15:00

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем.

Рубрика: Новости | Дата: 2017-03-06

Страхуемся, чтобы на 200% проходить проверки АС «Ревизор»

Мы решили дополнительно подстраховать пользователей Carbon Reductor от форс‑мажорных ситуаций в плане фильтрации.

Сейчас предполагается, что система фильтрации у провайдера должна работать идеально 100% времени. Мы прикладываем огромные усилия, чтобы это было действительно так, но причины пропусков в фильтрации не связаны непосредственно с продуктом.

Это могут быть сбои оборудования на сервере с Carbon Reductor: если внезапно выйдет из строя жёсткий диск, сервер, скорее всего, продолжит работу и даже будет продолжать осуществлять фильтрацию трафика, но не сможет выгрузить списки и добавить новые URL. Такая ситуация недавно случилась у одного из пользователей и, к сожалению, привела к штрафу в 30 тысяч рублей. Блоки питания, битые модули оперативной памяти, сетевые кабели — ситуация та же самая.

Часто бывает так, что полноценного мониторинга за сервером не настроено, а сотрудник, зарегистрированный в нашем helpdesk, получающий уведомления от нашего мониторинга, уволился. Соответственно, о возникшей проблеме, несмотря на наличие тикета в хелпдеске и отправленных писем, узнаёт не системный администратор через 5 минут, а директор, причём от РЧЦ или РКН. (Кстати, начиная с 2017 года мониторить состояние Carbon Reductor стало значительно легче, можете посмотреть примеры в документации).

Если проблемы в программном обеспечении Carbon Reductor и, используемой в качестве платформы, операционной системе мы можем исправлять и предотвращать, то с железом мы ничего сделать не можем, такова его материальная природа — оно подвержено поломкам.

Для того, чтобы предупредить форс-мажоры, от которых никто не застрахован, мы предлагаем нашим пользователям организовать резервный сервер с Carbon Reductor. Лицензия на этот сервер предоставляется безвозмездно если Вы уже пользуетесь Carbon Reductor.

Эта статья носит рекомендательный характер. Если для Вас сейчас накладно обустраивать второй сервер или нет возможности организовать ещё одно зеркало трафика, ничего страшного. Основной сервер как работает, так и будет работать, просто за ним нужно следить и обслуживать.

Ранее мы уже писали о том, как должен быть настроен сервер с Carbon Reductor.

В плане установки дополнительной копии Carbon Reductor в сеть оператора есть несколько плюсов:

Возможность самостоятельно обкатывать новые версии перед обновлением, то есть использовать второй Carbon Reductor как staging-сервер, а на основном отключить автоматическое обновление.
Снижение вероятности пропуска фильтрации из-за потери пакета (как анализируемого трафика, так и редиректов/разрывов) в сети провайдера (одновременно потерять два пакета — куда сложнее чем один).
Снижение вероятности пропуска фильтрации из-за выхода из строя аппаратной части.
Снижение вероятности пропуска фильтрации из-за плавающих проблем в программном обеспечении. Kernel panic, soft-lockup, повисания сети во время применения изменений настроек сети при большом числе VLAN, неисправная сетевая карта/рейд-контроллер и т.д.
Возможность спокойно проводить техническое обслуживание сервера с рестартом сети или перезагрузками (замена оборудования, обновления ядра Linux, установки параметров драйверам сетевых карт и других экспериментов).
Для пользователей 7-й версии возможность ознакомиться с 8-й версией до массового перехода.

Как активировать резервный редуктор:

Скачайте с сайта Carbon Reductor.
Установите на отдельный сервер.
Протестируйте в режиме пробной версии.
Отправьте регистрационный номер резервного редуктора на почту sales@carbonsoft.ru c пометкой «Активация резервного Carbon Reductor».
Активация пройдет в течение суток.

Успехов и процветания! Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости, Полезное | Дата: 2017-03-02

Итоги зимы

Зима подошла к концу и мы поработали на славу: провели более 80-ти интеграций по нашим продуктам и продолжаем это делать. На очереди разработка фич, которые хотят наши пользователи. А вот и 2 новых отзыва от них.

Отзыв от ООО «Агентство-е»

Есть ли моменты, которые не нравятся в биллинге?
Тяжковато порой обновления проходят, т.е., как бы, приходится перезагружать там сервер и не факт, что всегда стартуют все службы, в этом бывает проблема, ну последнее время мы ничего не внедряем, планируем. Нам надо будет подсчёт трафика делать и надо будет в личном кабинете сделать оплату через личный кабинет, потому что оно до сих пор не реализовано. Как будем этим заниматься, будут еще какие-то моменты, это так, на ближайшее будущее.

Был момент внедрения, у нас какие-то вопросы, проблемы были, а сейчас, в принципе, работает. А, был момент, начисления на счёт не проходили, заявку открыли, проблема, так понимаю, решается. А так, в принципе, больше никаких нареканий.

В чем плюсы видите системы?
Ну, в принципе, достаточно быстрая техподдержка, можно и в праздничные дни договориться, по крайней мере. Если проблемы какие-то, можно позвонить менеджерам, пообщаться там по-другому. Еще плюс – гибкость, можно какой-то свой функционал реализовать, который не предусмотрен для всех. Я так думаю два основных критерия.

Может есть какие-то пожелания по функционалу?
Пока нет, не могу вам ничего сказать. Мы сейчас будем конкретным заниматься, времени пока не хватает на всё. Но мы что-нибудь подскажем вам, а пока руки просто не доходят, мы сейчас пока с редуктором возимся.

Ваша оценка биллинга по десятибалльной шкале?
Ну, думаю 8/10.

Отзыв от ООО «Бархатный сезон»

Есть ли негативные составляющие касаемые биллинга, техподдержки?
Есть. В общем, скажем так, всё прекрасно, но единственное, бывают такие моменты, по которым мы часто обращаемся в техподдержку. Выходит обновление, он обновился и что-то у нас не заработало. Вроде мы сейчас на аутсорсинг перешли, в последнее время это всё решается, но какие-то такие моменты бывают всё равно, время от времени. В последнее время вроде такого нет, потому что обновляется под управлением вашей техслужбы, т.е. они говорят, что мы планируем тогда-то обновить. Поэтому сейчас, как понимаю, работает безаварийно.

Какие плюсы можете выделить?
Ну, плюсы — хорошая цена. Плюс хороший, в принципе, нормально общаемся, достаточно быстро решаются проблемы если есть. Всё было бы замечательно, если бы их не возникало.

Ваша оценка биллинга по десятибалльной шкале?
Порядка 8-ми, наверное, точно бы поставил.

Спасибо, что выбрали Carbon Soft!

Рубрика: Отзывы | Дата: 2017-03-02

График работы технической поддержки с 20 по 27 февраля

День	Время работы (МСК)
20 — 21 февраля	8:00 — 16:00
22 февраля	8:00 — 15:00
23 — 26 февраля	Выходной
27 февраля	8:00 — 16:00

Круглосуточная поддержка по критичным вопросам оказывается в обычном режиме.
Также в случае форс-мажора на SLA1 вы можете дать интернет всем.

Рубрика: Новости | Дата: 2017-02-20

Релиз Carbon Reductor 7.5.1 100

Доброго времени суток!

Продолжаем оптимизировать работу Carbon Reductor под новые реалии контроля фильтрации трафика со стороны РКН. Повышена стабильность выгрузки списков, а фильтрация стала еще лучше.

Самое важное

SNI-фильтрация стала значительно надёжнее в большинстве установок, связано с нюансами трафика в зеркале. Возможен незначительный рост (2-10%) нагрузки на сервер.

Исправлена ошибка с неснимающимся режимом обслуживания на старых выпусках CentOS (6.6 и младше).

Улучшена производительность резолвера в работе со списками.

Повышена надёжность обновления Carbon Reductor

Улучшена стабильность системы обновления. Добавлена дополнительная проверка в момент запуска обновления на случай если скачались некорректные данные. Ранее в случае ответа с ошибкой всегда запускалось скачивание и при обновлении это могло привести к неработоспособности редуктора. Также обновление самого Carbon Reductor теперь нельзя запустить дважды (спасает при запуске ручного обновления во время автоматического обновления).

Работа со списками

Стали более отказоустойчивыми выгрузка реестра и обновление сигнатур. Обновление списков и загрузка URL/доменов/IP в ядро тоже подверглась улучшениям в плане надёжности и понятности. Логируется статистика модуля до загрузки URL и после.

Другое

Унифицировано логирование во многих подсистемах: файрвол, обновление сигнатур, режим обслуживания, загрузка URL. Позволит быстрее находить причину сбоев в работе.
Мастер настройки зеркала трафика и часть других скриптов теперь поддерживают устройства, именуемые не «eth».
Унифицирована система тестирования. Наведён порядок в тестовой инфраструктуре, не касается конечных пользователей напрямую, но это делает Carbon Reductor более защищённым от ошибок разработчиков.
Улучшена работа Carbon Reductor в режиме только редиректора для неавторизованных/заблокированных/неплатящих абонентов без каких-либо списков вообще. Также для неавторизованных пользователей не полностью фильтровался HTTPS-трафик — исправлено.
В веб-интерфейсе в разделе «Информация» теперь выводится информация о файле запроса и его подписи при отсутствии сертификата.
Mikrotik периодически отдаёт пустой ответ при запросе списка IP адресов, не отдавая никакого кода возврата. Теперь это учитывается в примере хука для интеграции с маршрутизатором.
Утилита для поиска по кэшу резолва запрещенных доменов теперь умеет искать как домены по IP, так и IP по домену — используется для ресурсов, которые часто меняют IP-адрес.
Обновлён плагин для collectd (`/usr/local/Reductor/bin/collectd_plugin`), теперь он соответствует новому формату собираемой по модулям ядра статистики.
Исправлено несколько опечаток в диагностике и веб-интерфейсе.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-02-09

Итоги января

Добрый день!

Начало года в Carbon Soft стало отличным, за январь к нам присоединились более 40 операторов связи, а фильтр трафика и биллинг работают всё стабильней по отзывам наших же пользователей. И, конечно, публикуем 2 из них.

Отзыв от «Завод РТА»

Что Вам не нравится в Carbon Billing 5?
Ну проблемы я уже в пятницу вам озвучил. Вторая проблема, я не успел заявку по ней создать, то что у нас абонентская плата начисляется и 4-м месяцем и 5-м, хотя больше 3-х месяцев не должна начисляться, не знаю, как правильно сейчас сформулировать. Ну а так-то, в общем, всё работает, всё как бы неплохо, кроме вот таких непонятных вычислений.

Как Вам работа техподдержки?
Заявки сейчас у вас стали автоматически создаваться. Раньше приходилось на каждую небольшую проблему создавать заявку. Сейчас диагностика автоматически находит проблемы, сама заявки создает, они по ним сами разбираются, т.е. в большинстве случае я даже участия не принимаю в устранении проблем. Очень удобно, кстати, сделали.

Какие плюсы видите в продукте?
Плюсы есть. Много плюсов на самом деле, и возможностей много у биллинга, настолько много, что мы используем меньше половины, поэтому сильно много сказать вам не могу по всем возможностям. Потому что мы не так много используем из всего что можно.

Ваша оценка по десятибалльной шкале?
Ну, если не брать во внимание вот эти все погрешности, то 10, это с моей технической стороны. Я сам программист, сам понимаю бывают проблемы, баги, опечатки, трудноуловимые ошибки, ну это ваш быт конечно – продукт тяжелый, сложный. В целом всё неплохо.

Отзыв от ООО «Сигнал Сервис»

Что Вам понравилось в Carbon Reductor?
Понравилось? Ну понравилось, что работает, как бы основное. То, что предоставили возможность установки резервного сервера — тоже хорошо, плюс большой. Ну так еще чего-то конкретного выделить… даже не знаю. Основные моменты эти. Ну техподдержка конечно реагирует, но не всегда быстро и не всегда правильно, это бывает. Обычно приходим к консенсусу рано или поздно.

Что не понравилось?
Ну как сказать, ну иногда бывает техподдержка не всегда корректно либо слушает, либо читает. Я расписываю ситуацию и, тем не менее, меня всё равно всё это спрашивают. Я там расписывал ситуацию так как она у меня. У меня немножко другая сеть, она немножко по-другому работает, ну в отличие от пользовательской. Я расписал, ну как бы пытался объяснить, что я вижу проблему так, а пользователи будут видеть проблему по-другому. Но, тем не менее, докопались до определенных моментов, ну это мы уже с Олегом решили, скажем так. Ну в целом, в принципе то, всё хорошо. Как бы работает и работает.

Есть какие-нибудь пожелания по работе техподдержки?
Ну пожелания… Оптимизировать, оптимизировать и еще раз оптимизировать.

Итоговое мнение о Carbon Reductor и оценка по десятибалльной шкале?
Всё очень даже хорошо. Ну где-то на 9,5, но всё равно огрехи есть ещё.

Спасибо, что выбрали Carbon Soft!

Рубрика: Отзывы | Дата: 2017-02-09

Релиз Carbon Billing 5.22.01

Добрый день!

В Carbon Billing 5 вновь добавили несколько фич, упростили взаимодействие с интерфейсом и облегчили жизнь нашим пользователям, но обо всём по порядку.

Что нового?

Больше способов оплаты для Ваших абонентов — добавлены платёжные системы: PayAnyWay, Payfon24, JCC, Kassa24.

В общий аудит добавлена пагинация данных. Теперь можно увидеть часть результатов поиска не ожидая их длительное время. Информация подгружается по мере листания страниц.

Добавлена возможность скрывать поля расширенного поиска из веб-кассы, иногда кассиры путались из-за обилия неиспользуемых полей.

Для операторов связи, клиенты которых могут содержать в наименовании более 7 слов (особенно госучреждения), мы расширили поля для ФИО абонента в 5 раз. Теперь Вы можете вместить любое наименование без сокращений.

Добавлена интеграция связки Stalker + IPTV Portal — даёт возможность быстрого и эффективного запуска видео-услуг на базе IP-сетей.

Другое

Добавлена обработка 1С для редакции бухгалтерии 3.0 в связи с обновлением 1С.
При создании абонента теперь можно быстро ввести дату в соответствующее поле, например при указании даты выдачи паспорта. Ранее для ввода данных приходилось листать виртуальный календарь.
Добавлена возможность интеграции с Eltex SMG-1016M.
Исправлены ошибки, о которых Вы сообщили.
Повышена отказоустойчивость базы данных при перезагрузке сервера по питанию.

Спасибо, что пользуетесь Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2017-02-07

Отзывы за декабрь

Здравствуйте! 2017 год уже на дворе, команда Carbon Soft отдохнула и уже во всю работает над улучшением продуктов. Традиционно публикуем 2 отзыва от пользователей Carbon Billing 5 и Carbon Reductor.

Отзыв от ООО «Айтех»

Есть ли негативные моменты, над которыми нам можно поработать в Carbon Billing 5?
У нас, да. Замечания есть. На вскидку сложно сказать. Например, возникают ошибки по биллингу — недавно ошибки были по DNS. Через некоторое время всё нормально работает, всё восстановилось. Но когда при таких ошибках начинаешь обращение делать в техподдержку — это очень долго. Ну, я надеюсь, нормально всё будет, мы не собираемся отказываться от биллинга Карбон, ну проблемы бывают.

Какие плюсы видите в биллинге?
Хорошо, что техподдержка, всё-таки, работает, всегда можно обратиться и сделают, устранят проблему. Я не думаю, что у всех биллингов прямо так. Есть которые просто купил, поставил и без всякой техподдержки сам разбирайся. Ну, естественно, мы платим ежемесячную плату. Мы готовы платить деньги, если будет всё работать хорошо и стабильно, мы не отказываемся. Ну проблемы есть, у кого их нет?

Почему именно с нами стали работать?
Во-первых, установка упрощена, можно с одного диска, в принципе, установить всю систему без всяких дополнительных модулей. В основном, у дорогих биллингов модульная система. Для определённых функций нужно определённые модули закачивать, устанавливать, привязывать. Это всё отнимает время, разбираться не хочется. А здесь — сразу установил, начал работать. Цена у вас адекватная за весь функционал.

Оцените Карбон Биллинг 5 по десятибалльной шкале
По десятибалльной — семь бы поставил.

Отзыв от ООО «Протон»

Как было принято решение о покупке Carbon Reductor?
Выбор был именно из-за подписки, что она ежемесячная и поскольку провайдер молодой, пользователей мало, решили, что так легче, дешевле.

Что понравилось в продукте?
Не знаю, пока не могу сказать. Может, то, что автоматические обновления и всё.

Что не понравилось в продукте?
Слишком много правил, т.е. я захотел просто поменять порт у SSH, не смог потому, что в правилах везде 22-й разрешен, а 6-й, который я хотел поменять, не разрешен. Мне изначально приходилось искать куда в ваши правила, в вашу систему, прокинуть порт. Это не совсем удобно. В принципе, по техподдержке хорошо. Пока что нет вопросов.

Есть ли пожелания по функционалу?
Была бы такая штука очень полезна, родительский контроль. Ну еще допустим там статистика по обновлениям есть, статистика по количеству блокировок есть. Было бы очень хорошо логировать, допустим айпишник такой-то пытался обратиться на ресурс в списке закрытых URL’ов такой-то.

Ваше итоговое мнение о Carbon Reductor и оценка по десятибалльной шкале?
Ну положительно. Если по десятибалльной: 7-8. Я прописал в настройках айпишник ревизора, перезапустил демон, всё сделал, а он мне в вебке до сих пор, наверное, пишет, что не указан айпишник ревизора, хотя его в конфиге я поправил. В вебе ошибка есть, но, в принципе, всё работает. Больше, в принципе, ничего. Продукт ну на восьмёрочку, может 7-8. Да. Не дотягивает он пока до 9-10, ну не настолько это пока отточенный продукт.

Спасибо, что выбрали продукты Carbon Soft!

Рубрика: Отзывы | Дата: 2017-01-11

Релиз Carbon Reductor 7.5.0 204 и 8.0.0 1435

Добрый день!

Изменения в связи с обновлением АС «Ревизор»

Добавлен режим обслуживания

В случае, если новая версия Carbon Reductor содержит изменения модулей фильтрации, на время процесса обновления, 10-20 секунд, включается режим обслуживания. Правила файрвола не очищаются полностью, вместо этого добавляется REJECT для всех видов трафика. Эти правила применяются только для АС «Ревизор», если указан его IP‑адрес/подсеть, иначе — для всех абонентов. Это сделано с целью исключить пропуски фильтрации в процессе обновления Carbon Reductor. Такие обновления бывают раз в 2-3 месяца.

А также:

Теперь не указанный IP-адрес АС «Ревизор» считается ошибкой.
Добавлена регистронезависимая фильтрация DNS для всех абонентов, если не указан IP‑адрес/подсеть АС «Ревизор». Может повышать нагрузку на сервер.

Повышение надёжности фильтрации

Теперь в файлах модулей фильтрации выводится статистика по обеим базам данных — как buffer, так и readonly. Ранее счётчики показывались не совсем верно — в какой-то момент от buffer, в какой-то от readonly, что могло привести к ошибочному выводу о том, что база, по которой происходит поиск при фильтрации, обнуляется при обновлении списков или рестарте.
Загрузка URL, доменов и IP в ядро теоретически могла быть запущена в процессе обработки списков и использовать не до конца обработанные списки — исправлено.

Исправления в Carbon Reductor 8

В момент применения собственных списков в веб-интерфейсе выдавалась 404/500 ошибка.
L2-зеркало трафика, настроенное с помощью мастера не работало.
Использование страницы-заглушки Carbonsoft теперь считается ошибкой, т.к. ответ от сервера Carbonsoft не является гарантированным.
Мелкие проблемы с запуском при первой установке.
Ошибка в веб-интерфейсе, в некоторых случаях возникала надпись «Файл не найден».
Ошибка генерации и подписи запроса для получения списка запрещённых сайтов, в результате которой списки не выгружались.

Прочее

Исправлено — Satellite не удалял пустые временные файлы на каждый домен при проверке DNS, что приводило к заполнению inodes. Проверить текущую заполненность можно командой: df -hi /tmp/.
Теперь в отчётах Satellite указывается его IP-адрес. Полезно при использовании нескольких серверов Satellite.
Плагин collectd сломался при обновлении модулей. Теперь он поставляется в комплекте с Carbon Reductor, чтобы обеспечить его автоматическое обновление. Инструкция на github по работе с ним в скором времени будет обновлена и продублирована в документацию Carbon Reductor.
Добавлен режим для Satellite, обеспечивающий отсутствие расхождения содержимого списков на Reductor и Satellite на время проверки фильтрации (используется только в целях агрессивного тестирования разработчиками).

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-01-11