Продукты для бизнеса и людей, ценящих своё время

Релиз Carbon Billing 5.20.01

Всем привет!

В августе мы поработали над стабильностью Carbon Billing 5. Сентябрь – время разработок и внедрений новых фич в бизнес! Традиционно публикуем список новшеств с детализацией по каждому пункту.

Видео-презентация релиза:

Добавлена возможность для Ваших абонентов: настраивать автоплатёж с пластиковой карты через платежную систему «Uniteller» — с настроенной функцией платежи будут поступать ежемесячно и без задержек (см. видео);
Сетевые протоколы DHCP Subnets теперь автоматически генерируются из пулов IP созданных в биллинге, теперь настройка подсетей займёт меньше минуты (см. видео);
Добавлена возможность настраивать отправку SMS или e-mail уведомлений абонента по подключению или отключению конкретной услуги – отслеживание активных услуг более прозрачно для абонентов (см. видео);
Добавлены дополнительные тесты работоспособности системы в автоматическом режиме – повышена отказоустойчивость биллинга;
VOIP-услуги: добавлен функционал формирования агентских счетов по телефонии в зависимости от поставщика и возможность их отдельной выгрузки в 1С в виде актов – теперь не нужно выставлять агентские счета руками, биллинг сделает это за Вас;
Добавлен реквизит, позволяющий прикладывать к абоненту любые файлы ‑ теперь не нужно искать информацию, например, по договору, если Вы его приложите (см. видео);
Добавлена возможность закрывать доступ к порту авторизации 8080 в админке биллинга всем, кто не внесен в список IP админов/менеджеров – доступ будут иметь только конкретные пользователи (см. видео);
Добавлена платёжная система «X-Plat» — больше возможностей оплаты для Ваших абонентов;
Исправлены ошибки, о которых Вы сообщили;
Для скидок добавлена возможность настройки процента скидки только для тарифных услуг, а не для всех, подключенных у абонента – создавайте выгодные промо-тарифы для привлечения новых абонентов, не распространяя скидки на доп.услуги (см. видео).

Спасибо, что пользуетесь Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-10-12

В Carbon Reductor 7.4 значительно улучшены самые важные подсистемы. Это полностью переработанная обработка списков, ставшая более гибкой и проще для расширения. Это максимально быстрый разбор реестра, экономично относящийся к столь ценным ресурсам процессора. Это DNS-резолвер, практически не влияющий на работу других подсистем. Помимо этого были полностью обновлены мастер установки и мастер настройки сети, выгрузка единого реестра стала более устойчивой к временным проблемам на стороне сервера, а также произведено множество других улучшений, направленных на повышение удобства и производительности.

Всё это доступно в Carbon Reductor 7.4.

Совершенно новая обработка списков

В обработке списков большое число нововведений. В первую очередь она стала унифицированной для большей части списков. Код стал стройнее и проще, добавление новых видов списков стало проще для разработчиков, а структура списков стала в разы проще для понимания.

Подробнее

Теперь имеется следующая структура внутри /usr/local/Reductor/lists/:

load — все агрегированные, обработанные и используемые Carbon Reductor списки;
rkn — всё, что парсер реестра извлёк из него;
provider — собственные списки провайдера;
carbonsoft — списки от carbonsoft для оперативного устранения проблем с фильтрацией без обновления самого Carbon Reductor;
resolver — результаты резолва по разным спискам доменов;
tmp — промежуточные результаты обработки списков, необходимые обычно только разработчикам.

Унифицированы и имена (расширения) файлов (подробнее в документации). Также теперь списки url_https обрабатываются, как и url_http, что повышает качество фильтрации на стороне прокси-серверов.

Новый разбор реестра

Новая версия парсера реестра в 7 раз быстрее и требует в 13 раз меньше оперативной памяти. Благодаря этому у процессора теперь больше времени на то, чтобы заниматься своей основной задачей — фильтрацией трафика, что позитивно влияет на качество её исполнения.

Обновлён резолвер

Обновление реестра, обработка списков и резолв теперь могут проходить одновременно абсолютно не мешая друг другу, благодаря хорошо продуманной системе блокировок.

Также у резолвера появилась возможность опроса кэша резолва по отдельным спискам доменов, дающая на выходе раздельные списки IP адресов, которые могут использоваться для различных целей (блокировка в файрволе, анонсирование по BGP и т.д.).

Мастер настройки Carbon Reductor

Мастер настройки обновлён и теперь учитывает все новые возможности Carbon Reductor, такие как DNS и SNI фильтрация, валидирует вводимые данные и в целом удобнее. Теперь сразу после установки Carbon Reductor, вероятность того, что потребуется что-то донастраивать будет значительно меньше.

Мастер настройки сети

Теперь мастер настройки сети даёт возможность посмотреть какой трафик приходит в зеркало трафика, если его настроили до установки Carbon Reductor. Также теперь поддерживается пять схем настройки захвата зеркала трафика:

L2, только чистый трафик без тэгов
L2, только тэгированный трафик
L2, перемешанный чистый и тэгированный трафик
L3, только чистый трафик
L3, только тэгированный трафик

В случае с L3-зеркалами теперь автоматически выставляется опция, отключающая проверки наличия бриджей при старте.

Повышение отказоустойчивости выгрузок

Теперь выгрузки запускаются реже, но в случае временных проблем на стороне сервера Роскомнадзора ожидают некоторое время и повторяют запрос. Это уже попало в критические исправления 7.3.2 176, но упоминалось только в твиттере.

Возможность использования совместно с прокси-серверами

Теперь есть возможность отправлять часть ресурсов в прокси-сервер по BGP или с помощью DNS спуфинга (последнее поддерживается только прокси-сервером поставляемым в комплекте с Carbon Reductor 8 Alpha).

Возможность легко снизить нагрузку на сервер

Вам больше не требуется идеально настраивать зеркало трафика для того, чтобы снизить нагрузку на сервер в 20 и более раз с помощью опции NOTRACK.

Теперь при включении этой опции, трафик с IP-адресом Carbon Reductor, под которым он выходит в интернет через основной маршрут будет отбрасываться перед правилом NOTRACK, применяемым к зеркальному трафику. В результате эта опция не будет приносить никаких проблем, связанных с потерей доступа в сеть сервера Carbon Reductor.

Прочее

Возможность пропускать определённую подсеть "в разрыв";
Запуск обновления больше не запускает резолвер, так как это довольно долгая процедура. Теперь единственная точка запуска резолвера — crond;
Решены проблемы с не поднимающимся веб-интерфейсом после выключения опции "Заглушка на своём сервере";
Исправлена ошибка с вычислением длины генерируемого пакета HTTP 302 редиректа в некоторых случаях при использовании опции "Добавлять домен в URL редиректа". Из-за неё некоторые виды оборудования дробили пакет на несколько частей, отбрасывая вторую часть, в итоге редирект игнорировался некоторыми операционными системами;
DNS-фильтрация теперь поддерживается для IPv6-транспорта.

Желающим присоединиться к тестированию перед обновлением

Приблизительно через неделю мы планируем выпустить эту версию как master — то есть для всех, в плановом обновлении. Если у вас имеется тестовый сервер или Вы готовы тестировать на «продакшне», а потом откатиться — создайте в хелпдеске заявку «Тестирование Carbon Reductor 7.4″.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-10-12

Релиз Carbon Reductor 7.3.2

Всем привет!

В этом месяце команда Carbon Reductor уделила значительное внимание новому «SNI‑модулю», который позволит избежать массовых блокировок по IP.

Полный список обновлений ниже:

Выгрузки реестра

Исправлена логика работы RKND (демон, инициирующий срочные выгрузки единого реестра в соответствии с последними рекомендациями Роскомнадзора). Совпадение даты локальной копии реестра и даты на стороне сервера Роскомнадзора считалось устареванием реестра и RKND продолжал его выкачивать раз в пять минут вплоть до появления новой штатной выгрузки.

Улучшен и обкатан SNI-модуль

Теперь у нас есть техническая возможность избежать массовых блокировок ресурсов по IP, использующих HTTPS-протокол и CDN. Также новый модуль является подстраховкой для фильтрации DNS-трафика, если она по какой-либо причине не срабатывает.

В теории, в следующей версии, которая включит в себя новый парсер реестра можно будет отключить резолвер доменов блокируемых https-ресурсов.

Отключение резолвера после выхода следующей версии (мы напишем об этом, прямо сейчас ничего отключать не надо!) даст пару плюсов в плане блокировки:

Снизится число лишних блокировок ресурсов по IP, когда множество сайтов расположено на одном хостинге;
Не будут блокироваться легальные сайты в ситуации, когда по злому умыслу в настройках DNS владельцы заблокированных ресурсов указывают их IP-адреса.

DNS-модуль

Добавлена поддержка фильтрации DNS-запросов с указанием дополнительного поля “UDP Payload Size” – теперь фильтрация работает в том числе и для современных Linux-хостов.

Прочее

Повышена безопасность процесса записи URL и доменов в модули;
При обнаружении ошибки диагностики «Загрузка URL» показывается больше отладочной информации;
Незначительно оптимизирована производительность модуля HTTP фильтрации (минус две арифметические операции в 80% попавших на обработку пакетов).

Спасибо, что пользуетесь Carbon Reductor! До связи.

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-09-09

Релиз Carbon Billing 5.19.03

Всем привет!

В августе мы повременили с новыми фичами и плотно поработали над стабильностью Carbon Billing 5.

Выкладываем список фиксов:

Проведена стабилизация 7 систем и 1 улучшение:

Настройка пользовательского интерфейса для ФСБ – в некоторых случаях в ЛК отображался только поиск для ФСБ и не открывался кастомный интерфейс. Теперь работают оба поиска;
Повышена стабильность работы API платёжных систем – ранее некорректно обрабатывались платежи из разных платёжных систем с одинаковыми ID;
Иногда веб-касса неверно распознавала ответ от ККМ Атол о статусе смены – исправлено;
OSS – исправлен баг при генерации конфигов;
Добавлен бэкап VOIP-услуги перед загрузкой новой – при загрузке цен сохраняются данные по старым ценам и логируется имя администратора, таким образом исключена возможность потери данных;
FTP – добавили в бэкап данные учётных записей base – в случае выхода сервера из строя, данные об учётных записях сохраняются;
Групповое формирование счетов – некоторые поля не учитывались при формировании актов;
Улучшена производительность обработки списания услуг – уменьшено время обработки одной операции.

Спасибо, что используете Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-09-08

Релиз Carbon Billing 5.19.01

Ежемесячное обновление биллинга от Carbon Soft уже вышло в свет.

Видео-презентацию смотрите на нашем YouTube канале.

Список нового функционала и улучшений как всегда ниже:

Добавлены возможности:

блокировать пользователей на IPTVPortal – биллинг блокирует абонентов в случае неуплаты;
настройки пароля для HotSpot – возможно изменить длину пароля для его упрощения;
задавать дополнительные параметры в каждую учётную запись для скрипта управления оборудования;
добавлен функционал разбиения логов VOIP старее 3-х месяцев для компактности основной базы данных;
теперь можно формировать и выгружать отдельные агентские счета для телефонии;
добавлено дерево географических кодов в настройку тарифов телефонии – настройка по маскам телефонии стала проще и функциональней;
добавлены счётчики VOIP-трафика в разрезе услуг;
добавлена платёжная система Форвад Мобайл;
для абонентов Узбекистана добавлена платежная система Paynet.uz с возможностью отмены платежей.

Улучшения:

добавлена возможность отправлять на смс-шлюз номер получателя без
ведущего «+» — теперь корректно поддерживаются все смс-шлюзы;
доработан общий поиск, теперь работает и по выданному номеру телефонии;
доработан обработчик синхронизации с 1С, теперь можно выгружать агентские счета в 1С вместо актов;
исправлены ошибки, о которых Вы сообщили;
улучшено общее быстродействие системы;
теперь система авторизации VOIP Radius покрыта автоматическими тестами, что повышает её надёжность.

Спасибо, что используете Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-08-10

Релиз Carbon Reductor 7.2.2

Добрый день!

В этом месяце Роскомнадзор опять подкинул работы новыми рекомендациями по работе с единым реестром, которым Carbon Reductor теперь соответствует. Традиционно выкладываем структурированный список обновлений:

Выгрузки реестра и его обработка

Новое:

добавлен демон rknd, инициирующий экстренные выгрузки реестра. Он уже помог обнаружить и исправить три недостатка в процессах выгрузки реестра и загрузки URL/доменов в ядро;
добавлена поддержка масок доменов в разборе реестра;
добавлена отказоустойчивость для выгрузок реестра;
теперь отчёт о возникновении проблемы с выгрузкой реестра содержит в себе подробности этой проблемы.

Исправления:

процессы выгрузки реестра и загрузки URL в ядро теперь не могут быть запущены более 1 раза одновременно. Ранее это приводило к проблеме, идентифицируемой диагностикой как «Проверка загрузки URL в ядро»;
в случае запуска выгрузок на не активированном Carbon Reductor запускалась старая версия системы активации, что завершалось не удачно. Удалена и заменена актуальной.

Модули ядра

DNS

Новое:

добавлена поддержка выбора режима матчинга: ‑‑exact и with-subdomains (по умолчанию). Пока не используется, в devel-ветке есть код, который добавляет такую поддержку в кастомные списки DNS (и сами кастомные списки DNS);
добавлена поддержка регистронезависимого ‑‑icase поиска, отключенная по умолчанию. Он значительно менее производительный, лучше его добавлять дополнительным правилом для тех подсетей откуда запросы часто идут не в нижнем регистре.

Исправления:

значительно снижена вероятность коллизии хэшей в dnsmatch, что позитивно сказывается на производительности;
удалено всё оставшееся отладочное логирование, а также логирование checked/matched в dnsmatch.

HTTP

добавлена поддержка очень коротких доменов в HTTP-матчере (например, http://x.yz).

Прочее

Новое:

периодические задачи, потенциально способные повлиять на работоспособность фильтрации, подстроены под график проверок Ревизора. Сохраняет дампы трафика в аккуратно подобранной структуре каталогов в /var/lib/revisor_dump/. Добавление в «крон» только вручную;
добавлена утилита для сохранения трафика от проверок «Ревизора» для последующего анализа — revisor_dump.sh;
при запуске рестарта по SSH, логируется IP-адрес запустившего;
добавлен скрипт для превращения списка бэкапов в git-репозиторий с файлом xml для отслеживания изменений в нём;
commit’ы в /etc/sysconfig/network-scripts/, создаваемые мастером настройки сети стали удобочитаемы.

Исправления:

проверка обработки пакетов в диагностике иногда имела ложные срабатывания;
в некоторых случаях проброс переменной LC_CTYPE отличного от ru_RU.UTF-8 при подключении к Carbon Reductor по SSH и запуск обработки списка приводил к ошибке при обработке списков;
принятие решения об обновлении на новую версию целиком лежит на сервере обновления, все «умности» на клиентской стороне удалены;
не создавались ссылки на цепочку mirror_traffic в таблице raw, если не была включена опция NOTRACK. В результате не работала его особая обработка и отсеивание лишнего на раннем этапе.

Спасибо, что доверяете решениям Carbon Soft!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-08-08

Итоги за июль — Carbon Reductor

Добрый день!

РКН нагнетает с каждым днём: добавляет всё больше сайтов в список заблокированных, обновляет требования по блокировке, рекомендует заблокировать YouTube, находит способы обхода блокировки и т.д.

А мы всё также поддерживаем наших клиентов, разрабатываем новые решения и используем нестандартные ухищрения с целью решения Ваших проблем!

Как всегда публикуем новые отзывы от пользователей Carbon Reductor:

Отзыв от ООО «ТРК ТОНУС»

Откуда возникла потребность в поиске решения фильтрации трафика?

Потому что обязаны фильтровать. Потребность со стороны закона;

Как узнали о нашем продукте?

Я ранее еще регистрировался на вашем сайте по поводу биллинга, рассматривал информацию. Ну и потом заметил на сайте, что есть блокировка. Списывался с вашими техниками по поводу установки Carbon Reductor на сторонний биллинг. Т.е. я думал сначала, что привязка идет к конкретному биллингу, потом выяснилось что нет. Поэтому принято решение устанавливать его;

Почему выбрали именно нас? Что стало решающим при выборе компании?

Да не знаю, по функционалу: всё описано, всё доступно, легко и просто;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

Да, вот сейчас единственное ждем обновления, чтобы https можно было вырезать, а так всё нормально, всё хорошо;

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

В принципе так-то всё устраивает. Единственное, знаете, столкнулись, не знаю проблема, не проблема, может быть это индивидуально – набирали свой лист блокировки, который дала прокуратура. И как-то некорректно получилось. Т.е. если через веб-интерфейс вносишь, то как-то некорректно срабатывает. Если же через консоль редактируешь файл, то все корректно. Сейчас проблемы нет, эти сайты уже попали в списки РКН. Но ситуация была. Но опять-таки, это была не проблема, это не тяжело;

Отзыв от ООО «Теле-дом»

Откуда возникла потребность в поиске решения фильтрации трафика?

Ну как, законодательство обязывает;

Как узнали о нашем продукте?

Просто в интернете, через поисковик;

Почему выбрали именно нас? Что стало решающим при выборе компании?

На тот момент я не находил больше ничего путного. У вас был неплохой сайт, документация, решили попробовать, вроде бы неплохо;

Как проходит работа с нами после покупки? Все ли обновления устраивают, техподдержка?

По началу там были какие-то проблемы по спискам Минюста, что они там не актуально немножко обновлялись. После, вроде бы, претензий нет.

Есть ли идеи по улучшению продукта? Какой функционал вы бы хотели увидеть?

Да, честно говоря, даже не задумывался об этом. Поэтому не готов сейчас ответить на этот вопрос;

Спасибо, что используете продукты компании Carbon Soft!

Рубрика: Carbon Reductor DPI, Отзывы | Дата: 2016-08-04

Релиз Carbon Billing 5.18.01

Всем привет!

Снова на связи Carbon Soft с новым ежемесячным обновлением Carbon Billing 5. Традиционно выкладываем текстовую версию релиза со списком обновлений.

Видео-презентацию смотрите здесь.

Поехали!

Новое:

добавлена интеграция с TITV (см. видео-презентацию);
добавлена возможность отображать реквизиты абонента на основной вкладке в любой подгруппе. Интерфейс для менеджеров стал информативнее;
добавлена возможность использовать любые поля справочника домов для формирования строки отображения адреса в интерфейсе.

Улучшения:

улучшена система мониторинга параметров биллинга и платформы — обнаруженные ошибки автоматически попадают в «Helpdesk», а техподдержка оперативно решит эту проблему;
настройка Megogo стала еще проще – занимает 1 час (см. видео-презентацию);
доработка мультивалютной системы: создавайте услугу и заключайте договоры в валюте, которая отличается от основной;
для операторов, предоставляющих услугу VOIP телефонии по агентской схеме добавлена возможность выставления счетов абоненту от каждого агента отдельно.

Прочее:

опция устанавливающая месяц равным 30 дням теперь распространяется и на тип списания «ежемесячно пропорционально количеству дней», если вы хотите, чтобы каждый день списывалась одна и та же сумма;
в коммутаторе теперь можно задать любые диапазоны портов — специально для расширяемых коммутаторов;
исправлены ошибки, о которых Вы сообщили;
теперь объём пени можно задать в десятичных долях;
в печатной форме карточки абонента появилась возможность отображать маску сети в формате IP-адреса.

Спасибо, что доверяете нашим решениям. До связи!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-07-06

Релиз Carbon Reductor 7.1.2

Ежемесячное обновление Carbon Reductor уже подоспело. Добавлен новый функционал и исправлены ошибки. Чтобы разобраться в новых фичах, пойдем по порядку.

Новая система обновления

Теперь вопрос «нужно ли обновляться и на какую версию» решается на стороне сервера. Благодаря этому мы лучше контролируем массовые обновления.

Текущая логика работы такова: на свежую версию обновляются 10 случайных (вероятность 30%) серверов в период первой половины рабочего дня отдела технической поддержки с понедельника по четверг. После этого версия «замораживается» на 24 часа в случае минорных изменений и на 120 часов в случае мажорных изменений, а обращающимся за обновлением отдаётся ссылка на последнюю “обкатанную” версию.

Carbon Reductor Satellite 2.0

Реализация «Ревизора», которая отправляет данные о проверках фильтрации только туда, куда Вы попросите, обновилась.

Система умеет проверять фильтрацию HTTP, HTTPS и DNS ресурсов;
Поддерживает хуки, так что можно отправлять результаты проверки в собственные системы мониторинга. То есть Вы сможете заблаговременно узнать о проблемах на сервере;
Время работы полной проверки сокращено с 5-ти до 1-го часа;
Теперь для обновления достаточно одной команды.

Доработки DNS-спуфинга

Теперь DNS-спуфинг работает сразу после установки и дополнительно разработана система интеграции с DNS-серверами провайдера. Поддерживаются bind/named и unbound.

Резолвер

Исправления:

Благодаря правильному анализу опции «поддержка IPv6» меньше проблем при использовании интеграции с маршрутизатором;
Редуктор не блокирует страницу-заглушку при неправильной настройке зеркала.

Файрвол и веб-интерфейс

Новое:

Веб-интерфейс недоступен, если не указан IP администратора;
Можно указать конкретные IP-адреса и порты на которых будет доступен веб‑интерфейс. По умолчанию он работает на 0.0.0.0:8080.

Исправления:

Исправлена проблема проверки доступности при использовании некоторых систем мониторинга. Проверка TTL=1 переехала из «mangle PREROUTING» в «raw PREROUTING» в цепочку «mirror traffic»;
Кастомные редиректы HTTP теперь наследуют опции «--log» и «--save-domain».

Прочее

Новое:

На случай внезапно возникшей необходимости доработки системы обращений url‑списков внедрена поддержка черных и белых «Хотфикс-списков». Они страхуют Вас на время, пока Вы не обновитесь на версию с доработками. Отключаемая опция;
Адрес дефолтной заглушки для демонстрации работы редиректа переехал с deny.carbonsoft.ru на denypage.ru.

Исправления:

Упрощена система обработки списков. Кэш сигнатур изменил формат, благодаря этому теперь нет проблем и специальной обработки URL с некоторыми спецсимволами;
Система мониторинга путалась при создании тикетов между несколькими Carbon Reductor, зарегистрированными на одну компанию. В результате периодически возникала ситуация, когда по одному серверу создавалась заявка, а потом сразу же закрывалась по данным, поступившим от другого сервера;
Просроченная оплата теперь не плодит несколько тикетов в хелпдеске.

Рубрика: Carbon Reductor DPI, Новости | Дата: 2016-07-04

Релиз Carbon Billing 5.17.01

Салют!

Теперь будем записывать видео-презентации новых версий Carbon Billing 5.
Вот ссылка на видео-презентацию.

Ну и традиционно, в текстовом режиме о майских улучшениях в версии Сarbon Billing 5.17.01:

1. Результаты поиска теперь разбиты на страницы. Стало удобней.

2. Добавили бекап всех платежей проведенных в системе за месяц – теперь в случае ЧП, платежи быстро восстановятся.

3. Качественно переработали интерфейс добавления и редактирования услуги – стало проще. Посмотрите — уверены, что Вам понравится.

4. По просьбам зарубежных партнеров – сделали интерфейс биллинга на английском.

5. В группу “Все” добавлена возможность просмотра общей детальной статистики по трафику, нашим друзьям из ФСБ понравится.

6. Настраивайте разные сообщения для оповещения для юр. и физ. лиц., в прошлом месяце этой возможности не было.

7. Переработали архитектуру хранения аудита для ускорения и повышения стабильности основной базы дынных.

8. Добавили опцию сдвига даты следующего списания на месяц для ежемесячных тарифов и опцию равенства месяца 30 дням.

9. Исправили несколько багов, о которых сообщили нам клиенты.

У нас всё. До новых встреч!

Рубрика: Carbon Billing 5, Новости | Дата: 2016-06-09