Продукты для бизнеса и людей, ценящих своё время

Релиз Carbon Billing 5.24.01

Добрый день!

Выпущена новая версия Carbon Billing 5. Вновь повышаем надёжность, отказоустойчивость биллинга, а также не забываем про новый функционал.

Надёжность, отказоустойчивость, безопасность

По нашим расследованиям падений БД, самой частой причиной было нарушение целостности файловой системы. Мы внедрили технологию теневой копии БД на отдельном разделе. Это позволило уменьшить вероятность повреждения БД до минимума, так как шанс, что обе файловые системы, работающие под разной нагрузкой, повредятся при ресете питания — крайне мала.

Для повышения безопасности добавлена возможность указывать нестандартный порт для ssh при установке биллинга. Также улучшена отказоустойчивость модулей отвечающих за сбор и агрегацию трафика.

Ядро биллинга

В ядре проведена работа по оптимимации кода, что в итоге снизило нагрузку на сервер и в целом ускорило работу биллинга. Сделана большая ревизия кода отвечающего за отправку событий, убраны лишние события и оптимизирована скорость обработки — теперь события обрабатываются в 2 раза быстрее. Улучшен алгоритм переключения лестницы скоростей по тарифу, теперь эти действия не засоряют аудит и потребляют меньше ресурсов.

Расширен функционал отчётности и взаиморасчётов операторов связи по агенсткой схеме для телефонии, теперь можно отдельно выставлять агентские счета по каждому вышестоящему оператору.
Исправлены ошибки перерасчёта.
Доработан функционал, отвечающий за привязку и обработку двух и более договоров на одном счёте. Теперь в одном акте, который высылается абоненту можно разграничить оказанные услуги по нескольким договорам. Также исправлены мелкие ошибки.
Улучшен функционал миграции с других биллингов — добавлена возможность повторной миграции в ускоренном режиме.
Некоторым пользователям при полном перерасчёте требовалось перерасчитать всю телефонию, в новой версии это возможно.
У пользователя при использовании опции «Сдвигать дату ежемесячного списания», переход на тариф просходил 1-го числа месяца, а не в дату, куда было сдвинуто списание — исправлено.

Веб-интерфейс администратора

Добавлен новый функционал по просьбе пользователей, исправлены мелкие ошибки и проведены некоторые улучшения.

Для удобства добавлена возможность сразу скачивать pdf при печати документов.
Улучшен алгоритм подсчёта абонентов в дереве абонентов, в некоторых случаях цифры были неправильными и исправлялись только ночью при полном перерасчёте дерева.
По многочисленным просьбам в расширенный поиск добавлена возможность массового изменения результата поиска. Например, это пригодится тогда, когда Вам необходимо по какому-то признаку поменять тариф абонентам.
В 2 раза увеличена скорость отклика информации по абоненту в веб-интерфейсе администратора.
Некоторым пользователям требовался рекурсивный поиск по группе абонентов — эта опция добавлена в расширенный поиск. При включённой опции поиск будет осуществляться и по группам и по подгруппам.
Исправлены ошибки веб-интерфейса, о которых Вы сообщили.
По просьбе нескольких пользователей добавлено поле для написания комментария в операциях прихода.
Добавлена необходимая запись в аудит, чтобы было очевидно, делался ли перерасчёт по абоненту и на какой период — в некоторых случаях это сложно было понять.
Если пользователь задавал недостаточно детальный поиск по абонентам в базе более 10 тыс. абонентов это приводило к ошибке поиска — исправлено.
Для интеграции с 1С добавлен обработчик для облачных решений.

Платформа

Переработана система изменения и генерации DHCP Subnets, теперь она работает предсказуемо и не дублирует данные.
Добавлена возможность восстановления базы данных из резервной копии сразу из веб-интерфейса.

Платёжные системы

Обновлён протокол работы с платёжной системой Uniteller.
Некоторые кассиры не могли понять зачислен ли платёж через веб-кассу и ошибочно проводили второй. Теперь подобные ситуации исключены, система сообщит о проведённом платеже всплывающим окном.
Добавлена платёжная система «PayKeeper» — больше возможностей оплаты для Ваших абонентов.

Спасибо, что пользуетесь Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2017-06-27

Важная информация для пользователей Carbon Reductor 7

Уважаемые пользователи Carbon Reductor 7!

В связи участившимися случаями DNS подстановки IP адресов популярных сайтов, необходимо произвести/проверить настройку сервера.

Включить опцию SNI фильтрации.
Выключить опцию фильтрации с использованием DNS резолва.

Подробнее, о том как это правильно сделать, читайте в документации.

К сожалению, мы не можем изменить эти опции удаленно в текущей версии 7.

На всех серверах 8 версии продукта настройка произведена автоматически. Это будет возможно и в следующей версии Carbon Reductor 7, которая выйдет после 25 июня.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-06-15

Релиз Carbon Reductor 8.00.09 1175

Добрый день!

За последние пару месяцев разработчики хорошо потрудились и выложили крупное обновление в devel‑ветку. Обновление серверов пройдет автоматически.

Самое важное

Исправлена редкая ошибка, приводившая к зависаниям серверов (soft-lockup) и последующей перезагрузке. Всего было зафиксировано 4 случая за 3 месяца, они обошлись без последствий, благодаря использованию резервных серверов фильтрации.

Исправлены проблемы со стартом сервиса фильтрации при изменении параметров ipset, ранее приводило к запуску режима обслуживания и уведомлениям администраторов о возникшей проблеме.

Сервис bgp_blackhole теперь поддерживает работу с IP адресами подсетей.

Списки, реестр, выгрузки

Недавно мы обнаружили особенность работы АС «Ревизор» — он обновляет списки Роскомнадзора через час после того, как они обновятся в источнике. Carbon Reductor обновляет списки в течение нескольких минут после их изменения со стороны Роскомнадзора. Это привело к ситуации, когда АС «Ревизор» зафиксировал фиктивный пропуск по устаревшему списку — сайт, который ранее был заблокирован, разблокировали, но информация о нём в АС «Ревизор» обновилась позже, чем в Carbon Reductor. Теперь используются все списки за последние 24 часа (по умолчанию, но опционально) для исключения рассинхронизации с АС «Ревизор».

Добавлена возможность просматривать изменения выгруженных из реестра Роскомнадзора списков с помощью git в папке `/var/lib/reductor/rkn_history/lists/` (за исключением результатов резолвера и временных файлов от обработки списков).

Добавлена проверка отсутствия файлов запроса и подписи в утилите для выгрузки единого реестра с выводом ошибки понятным для администратора. В заблуждение попадали пользователи, переключившие выгрузку реестра с собственного сервера на выгрузку через Carbon Reductor с использованием запроса и подписи к серверу Роскомнадзора. Проверка работает как при запуске выгрузки, так и при автоматической диагностике сервера.

Добавлена возможность использования Крипто-Про для подписи запроса на сервере с Carbon Reductor 8.

Исправлено:

Список Минюста не отображался в веб-интерфейсе.
Работа белых списков IP адресов (https).
Просмотр информации о списках в веб-интерфейсе показывал информацию не обо всех списках.
Демон проверки единого реестра rknd отслеживал только срочные изменения, теперь отслеживает все (интервал проверки — раз в 5 минут).
Заполнение списка доменов ресурсов, использующих HSTS при выборе соответствующей опции в мастере настройки.

Интеграция с сетью провайдера

Добавлена поддержка интеграции Carbon Reductor с несколькими маршрутизаторами — система отправки команд (events.sh) теперь поддерживает список хук-файлов, в которых определяется порядок взаимодействия с каждым маршрутизатором.

Информация о сервере

В вывод информации о сервере добавлена оценка аппаратной части по шкале от 1 до 10 для того, чтобы Вы и техподдержка могли более полноценно контролировать актуальность Вашего сервера.
Вывод информации о сервере теперь показывает все установленные модели процессоров. Сделано для машин с несколькими разными процессорами.
Исправлен вывод информации о сервере: при использовании VLAN-интерфейсов для приема зеркала выводились неуместные ошибки ethtool.

Безопасность

Бывают случаи, когда локальная сеть не очень хорошо защищена, поэтому мы добавили пару вещей, которые дополнительно напомнят о безопасности Вашего сервера фильтрации:

Проверка смены пароля пользователя root в диагностике. Теперь отображается ошибка в случае использования стандартного пароля.
В мастере настройки предлагается использовать нестандартный порт для SSH. При использовании стандартного, диагностика будет выводить ошибку.

Режим обслуживания

Стабилизирована работа режима обслуживания, теперь он запускается при любом рестарте файрвола, даже если не требуется изменять ipset и модули фильтрации.

Прочее

Добавлено:

Возможность указать несколько IP-адресов АС «Ревизор» через пробел на случай необходимости проведения технического обслуживания сервера.
Добавлена возможность сбора дампа трафика от АС «Ревизор» с помощью инструкции с примерами. Помогает для отладки вновь установленного сервера.
Диагностика возможности зацикливания HTTPS-прокси, если HSTS-ресурс резолвится редуктором в его собственный IP адрес. Такое может происходить в случае, если осуществляется фильтрация с помощью DNS-сервера провайдера и при этом и страница заглушка и прокси-сервер находятся на одном сервере.

Исправлено:

Минорные ошибки в новом контейнере bgp_blackhole.
Вывод ошибок диагностики в веб-интерфейсе теперь показывает только текущие проблемы.
Запуск активации мог приводить к уходу сервиса reductor в режим обслуживания при неприменённых ручных изменениях в модулях фильтрации или конфигурации ipset.
Выводящиеся в веб-интерфейсе ссылки вели на документацию по Carbon Reductor 7.
Мастер настройки зеркала трафика мог не отображать некоторые сетевые устройства.
У некоторых вновь пришедших пользователей возникали проблемы с установкой с DVD-диска, теперь установка работает исправно.
Утилита cache_ctl не работала.
Примеры утилиты list_ctl содержали упоминания старого формата списков.
Проблема с правами на временные файлы nginx приводила к отображению веб-интерфейса без CSS.
Имена ipset в firewall теперь соответствуют спискам, которые в них загружаются.
Проверка наличия трафика теперь использует счётчики модулей фильтрации вместо запуска tcpdump, так же учитывается включены модули или нет.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-05-30

Критичные изменения от АС «Ревизор» для страницы-заглушки

АС «Ревизор» изменил анализ ответа от страницы-заглушки и может неверно засчитывать пропуски.

Все серверы с Carbon Reductor обновлены автоматически.

Для полной уверенности, а также если у Вас используется своя страница-заглушка, Вам необходимо проверить руками запрос вида:
telnet IP_Адрес_заглушки 80 Escape character is '^]'. GET /.
Примечание: точка после слеш обязательна для этой проверки.

Верный ответ должен быть код 200 и с выводом страницы-заглушки.

Если ответ 301 Moved Permanently — значит воспользуйтесь инструкцией:
http://docs.carbonsoft.ru/pages/viewpage.action?pageId=77791244

Спасибо, что пользуетесь продуктами Carbon Soft!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-05-26

Проверка операторов связи с помощью АС «Ревизор», практика наших пользователей

Добрый день!

В связи с увеличением количества проверок АС «Ревизор» с декабря 2016 года у провайдеров появились вопросы и беспокойство на тему осуществления фильтрации трафика и штрафов от Роскомнадзора.

Мы отправили официальный запрос в Роскомнадзор с просьбой детально разъяснить механизм проверки фильтрации, выявления нарушений и процедуру наступления административной ответственности за отсутствие блокировки запрещенных ресурсов. Роскомнадзор прислали нам развёрнутый ответ. Мы скомпоновали его в максимально доступный вид и делимся им с Вами.

Данная статья содержит в себе как базовую информацию, известную каждому провайдеру с установленным АС «Ревизор», так и более развёрнутую, помогающую детально разобраться в вопросах законодательства.

Алгоритм проверки фильтрации и выявления нарушений

Ресурс появляется в Едином реестре (обновляется ежедневно в 9.00 и 21.00 МСК).

Согласно части 10 статьи 15.1 ФЗ-149 в течение суток с момента включения в Единый реестр запрещенного интернет-ресурса оператор связи, оказывающий услуги по предоставлению доступа к сети Интернет, обязан ограничить доступ к такому сайту в сети Интернет.

Единый реестр выгружается оператором связи.
Оператор связи обязан осуществлять блокировку запрещенных ресурсов согласно пунктам 1, 5 статьи 46 ФЗ-126 «О связи» порядок которой регулирует ФЗ-149.
Филиалы ФГУП «РЧЦ ЦФО» осуществляют мониторинг фильтрации с помощью АС «Ревизор».

Филиалы ФГУП «Радиочастотный центр Центрального федерального округа» (далее ‒ филиалы ФГУП «РЧЦ ЦФО») осуществляют мониторинг выполнения операторами связи требований по ограничению доступа к запрещенным интернет-ресурсам с использованием «Автоматизированной системы контроля за соблюдением операторами связи требований по ограничению доступа к сайтам в сети Интернет, содержащим информацию, распространение которой в РФ запрещено в соответствии с требованиями ФЗ-149″ (далее ‒ АС «Ревизор»). АС «Ревизор» введена в промышленную эксплуатацию приказом ФГУП «РЧЦ ЦФО» от 29.12.2016 № 354 (сертификат соответствия оборудования «Аппаратно-программный Агент АС «Ревизор» № ОС-1СУ-0496, срок действия с 05.10.2016 до 05.10.2019).

При обнаружении факта отсутствия блокировки АС «Ревизор» делает скриншот незаблокированного ресурса. Представители РЧЦ передают информацию в ЕИС Роскомнадзора.

Незаблокированной записью Единого реестра с признаками нарушения законодательства является запись Единого реестра, скриншот которой позволяет однозначно определить факт отсутствия блокировки интернет-ресурса оператором связи. Сформированные акты и протоколы мониторинга передаются сотрудниками филиалов ФГУП «РЧЦ ЦФО» в ЕИС Роскомнадзора. Акты мониторинга рассматриваются территориальными органами Роскомнадзора, на подведомственной территории которых осуществляет деятельность оператор связи, оказывающий услуги по предоставлению доступа к информации, распространяемой посредством сети Интернет.

Роскомнадзор возбуждает дело об административном правонарушении.
Решение по данному делу принимает суд.

Согласно части 3 статьи 14.1 КоАП от 30.12.2001 № 195-ФЗ в случае признания нарушения судом может быть вынесено предупреждение или наложен административный штраф от 1,5 до 2 тыс.руб. ‒ для граждан, от 3 до 4 тыс.руб. ‒ для должностных лиц, от 30 до 40 тыс.руб. ‒ для юридических лиц.

Считаем необходимым отметить, что 11.01.2017 в Госдуме принят во втором, основном чтении законопроект, дополняющий КоАП РФ новой статьей, которая вводит ответственность за неисполнение оператором связи обязанности ограничивать или возобновлять доступ к информации. Такое нарушение предлагается наказывать штрафом от 3 до 5 тыс.руб. ‒ для должностных лиц, от 10 до 30 тыс.руб. ‒ для предпринимателей без образования юридического лица, от 50 до 100 тыс.руб. ‒ для юридических лиц.

Важные моменты

Мы отметили ключевые факты, которые, в том числе, помогут в общении с представителями РКН или РЧЦ, если возникнет необходимость.

Проверки осуществляются регулярно, как плановые, так и внеплановые.
Оператору связи обязательно предоставляется доступ в личный кабинет АС «Ревизор» для проверки работы его DPI.

При заключении договора с филиалом ФГУП «РЧЦ ЦФО» в УФО об установке технического средства АС «Ревизор» оператору связи предоставляется доступ в личный кабинет АС «Ревизор», с помощью которого оператор связи может своевременно реагировать на случаи неблокирования доступа к запрещенным интернет-ресурсам.

На блокирование вновь включенных в Единый реестр интернет-ресурсов оператору связи дается не более 1 суток после их включения в Единый реестр. Также нужно обратить внимание на то, что ресурсы, добавленные в реестр в соответствии с ФЗ-398 (т.н. «экстремистские» сайты) должны быть заблокированы в течение 1 часа.
В НПА (нормативно-правовые акты) не предусмотрены такие понятия как «пропуски», «временные интервалы», «допуски по пропускам». Нарушением является факт отсутствия блокировки Единого реестра, будь это одна запись или сто.
Доказательством в суде должен быть скриншот позволяющий однозначно определить факт отсутствия блокировки.
Каждый оператор связи несёт ответственность за неисполнение обязанностей по блокировке ресурсов, даже если вышестоящий провайдер фильтрует трафик. Для того, чтобы полностью себя обезопасить у каждого оператора связи должно быть своё DPI решение.

При этом подчеркиваем, что оператор связи, использующий трафик, фильтрацию которого осуществляет присоединяющий оператор связи вышестоящего уровня, не освобождается от ответственности за неисполнение обязанности по ограничению доступа (Распоряжение Роскомнадзора от 07.07.2016 № 8, утверждающее Рекомендации по ограничению доступа к информации, распространяемой посредством сети Интернет, в порядке, установленном ФЗ-149).

Время на устранение неполадок не предусмотрено НПА (Но его может установить суд).
На текущий момент размер штрафа для юридических лиц составляет от 50 до 100 т.р.

Получается, что любой пропуск это штраф?

Законодательно да, но на самом деле нет.

Дело в том, что причины пропусков могут быть самые разные и они, если не изменять настройки ПО, всегда связаны с железом. Недавно мы написали статью с рекомендациями по повышению отказоустойчивости аппаратной части системы фильтрации.

Представители РКН и РЧЦ прекрасно понимают возможные технические неполадки и, подчеркиваем, всегда дают время на их устранение. Каждый факт неосуществления блокировки отдельно проверяется и дело дойдет до суда только в случаях, если:

Факт нарушения подтвердили представители РЧЦ проведением повторной проверки.
Проблема с фильтрацией не была решена в установленное время.

Фактически получить штраф в случае пропуска в принципе проблематично, потому что все условия для быстрого устранения неполадок есть.

Практика пользователей Carbon Reductor

Пример №1
Проблема: АС «Ревизор» зафиксировал пропуски, при попытке зайти на любой URL из отчёта страница была заблокирована. Пользователь обратился в техподдержку.

Процесс решения:

Первичная диагностика сервера выявила низкую вычислительную мощность процессора, недостаточно оптимизированную работу процессора с сетевыми картами, а также отсутствие интеграции с DNS сервером и маршрутизатором.
Был заменён процессор и корректно настроена его работа.
Проведена интеграция с DNS сервером и маршрутизатором.
Тестирование выявило небольшой процент пропусков.
Детальная диагностика показала, что теряется ответный пакет после отправки с сервера фильтрации на АС «Ревизор», находящийся в локальной сети.
Полученная информация позволила пользователю устранить неявную проблему в локальной сети.
Повторная проверка пропусков не обнаружила.

Итог:
После проведенных работ пропуски не зафиксированы. Претензии со стороны Роскомнадзора к провайдеру были сняты. Дело в суде не рассматривалось.

Пример №2
Проблема: АС «Ревизор» зафиксировал пропуски по нестандартным портам — 8080, 8081.
Процесс решения:

Первичная диагностика проблем не выявила.
При детальном изучении трафика с тестовой машины, находящейся в локальной сети, выяснилось, что ответные пакеты по портам 8080, 8081 не доходили до «абонента».
Совместно с пользователем, в режиме онлайн, мы выяснили, что пакеты от сервера фильтрации по нестандартным портам не попадали к абонентам, т.к. фильтровались ACL (Access Control List) на маршрутизаторе.
Пользователь поправил ACL, отчёты АС «Ревизор» стали пустыми.

Итог:
Претензии со стороны Роскомнадзора к провайдеру были сняты. Дело до суда не дошло.

Резюмируя вышеописанное

Статистика показывает, что фиксируемые проблемы кроются либо в аппаратной части фильтрующего сервера, либо в специфике работы локальной сети.

В Радиочастном Центре работают грамотные и отзывчивые специалисты, которые идут навстречу при их информировании о проблеме и сроках её устранения. Их целью является не выписывание штрафов, а банальное соблюдение требований законодательства.

Спасибо, что пользуетесь продуктами Carbon Soft!

Рубрика: Carbon Reductor DPI, Новости, Полезное | Дата: 2017-04-26

Инспекционная проверка Carbon Billing

Добрый день! Carbon Billing 5 прошёл очередную инспекционную проверку сертифицированных средств связи с привлечением испытательного центра ФГУП НИИР.
Прикладываем заключение о соответствии установленным требованиям.

сертификация Carbon Billing

Рубрика: Carbon Billing 5, Новости | Дата: 2017-04-14

Релиз Carbon Billing 5.23.01

Добрый день! За пару месяцев отдел разработки здорово потрудился. Вновь улучшена стабильность работы биллинга и отказоустойчивость, а также упрощено управление из администраторского сайта.

Изменения в платформе

Мы улучшили архитектуру автоматического тестирования платформы биллинга и основных систем по 107 параметрам: разделили на ангелов, которые могут сначала попытаться исправить ситуацию в автоматическом режиме и на тесты мониторинга, которые могут только сообщить о проблеме администратору для дальнейшего устранения.

Для пользователей с медленным интернетом в тесты доступности DNS добавлена возможность настраивать величину таймаута для диагностики состояния сервера. При корректной настройке этой величины тест DNS больше не будет падать с ошибкой.
Некоторых пользователей не устраивала детальная статистика разработанная еще в 4 версии биллинга. Для них мы сделали возможность сбора статистики с помощью универсальной утилиты nfcapd и анализа из коробки с помощью OpenSource утилиты nfsen. Теперь Вы можете настроить отображение детальной статистики так, как Вам удобнее.
Улучшено логирование загрузки платежей из CSV — теперь ошибки в файле (если таковые имеются) стали понятнее.
Для платёжных систем использующих SSL соединение при обратном вызове биллинга и Java была добавлена возможность указывать имя сервера приема платежей на стороне биллинга, чтобы SSL соединение происходило без ошибок, в частности проблемы были со Сбербанком.
Иногда у пользователей зависали автотесты системы, теперь для выполнения каждого теста выделен таймаут в 5 минут. Если тест не выполнится за выделенное время, система об этом сообщит администратору.
Если у пользователя были неправильно настроены сбор и отправка Netflow потока на биллинг, могло появиться много пакетов с IP 0.0.0.0 и вызвать сбой при отправке агрегированных данных на биллинг. Пакеты с IP 0.0.0.0 больше не отправляются с коллектора на биллинг и администратору сообщается в логах о проблеме Netflow. Также, в некоторых случаях, агрегация пакетов могла зациклиться и сырая статистика забивала всё место на жёстком диске — добавили защиту.

Личный кабинет и веб-касса

Доработан мастер регистрации через Hotspot:

Добавлена возможность выбора платёжной системы, чтобы абонент сразу смог произвести оплату с пластиковой карты.
Добавлена возможность отключить запрос ФИО и email для упрощения процедуры регистрации.
Добавлена проверка номера телефона, что исключает возможность его некорректного указания.
Список тарифов теперь получается с биллинга автоматически, а не указываются вручную.

Также:

Добавлена возможность менять привязку MAC через личный кабинет для тех случаев, когда на биллинге настроена возможность запроса MAC-адреса абонента с оборудования. Теперь абонент может сам поменять оборудование без обращения в Вашу техническую поддержку.
Увеличена в 60 раз скорость работы Веб-кассы на базах превышающих 10 000 абонентов.

Ядро биллинга

Мы доработали систему скидок за оплату вперёд. Добавлена возможность настроить систему так, чтобы она учитывала только сумму единовременного платежа (другими словами, услуги скидки теперь сделаны так, чтобы абоненту для их получения нужно было внести заданную сумму разово, а не частями, таким образом провайдер получит сразу всю оплату) и подключала скидку с первого числа следующего месяца если абонент в положительном балансе для того, чтобы он мог полностью её использовать при ежемесячной оплате. Раньше, при оплате в середине месяца, биллинг предоставлял скидку не на 3 полных месяца, а на 2,5. Также, все последующие скидки будут подключаться после отключения текущих.

Теперь можно настраивать диапазон времени, после которого необходимо архивировать финансовые проводки: некоторым пользователям требуется делать перерасчёты проводок сделанных год назад, что затруднительно если они архивируются, если им уже полгода и более.

Для баз данных с абонентской базой более 10 000 и ежемесячным списанием абонплаты повышена скорость одной итерации по 4000 проводкам с 20 минут до 3 минут — ежемесячная обработка абонентов стала в 6 раз быстрее.

Другое:

Исправлены мелкие ошибки автоматических платежей — иногда платёж вёл себя непредсказуемо и требовал дополнительного внимания администратора биллинга.
Исправлены небольшие ошибки в миграции с других биллингов — добавлена проверка уникальности логинов, исправлена ошибка миграции карт оплаты.
В некоторых случаях абонентам выставлялись нулевые счета, это было связано с суммами меньше копейки — исправлено.
Исправлены ошибки планировщика задач, не планировалось выполнение отчёта.
Исправлена ошибка в алгоритме вычисления длительности звонка при постоплате — иногда, в результате ошибки, биллинг запрещал звонок.
Весь добавленный или исправленный функционал покрыт дополнительными автотестами.

Администраторский сайт

Ускорена работа администраторского интерфейса биллинга — каждый месяц мы проводим тестирование на отклик, так как иногда новый функционал может повлиять на время отображения страниц.
Исправлены мелкие ошибки индексации полнотекстового поиска. На больших базах более 10 000 абонентов первичная индексация занимала много времени и могла спровоцировать автоматическую защиту от зависания транзакций.
Исправлена функция закрытия периода. Иногда удалялась не вся финансовая информация, а пользователю было необходимо удалить всё, чтобы соблюсти формальность запуска сертифицированного биллинга перед государством.
Добавлена возможность в шаблонах печати выводить прописью валюту Казахстана автоматически.
При использовании нескольких учётных записей на одном абоненте добавлена возможность просмотра аудита отправленных команд отдельно по каждой из учётных записей, ранее аудит был доступен только для одной.

Отладка работы конкретной учётной записи стала удобней, особенно актуально при использовании IPTV.

В учётной записи абонента при выборе пула IP добавлена возможность для быстрого поиска, когда пулов IP много.
Для пользователей, у которых коммутаторы насчитывали порты сотнями, для удобства добавлен поиск прямо в поле выбора порта.
В настройку интерфейса администраторского сайта добавили возможность включать выбор объектов с поиском из списка и порядок сортировки полей на форме, также добавили возможность настраивать поля учётной записи. Работа со списками стала удобнее и быстрее.
Для Вашего удобства добавили возможность печатать документы в администраторской панели сразу в pdf в дополнение к формату html.
Добавлен поиск по геокодам в ценах VOIP, если при загрузке прайсов кодов с разной ценой очень много — просмотр и редактирование цен стало удобнее.
Улучшено качество иконок в администраторском сайте, теперь они выглядят приятнее.
Исправили другие ошибки, о которых Вы сообщили.

OSS

Улучшили функционал интеграции различных IPTV (Megogo, Lifestream (Смотрёшка), IPTVPortal, TITV). Пользователям не всегда удавалось провести интеграцию самостоятельно, теперь это стало проще.
Улучшили систему управления оборудованием. Иногда отправлялись лишние команды по изменению скорости, либо отправлялись без учёта подсети в случае, если трафик делился по подсетям. Теперь в интерфейсе администратора чётко видно подсеть и её скорость.
По просьбе пользователей мы добавили в биллинг параметры, необходимые для управления коммутаторами из скрипта управления маршрутизатором.
Скорость обработки отправки команд на оборудование увеличена в 2 раза.

Повышение отказоустойчивости и стабильности работы

Мы серьезно повысили отказоустойчивость базы данных при падении питания. Повышена отказоустойчивось RADIUS сервера после обновления — иногда он неправильно генерировал список разрешенных для подключения NAS. Также, мы повысили общую стабильность системы обновления биллинга.

Спасибо, что пользуетесь Carbon Billing 5!

Рубрика: Carbon Billing 5, Новости | Дата: 2017-04-04

Релиз Carbon Reductor 8.00.07

Добрый день!

Начнём с наиболее важной информации: законопроект, согласно которому размер штрафа за незаблокированные ресурсы повысится и составит 50-100 тыс.руб, подписан В.В.Путиным 22.02.2017 и вступит в силу 24.03.2017. В связи с этим, пожалуйста, для тех, кто еще не ознакомился, почитайте статьи о правильной настройке сервера фильтрации и об установке резервного сервера. А для тех, кто хочет дополнительно застраховаться, обратите внимание на подписку
SLA3 — Аутсорсинг. На этом уровне техническая поддержка берёт на себя администрирование сервера с Carbon Reductor, а также здесь предусмотрена страховка от штрафов Роскомнадзора.

Теперь о релизе (обновление будет доступно для скачивания после 13 марта).

Ускорено внедрение за счёт автоматической оценки сервера

Автоматизированы и улучшены следующие задачи:

Сбор информации о сервере.
Оценка этой информации для выявления узких мест, способных приводить к проблемам фильтрации.
Принятие более рациональных решений для оптимизации производительности.
Утилиты для упрощения отладки и настройки оборудования на сервере.

Автоматическая оптимизация производительности из коробки

Система чем-то похожа на демон «tuned» от Red Hat. Мы воспользовались бы им самим, если бы он поддерживал такой профиль оптимизации настроек сервера как захват трафика.

Возможности:

Отключение и установка «плавающей» частоты процессора.
Определение оптимального размера буферов сетевых карт, участвующих в захвате трафика.
Автоматическая настройка RPS для более равномерной нагрузки на ядра процессора (только при необходимости).

Автоматическая настройка RSS не включена по умолчанию. При использовании многопроцессорных систем с несколькими сетевыми картами есть много нюансов и нужно оценивать нагрузку, которая идёт на сетевые карты. Вся логика, которую раньше настраивали вручную сейчас унифицирована и помещена в утилиту, что позволяет упростить распределение прерываний.

Интеграция с маршрутизаторами

Расширен функционал интеграции с маршрутизаторами: добавлена возможность использования BGP.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-03-10

Страхуемся, чтобы на 200% проходить проверки АС «Ревизор»

Мы решили дополнительно подстраховать пользователей Carbon Reductor от форс‑мажорных ситуаций в плане фильтрации.

Сейчас предполагается, что система фильтрации у провайдера должна работать идеально 100% времени. Мы прикладываем огромные усилия, чтобы это было действительно так, но причины пропусков в фильтрации не связаны непосредственно с продуктом.

Это могут быть сбои оборудования на сервере с Carbon Reductor: если внезапно выйдет из строя жёсткий диск, сервер, скорее всего, продолжит работу и даже будет продолжать осуществлять фильтрацию трафика, но не сможет выгрузить списки и добавить новые URL. Такая ситуация недавно случилась у одного из пользователей и, к сожалению, привела к штрафу в 30 тысяч рублей. Блоки питания, битые модули оперативной памяти, сетевые кабели — ситуация та же самая.

Часто бывает так, что полноценного мониторинга за сервером не настроено, а сотрудник, зарегистрированный в нашем helpdesk, получающий уведомления от нашего мониторинга, уволился. Соответственно, о возникшей проблеме, несмотря на наличие тикета в хелпдеске и отправленных писем, узнаёт не системный администратор через 5 минут, а директор, причём от РЧЦ или РКН. (Кстати, начиная с 2017 года мониторить состояние Carbon Reductor стало значительно легче, можете посмотреть примеры в документации).

Если проблемы в программном обеспечении Carbon Reductor и, используемой в качестве платформы, операционной системе мы можем исправлять и предотвращать, то с железом мы ничего сделать не можем, такова его материальная природа — оно подвержено поломкам.

Для того, чтобы предупредить форс-мажоры, от которых никто не застрахован, мы предлагаем нашим пользователям организовать резервный сервер с Carbon Reductor. Лицензия на этот сервер предоставляется безвозмездно если Вы уже пользуетесь Carbon Reductor.

Эта статья носит рекомендательный характер. Если для Вас сейчас накладно обустраивать второй сервер или нет возможности организовать ещё одно зеркало трафика, ничего страшного. Основной сервер как работает, так и будет работать, просто за ним нужно следить и обслуживать.

Ранее мы уже писали о том, как должен быть настроен сервер с Carbon Reductor.

В плане установки дополнительной копии Carbon Reductor в сеть оператора есть несколько плюсов:

Возможность самостоятельно обкатывать новые версии перед обновлением, то есть использовать второй Carbon Reductor как staging-сервер, а на основном отключить автоматическое обновление.
Снижение вероятности пропуска фильтрации из-за потери пакета (как анализируемого трафика, так и редиректов/разрывов) в сети провайдера (одновременно потерять два пакета — куда сложнее чем один).
Снижение вероятности пропуска фильтрации из-за выхода из строя аппаратной части.
Снижение вероятности пропуска фильтрации из-за плавающих проблем в программном обеспечении. Kernel panic, soft-lockup, повисания сети во время применения изменений настроек сети при большом числе VLAN, неисправная сетевая карта/рейд-контроллер и т.д.
Возможность спокойно проводить техническое обслуживание сервера с рестартом сети или перезагрузками (замена оборудования, обновления ядра Linux, установки параметров драйверам сетевых карт и других экспериментов).
Для пользователей 7-й версии возможность ознакомиться с 8-й версией до массового перехода.

Как активировать резервный редуктор:

Скачайте с сайта Carbon Reductor.
Установите на отдельный сервер.
Протестируйте в режиме пробной версии.
Отправьте регистрационный номер резервного редуктора на почту sales@carbonsoft.ru c пометкой «Активация резервного Carbon Reductor».
Активация пройдет в течение суток.

Успехов и процветания! Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости, Полезное | Дата: 2017-03-02

Релиз Carbon Reductor 7.5.1 100

Доброго времени суток!

Продолжаем оптимизировать работу Carbon Reductor под новые реалии контроля фильтрации трафика со стороны РКН. Повышена стабильность выгрузки списков, а фильтрация стала еще лучше.

Самое важное

SNI-фильтрация стала значительно надёжнее в большинстве установок, связано с нюансами трафика в зеркале. Возможен незначительный рост (2-10%) нагрузки на сервер.

Исправлена ошибка с неснимающимся режимом обслуживания на старых выпусках CentOS (6.6 и младше).

Улучшена производительность резолвера в работе со списками.

Повышена надёжность обновления Carbon Reductor

Улучшена стабильность системы обновления. Добавлена дополнительная проверка в момент запуска обновления на случай если скачались некорректные данные. Ранее в случае ответа с ошибкой всегда запускалось скачивание и при обновлении это могло привести к неработоспособности редуктора. Также обновление самого Carbon Reductor теперь нельзя запустить дважды (спасает при запуске ручного обновления во время автоматического обновления).

Работа со списками

Стали более отказоустойчивыми выгрузка реестра и обновление сигнатур. Обновление списков и загрузка URL/доменов/IP в ядро тоже подверглась улучшениям в плане надёжности и понятности. Логируется статистика модуля до загрузки URL и после.

Другое

Унифицировано логирование во многих подсистемах: файрвол, обновление сигнатур, режим обслуживания, загрузка URL. Позволит быстрее находить причину сбоев в работе.
Мастер настройки зеркала трафика и часть других скриптов теперь поддерживают устройства, именуемые не «eth».
Унифицирована система тестирования. Наведён порядок в тестовой инфраструктуре, не касается конечных пользователей напрямую, но это делает Carbon Reductor более защищённым от ошибок разработчиков.
Улучшена работа Carbon Reductor в режиме только редиректора для неавторизованных/заблокированных/неплатящих абонентов без каких-либо списков вообще. Также для неавторизованных пользователей не полностью фильтровался HTTPS-трафик — исправлено.
В веб-интерфейсе в разделе «Информация» теперь выводится информация о файле запроса и его подписи при отсутствии сертификата.
Mikrotik периодически отдаёт пустой ответ при запросе списка IP адресов, не отдавая никакого кода возврата. Теперь это учитывается в примере хука для интеграции с маршрутизатором.
Утилита для поиска по кэшу резолва запрещенных доменов теперь умеет искать как домены по IP, так и IP по домену — используется для ресурсов, которые часто меняют IP-адрес.
Обновлён плагин для collectd (`/usr/local/Reductor/bin/collectd_plugin`), теперь он соответствует новому формату собираемой по модулям ядра статистики.
Исправлено несколько опечаток в диагностике и веб-интерфейсе.

Спасибо, что пользуетесь Carbon Reductor!

Рубрика: Carbon Reductor DPI, Новости | Дата: 2017-02-09