ETL-круг Громова - исследование российских ETL-решений и open-source инструментов для обработки данных

В исследовании рассматриваются текущее состояние и ключевые тренды развития ETL-решений для корпоративного сектора в России. Особое внимание уделяется анализу функциональных возможностей, производительности и технологических особенностей отечественных решений. Проведено детальное сравнение ETL-систем на основе более чем 200 критериев. Отдельный раздел посвящен анализу открытого программного обеспечения (open-source) и сравнению его с проприетарными продуктами. Приведены рекомендации по выбору оптимальной платформы с учетом специфики бизнеса. Исследование предназначено для руководителей, принимающих решения о внедрении ETL, аналитиков, инженеров данных и всех, кто интересуется развитием данного рынка в России. Оно может быть использовано как практическое руководство для выбора ETL-системы, а также как источник информации о современных тенденциях и перспективах развития отрасли. 

Data Catalog круг Громова - исследование отечественных и зарубежных коммерческих и open-source каталогов данных

Исследование представляет собой комплексный обзор рынка систем каталогизации и управления метаданными (дата-каталогов) в России и за рубежом.

В отчете подробно рассматриваются:

• Развитие и текущее состояние рынка дата-каталогов.
• Ключевые тенденции и перспективы развития решений в этой области.
• Функциональные возможности ведущих российских и зарубежных дата-каталогов, включая:
  • Автоматическую каталогизацию метаданных из различных источников
  • Инструменты управления данными (data governance)
  • Средства оценки качества данных и профилирования
  • И другие компоненты
• Детальное описание и технические характеристики российских решений.
• Сравнительный анализ функционала и возможностей дата-каталогов по критическим аспектам, включая автоматизацию, управление данными, контроль качества.

Исследование ориентировано на лиц, ответственных за принятие решений о внедрении дата-каталогов, специалистов по Data Governance, а также других заинтересованных лиц.

Оно может использоваться как источник исчерпывающей информации о современном рынке дата-каталогов, для сравнения альтернативных решений или в качестве справочника по продуктам в данной области.

IBP круг Громова

В исследовании проведен анализ российских разработчиков программного обеспечения для интегрированного бизнес-планирования (IBP) и управления цепями поставок (SCP/SCM). Рассмотрены ключевые тренды и перспективы развития отечественных IBP/SCP-продуктов. Продемонстрированы основные сценарии применения российских систем планирования в корпоративном сегменте.

Российские IBP/SCP-решения проанализированы на соответствие требованиям enterprise-пользователей по таким критериям как: функциональные возможности, удобство развертывания, интеграция с учетными системами, масштабируемость, наличие необходимых сертификатов. В исследовании выявлены сильные и слабые стороны решений по следующим ключевым блокам:

• Прогнозирование спроса: методы и алгоритмы прогнозирования, сценарный анализ, план-фактный анализ.
• Планирование запасов и закупок: автоматическое формирование заказов поставщикам, управление страховыми запасами, учет ограничений по срокам и партиям поставок.
• Планирование производства: учет ресурсных ограничений, балансировка загрузки мощностей, расчет производственных расписаний.
• Планирование распределения: анализ транспортной логистики, оптимизация размещения запасов по звеньям сети, управление межскладскими перемещениями.
• Финансовое планирование: расчет себестоимости, план-фактный анализ в разрезе финпоказателей, моделирование P&L и cash flow.
• И другие важные аспекты функциональности, производительности и практической применимости IBP/SCP-систем.

Cloud круг Громова

В исследовании проведен анализ российских провайдеров облачных сервисов. Рассмотрены ключевые тренды и перспективы развития отечественных облачных платформ. Продемонстрированы основные сценарии применения российских облачных сервисов в корпоративном сегменте.

Российские облачные платформы проанализированы на соответствие требованиям enterprise-пользователей по таким критериям как: удобство развертывания, управления и мониторинга, обеспечение безопасности данных, масштабируемость, наличие необходимых сертификатов. В исследовании выявлены сильные и слабые стороны облачных платформ по следующим ключевым блокам:

• Модели развертывания: поддержка публичного, частного и гибридного облака, возможности кастомизации и интеграции.
• Вычислительные ресурсы: виртуальные машины, контейнеры, серверы, кластеры, балансировка нагрузки, авто-масштабирование.
• Хранение данных: блочное и объектное хранилище, базы данных, CDN, резервное копирование и восстановление.
• Сеть и безопасность: виртуальные сети, подключения к ЦОД, брандмауэры, шифрование, контроль доступа, мониторинг безопасности.
• Управление и DevOps: веб-консоль, API, CLI, IaC, CI/CD, мониторинг производительности, уведомления.
• И другие важные аспекты функциональности и корпоративных возможностей облачных платформ.

MDM/НСИ круг Громова

В исследовании проведен анализ систем класса MDM (Master Data Management) для централизованного управления и обеспечения качества мастер-данных организации. Рассмотрены ключевые тренды развития MDM-платформ и основные сценарии их применения в корпоративной архитектуре.

MDM-системы проанализированы на соответствие требованиям enterprise-пользователей по таким критериям как: гибкость развертывания (on-premise/SaaS), функциональная полнота, удобство управления и поддержки, безопасность и контроль доступа. В исследовании выявлены сильные и слабые стороны MDM-платформ по следующим ключевым блокам:

• Архитектура и развертывание: front-end и back-end компоненты, on-premise и SaaS модели, требования к инфраструктуре, масштабируемость и отказоустойчивость.
• Управление метаданными: централизованный словарь данных, создание моделей и иерархий данных, наследование атрибутов, поддержка стандартов метаданных.
• Интеграция и качество данных: импорт/экспорт данных, валидация и обогащение данных, обнаружение и обработка дубликатов, определение связей между сущностями, синхронизация данных.
• Безопасность и аудит: ролевая модель доступа, поддержка LDAP/SSO, политики безопасности, шифрование данных, логирование действий, аудит изменений.
• Бизнес-процессы: workflow управления сущностями, статусы данных, процесс согласования изменений, уведомления и задачи для стейкхолдеров.

Дополнительно рассмотрены аспекты поддержки вендора, зрелости продукта, наличия экспертизы на рынке и общая стоимость владения MDM-платформой.

LLM круг Громова

В исследовании рассматриваются текущее состояние и перспективы развития рынка систем, основанных на больших языковых моделях (LLM), в России. Особое внимание уделено практическому применению LLM в различных отраслях экономики, включая анализ примеров внедрения технологий в компаниях и оценку их результатов. Работа содержит рекомендации и идеи для успешной интеграции LLM в бизнес-процессы, что делает её полезной для представителей B2B-сектора, заинтересованных в изучении опыта и практических кейсов использования LLM в корпоративной среде.

1С-коннекторы круг Громова - исследование решений для интеграции с 1С

Проведен анализ отечественных коннекторов и способов для автоматизации выгрузки данных из 1С в аналитические системы. Изучены их функциональные возможности, производительность, надежность и интеграционные возможности.

Основные критерии оценки:

• Функциональность: работа с объектами 1С (справочники, регистры, документы), поддержка трансформации данных, инкрементальная загрузка изменений, совместимость с различными версиями и конфигурациями 1С.
• Интеграция: совместимость с основными СУБД (PostgreSQL, ClickHouse, MS SQL), подключение к BI-системам и промежуточным хранилищам, возможность кастомизации через API.

В исследование даны практические рекомендации для выбора оптимального решения с учетом потребностей бизнеса, объема данных и бюджета. Исследование помогает компаниям выбирать надежные инструменты для интеграции с 1С, минимизируя риски и оптимизируя затраты.

ESB круг Громова — исследование российских и open-source интеграционных шин данных

В исследовании проведён структурированный сравнительный анализ более 20 российских и open-source ESB-платформ для интеграции бизнес-приложений, построения корпоративных DWH и поддержки сквозных процессов. Платформы протестированы по чек-листу из более 200 критериев, охватывающих архитектурные подходы (SOA, EDA, микросервисы), технические возможности, облачные и гибридные сценарии, безопасность, масштабируемость и соответствие российским регуляторным требованиям.

Даны практические рекомендации по выбору и внедрению ESB для различных задач. Выявлены сильные и слабые стороны решений по следующим направлениям:

• Архитектура и масштабируемость: поддержка кластеризации, балансировки, on-premises и облачных развертываний, возможность расширения под задачи DWH и B2B-интеграции.
• Безопасность и соответствие: разграничение доступа, шифрование, аудит, соответствие требованиям законодательства и отраслевых стандартов.
• Интеграционные возможности: широкий набор коннекторов и адаптеров, поддержка протоколов (SOAP, REST, JMS, AMQP, SFTP, API), работа с event streaming и CDC.
• Мониторинг и управляемость: централизованный мониторинг, логирование, трассировка, интеграция с системами наблюдаемости.
• API-менеджмент: публикация и управление API, поддержка авторизации, throttling, документация и аналитику.
• User Experience: удобство интерфейса, визуальное проектирование маршрутов, поддержка low-code/no-code инструментов.
• Лицензирование и поддержка импортозамещения: модели поставки, использование open-source, сертификация, соответствие реестру российского ПО.

Self-Service круг Громова — исследование российских платформ для самостоятельной работы с данными

Self-Service Круг Громова — это исследование нового поколения, посвящённое самостоятельной работе с данными во всем технологическом стеке, а не только на уровне BI. Исторически термин self-service возник именно в бизнес-аналитике: BI был «последней милей» данных, где бизнес-пользователю действительно приходилось напрямую работать с инструментом — строить отчёты, дашборды, проводить анализ без участия ИТ. Поэтому исследования self-service долгое время концентрировались исключительно на BI-платформах и пользовательских интерфейсах визуализации.

Наш подход принципиально шире. Современная работа с данными давно вышла за рамки BI, и реальные ограничения self-service чаще возникают не в визуализации, а на более ранних и более глубоких слоях — при подключении источников, подготовке данных, моделировании, управлении метриками, качестве и доступах. В рамках Self-Service круга Громова мы анализируем, в каких доменах всего data-стека пользователь действительно может действовать самостоятельно, а где self-service остаётся декларацией. Исследование охватывает ingestion, обработку и запросы данных, семантический слой, governance, наблюдаемость, генерацию данных и управляемые СУБД — формируя целостное представление о зрелости self-service подхода в платформах работы с данными и позволяя компаниям осознанно выбирать решения под свои задачи, уровень зрелости и организационную модель.

Возможности self-service оценивались в ключевых доменах работы с данными:

•  BI & визуализация: дашборды, отчёты, интерактивный анализ, экспорт и публикация данных без участия ИТ.
•  Ingestion: визуальные коннекторы к источникам (БД, API, файлы, 1С), загрузка и трансформация данных через drag-and-drop.
•  Query & Processing (OLAP): SQL-движки нового поколения, виртуальные кубы, self-service оптимизация запросов, workload management.
•  Semantic Layer: бизнес-словарь, метрики, вычисляемые поля и KPI, доступные пользователю без знания SQL.
•  Data Governance & Data Literacy: глоссарий, управление качеством, lineage, ролевой доступ и совместная работа.
•  Data Observability: мониторинг процессов и данных, алерты, журнал действий, отслеживание сбоев.
•  Data Generation: синтетические данные, what-if анализ, прогнозирование, сценарное моделирование.
•  СУБД (Managed Service): управляемые облачные хранилища с self-service масштабированием и администрированием.

Data Quality круг Громова — исследование российских решений для управления качеством данных

Подробный анализ российских DQ-систем. Рассмотрены технические характеристики — архитектура, алгоритмы профилирования и очистки, особенности интерфейса. Проанализированы модели лицензирования от разных вендоров. Проанализирован функционал систем и инструменты управления качеством данных. Независимыми экспертами проведено тестирование и оценка систем по чек-листу, включающему более 150 критериев. По результатам выявлены сильные и слабые стороны, определены лидеры рынка. Даны рекомендации по выбору оптимальной платформы с учётом задач и бюджета компании.

Также вендоры оценивались по ключевым критериям, среди них:

• Архитектура и развёртывание: on-premise, облако и гибридные сценарии, контейнеризация (Kubernetes/OpenShift), масштабируемость, отказоустойчивость, поддержка российских ОС (Astra Linux, ALT, РЕД ОС).
• Профилирование и правила качества: статистическое профилирование, семантическое распознавание (ИНН, адрес, телефон), библиотека типовых проверок, визуальный конструктор правил, версионирование.
• Очистка и обогащение: стандартизация ФИО/адресов/телефонов, поиск и объединение дубликатов (fuzzy/ML matching), адресная валидация по ФИАС/КЛАДР, автоматическое исправление по правилам.
• Мониторинг и аналитика: контроль свежести и объёма данных, выявление аномалий, отслеживание изменений схемы, управление инцидентами, дашборды по доменам.
• Интеграции и API: коннекторы к СУБД, lakehouse, Kafka, REST/GraphQL API, интеграция с BI, MDM, Data Catalog, CI/CD-пайплайнами, поддержка lineage (OpenLineage).
• Безопасность и комплаенс: SSO (OIDC/SAML/LDAP), шифрование, маскировка ПДн, row-level security, аудит действий, соответствие 152-ФЗ, интеграция с SIEM.

Clickhouse/Greenplum в облаке

Исследование «ClickHouse/Greenplum в облаках» — это практическое руководство по развёртыванию и эксплуатации этих СУБД в облачных и гибридных средах, включая российские сборки от Arenadata. Мы сравниваем сценарии IaaS, PaaS и BareMetal, разбираем типовые архитектуры (сетевые топологии, объектные хранилища/S3, выбор СХД и вычислительных профилей), вопросы масштабирования и отказоустойчивости, требования к безопасности и соответствию, а также модели затрат. Отдельный блок посвящён облачной экосистеме Arenadata: девять сертифицированных провайдеров (VK Cloud, Cloud.ru, Beeline Cloud, K2 Cloud, T1 Cloud, MWS, O2 Cloud, Selectel, A2 Cloud)

RPA-круг Громова — исследование российских RPA-вендоров, отечественное ПО для роботизации бизнес-процессов

Подробный анализ российских RPA-систем. Рассмотрены технические характеристики — архитектура, используемые технологии, особенности интерфейса. Проанализированы модели лицензирования от разных вендоров. Проанализирован функционал систем и инструменты разработки роботов. Независимыми экспертами проведено тестирование и оценка систем по чек-листу, включающему более 280 критериев. По результатам выявлены сильные и слабые стороны, определены лидеры рынка. Даны рекомендации по выбору оптимальной платформы с учётом задач и бюджета компании.

Также вендоры оценивались по ключевым критериям, среди них:

• Архитектура и развёртывание: типы архитектуры (монолитная, микросервисная), облачные и on-premise версии, масштабируемость, отказоустойчивость (HA/DR), поддержка VDI и контейнеризации.
• Разработка и исполнение: визуальный конструктор и текстовое программирование, attended/unattended роботы, встроенный отладчик, UI-коннекторы для веб, Windows, Java, SAP.
• Интеграции и API: поддержка REST/SOAP, очереди сообщений, event-driven архитектура, интеграция с корпоративными системами и 1С.
• AI и обработка данных: встроенный OCR, NLP, поддержка LLM, Computer Use агенты, Process Mining интеграция.
• Безопасность и комплаенс: шифрование, Credential Vault, интеграция с SIEM, работа в закрытых контурах, соответствие ГОСТ.
• Импортозамещение: наличие в реестре Минцифры, поддержка российских ОС (Astra Linux, РЕД ОС), отечественных СУБД и офисных пакетов.

Process Mining круг Громова — исследование российских систем процессной аналитики

Подробный анализ российских и доступных на рынке РФ систем Process Mining. Рассмотрены технические характеристики — архитектура, алгоритмы обнаружения процессов, возможности визуализации. Проанализированы модели лицензирования от разных вендоров. Проанализирован функционал систем и инструменты аналитики процессов. Независимыми экспертами проведено тестирование и оценка систем по чек-листу, включающему ключевые критерии. По результатам выявлены сильные и слабые стороны, определены лидеры рынка. Даны рекомендации по выбору оптимальной платформы с учётом задач и бюджета компании.

Также вендоры оценивались по ключевым критериям, среди них:

• Подключение данных и ETL: коннекторы к SAP, 1C, Oracle, MS SQL, BI-хранилищам, лог-файлам; поддержка формата event log (case id, activity, timestamp, resource).
• Обнаружение и визуализация: алгоритмы discovery, читаемость диаграмм, variant analysis, conformance checking против нормативных моделей (BPMN/SLA).
• Аналитика и оптимизация: вычисление KPI (lead time, throughput), bottleneck detection, root-cause analysis, сценарии «what-if» и simulation.
• Мониторинг и масштабируемость: поддержка стриминга и alerting в реальном времени, обработка миллионов событий, горизонтальное масштабирование, Big Data.
• Интеграции и экосистема: интеграция с BI, BPM, RPA, ERP; развёртывание SaaS и On-prem.
• Безопасность и локализация: шифрование, соответствие ФЗ-152, локальное хранение данных, поддержка русского языка, готовые шаблоны для банков, телекомов, госструктур.