Каталог метаданных для Data Lakehouse платформ
CedrusData Catalog — это высокопроизводительный технический каталог, предназначенный для поддержки современных платформ уровня Lakehouse и обеспечения оптимальной работы с Apache Iceberg
Основные риски при использовании западных решений
1.
Зарубежные каталоги данных не совместимы с локальной инфраструктурой
Популярные решения Apache Polaris (Snowflake), Unity Catalog (Databricks) и Nessie (Dremio) разрабатывались под облачную экосистему и не поддерживают привычные для российского рынка среды — HDFS, on-prem S3, LDAP-авторизацию и другие внутренние сервисы предприятий
2.
Отсутствие поддержки со стороны международных open source сообществ
Мэйнтейнеры крупнейших open source проектов всё чаще отказываются сотрудничать с российскими компаниями, что делает развитие и поддержку таких решений нестабильными и рискованными для бизнеса
CedrusData Catalog — Iceberg REST каталог для российского рынка
Локально адаптированная разработка
Каталог CedrusData Catalog создан с нуля с учётом специфики российского рынка, корпоративных стандартов безопасности и требований локальных заказчиков
Полная совместимость
с отечественной инфраструктурой
CedrusData Catalog полностью интегрируется с on-premises и частными облаками, поддерживает российские S3-решения
Технологичность и production-ready
Продукт быстро дорабатывается под актуальные потребности наших клиентов и просто пользователей, а также под современные тенденции рынка. Дефекты устраняются в кратчайшие сроки
Свободная лицензия и независимость
CedrusData Catalog распространяется бесплатно и с открытой лицензией, что исключает ограничения и риски, связанные с внешней поддержкой
Преимущества CedrusData Catalog
Легковесная архитектура, минимальная нагрузка на БД метаданных
Поддержка операций обслуживания таблиц Iceberg
Оперативные релизы по последним обновлениям Iceberg REST API
Pluggable-архитектура для масштабирования
Авторизация доступа к данным по RBAC и DAC
Удобный Web UI для управления и конфигурирования
Ускорение запросов за счет сохранения истории статистик
Интеграция с LDAP для централизованного управления доступом
Технологичность и высокая производительность
Преимущества CedrusData Catalog
Легковесная архитектура, минимальная нагрузка на БД метаданных
Поддержка операций обслуживания таблиц Iceberg
Оперативные релизы по последним обновлениям Iceberg REST API
Pluggable-архитектура для масштабирования
Авторизация доступа к данным по RBAC и DAC
Удобный Web UI для управления и конфигурирования
Ускорение запросов за счет сохранения истории статистик
Интеграция с LDAP для централизованного управления доступом
Технологичность и высокая производительность
Hive
Metastore
CedrusData
Catalog
Громоздкая архитектура
Ориентирован на Hadoop
Легковесное решение
Легко интегрируется в любые дата-инфраструктуры
Медленное развитие
Отсутствие поддержки Iceberg REST API
Оперативные обновления
поддержка последних функций и спецификаций Iceberg
Проблемы производитель-
ности
Высокая нагрузка на базу данных при большом количестве таблиц
Кеширующий движок
Минимальная нагрузка и быстрая работа с десятками тысяч таблиц
Сложности совместимости
с российскими S3 и корпоративными стандартами безопасности
Гарантированная совместимость
с отечественными облачными и on-prem хранилищами, поддержка корпоративных политик
Нет технической поддержки
Сложно дорабатывать и интегрировать
Оперативная поддержка
Быстрая реализация требований пользователей и устранение дефектов
Устаревшие интерфейсы
Отсутствие WEB UI и CLA и удобных инструментов администрирования
Современные Web UI, CLA, REST API
Для управления, обслуживания и мониторинга
Не поддерживает расширения
Сложное наращивание функционала
Pluggable-архитектура
Быстрая интеграция новых функций и расширение экосистемы
Громоздкая архитектура
Ориентирован на Hadoop
Легковесное решение
Легко интегрируется в любые дата-инфраструктуры
Медленное развитие
Отсутствие поддержки Iceberg REST API
Оперативные обновления
Поддержка последних функций и спецификаций Iceberg
Проблемы производительности
Высокая нагрузка на базу данных при большом количестве таблиц
Кеширующий движок
Минимальная нагрузка и быстрая работа с десятками тысяч таблиц
Сложности совместимости
С российскими S3 и корпоративными стандартами безопасности
Гарантированная совместимость
С отечественными облачными и on-prem хранилищами, поддержка корпоративных политик
Нет технической поддержки
Сложно дорабатывать и интегрировать
Оперативная поддержка
Быстрая реализация требований пользователей и устранение дефектов
Устаревшие интерфейсы
Отсутствие WEB UI и CLA и удобных инструментов администрирования
Современные Web UI, CLA, REST API
Для управления, обслуживания и мониторинга. Изменения конфигурации в runtime
Не поддерживает расширения
Сложное наращивание функционала
Pluggable-архитектура
Быстрая интеграция новых функций и расширение экосистемы
Почему CedrusData
На основе open source
Trino, Spark, Iceberg, Flink
Российская разработка
В реестре Отечественного ПО
Платформа Big Data
Для проектов от десятков терабайт до сотен петабайт
Гибкость и открытость
Открытые форматы и протоколы; расширяемая архитектура; облако/on-premise
На основе open source
Trino, Spark, Iceberg, Flink
Российская разработка
В реестре Отечественного ПО
Платформа Big Data
Для проектов от десятков терабайт до сотен петабайт
Гибкость и открытость
Открытые форматы и протоколы; расширяемая архитектура; облако/on-premise
Сообщество инженеров
Крупнейшие русскоязычные комьюнити Trino и Apache Iceberg: помощь по сложным вопросам, обмен опытом и поддержка
Частые вопросы
CedrusData Catalog предназначен для поиска, каталогизации и управления метаданными?
Нет, CedrusData Catalog не является бизнес или корпоративным каталогом данных, это технический каталог (метастор) для поддержки работы Lakehouse/Data Lake c форматом Iceberg через REST API. Кроме этого он включает дополнительные возможности: Catalog WEB UI, поддержка контроля доступа (RBAC), управление пользователями и группами доступа, управление обслуживанием таблиц Iceberg, навигатор объектов и пр.
Можно ли скачать и самостоятельно протестировать работу с CedrusData Catalog?
Да, CedrusData Catalog распространяется бесплатно. Вы можете скачать его на нашем сайте. Развернуть продукт достаточно просто, можно использовать готовый docker-образ или дистрибутив. Для работы с небольшими датасетами потребуется не более 4 GB RAM. Более подробно как развернуть и настроить CedrusData Catalog, смотрите в руководстве по развертыванию.
Является ли CedrusData Catalog заменой Hive Metastore?
Не совсем, CedrusData Catalog может выступать заменой Hive Metastore, если речь идет про работу с Iceberg. Но CedrusData Catalog не имплементирует Hive Metastore Thrift API, и не заменяет Hive в остальных сценариях.
В чем отличия CedrusData Catalog от Hive Metastore?
Помимо поддержки работы с Iceberg, CedrusData Catalog реализует дополнительные функции, недоступные в Hive Metastore: Catalog WEB UI, поддержка контроля доступа (RBAC), управление пользователями и группами доступа, управление обслуживанием таблиц Iceberg, навигатор объектов, pluggable-архитектура, глобальный time travel, и пр.
Можно ли использовать CedrusData Catalog с Trino и другими движками (Spark, Flink, PyIceberg и т.д.)?
Да, CedrusData Catalog имплементирует Iceberg Catalog REST API, как следствие может работать с любыми движками, поддерживающими Iceberg REST.
Какая у вас модель лицензирования? Есть ли поддержка? Открыт ли исходный код?
CedrusData Catalog распространяется бесплатно. Исходный код является закрытым. По каждому продукту CedrusData доступна техническая поддержка.
Остались вопросы?
Запросите консультацию или демонстрацию применительно к вашим задачам. Стоимость продуктов рассчитывается индивидуально и зависит от параметров системы.