Trino и Hive Metastore
| Trino | |
|---|---|
| Чарт | registry.trisigma.io/trisigma/charts/trisigma-trino:0.1.0 |
| Образ | registry.trisigma.io/trisigma/images/avito-trino-base:461.15.0-trisigma.1 |
| Hive Metastore | |
|---|---|
| Чарт | registry.trisigma.io/trisigma/charts/trisigma-hive-metastore:0.1.0 |
| Образ | registry.trisigma.io/trisigma/images/hive-metastore:3.1.3-11 |
Trino — распределённый SQL-движок для аналитики. Hive Metastore — каталог метаданных для Iceberg/Hive таблиц. Оба устанавливаются в один namespace.
Назначение
Trino — SQL-движок аналитики платформы. Считает результаты A/B-экспериментов из данных в Iceberg/S3 и ClickHouse, выполняет ETL-загрузки в ClickHouse.
Hive Metastore хранит метаданные Iceberg/Hive-таблиц (схемы, партиции, расположение в S3) и предоставляет их Trino через Thrift-протокол.
Каталоги
Trino подключается к источникам данных через каталоги:
| Каталог | Тип |
|---|---|
trisigma | Iceberg |
trisigma_hive | Hive |
trisigma_clickhouse | ClickHouse (JDBC) |
Деплой
Для установки каждого чарта необходимо заполнить файл с параметрами values-trisigma.yaml.
values.yaml содержит значения по умолчанию — не изменяйте его напрямую, а переопределяйте нужные параметры в отдельных файлах.
Hive Metastore
Параметры приложения · Hive Metastore
Хранятся в values-trisigma.yaml. Создайте файл из примера: cp values-trisigma.yaml.example values-trisigma.yaml.
Образ сервиса
| Параметр | Описание |
|---|---|
image.repository | Образ сервиса в Container registry |
image.tag | Тег образа сервиса в Container registry |
registry.trisigma.io напрямуюОбразы необходимо предварительно зеркалировать в ваш собственный Container Registry.
PostgreSQL
| Параметр | Описание |
|---|---|
postgresql.host | Хостнейм для подключения к PostgreSQL |
postgresql.port | Порт для подключения к PostgreSQL |
postgresql.database | Название БД, к которой подключается сервис |
postgresql.user | Учетная запись для подключения к PostgreSQL |