Builder Extract Load Transform

Belt — визуальная SQL-first ETLT платформа для проектирования, запуска и мониторинга data pipelines.

Платформа создавалась, чтобы убрать рутину из реализации типовых паттернов загрузки данных и при этом сохранить гибкость. Цель платформы — максимально ускорить и упростить создание потоков загрузки данных, а также дать аналитикам возможность собирать pipelines без программирования и работы с серверной командной строкой. Убрать гэп, когда аналитики ждут данные от инженеров.

Belt — это не просто executor и не классический оркестратор, который запускает набор заранее написанных скриптов. В основе платформы лежит модель объектов: подключения, потоки, ноды, SQL-трансформации, связи между ними, режимы загрузки. Каждый загруженный пакет данных также получает технические метки, которые позволяют отслеживать его происхождение и управлять результатами загрузки. Трансформации аналитики пишут на нативном SQL источника или приемника.

Благодаря этому Belt не только выполняет загрузку данных, но и хранит расширенную информацию о самом процессе. Платформа знает, откуда берутся данные, через какие слои и цели они проходят, куда загружаются и каким режимом, какие объекты связаны между собой. Это позволяет видеть lineage, контролировать выполнение, анализировать историю движения данных, управлять загруженными пакетами и автоматически формировать документацию. При этом сами бизнес данные платформа не хранит.

Belt превращает, по крайней мере мы так думаем, загрузку данных из набора разрозненных скриптов и инструментов в управляемые визуальные модели одного окна. В то же время платформа сохраняет гибкость.

Для бизнеса выйгрыш во времени разработки очередного потока со снижением трудозатрат.

Эта документация описывает текущую живую версию Belt.