Builder Extract Load Transform

Belt — визуальная SQL-first ELT платформа для проектирования, запуска и мониторинга data pipelines.

Платформа создавалась, чтобы убрать рутину из реализации типовых паттернов загрузки данных и при этом сохранить гибкость. Цель платформы — максимально ускорить и упростить создание потоков загрузки данных, а также дать аналитикам возможность собирать pipelines без программирования и работы с серверной командной строкой. Убрать гэп, когда аналитики ждут данные от инженеров данных.

Belt — это не просто executor и не классический оркестратор, который запускает набор заранее написанных скриптов. В основе платформы лежит структурированная модель: подключения, потоки, ноды, SQL-запросы, связи между ними, режимы загрузки. Каждый загруженный пакет данных также получает технические метки, которые позволяют отслеживать его происхождение и управлять результатами загрузки.

Благодаря этому Belt не только выполняет загрузку данных, но и хранит расширенную информацию о самом процессе. Платформа знает, откуда берутся данные, через какие потоки и цели они проходят, куда загружаются и каким режимом, какие объекты связаны между собой. Это позволяет показывать lineage, контролировать выполнение, анализировать историю запусков, управлять загруженными batch/request-данными и автоматически формировать документацию по существующим pipelines.

Главная идея Belt — превратить загрузку данных из набора разрозненных скриптов и инструментов в управляемую визуальную модель, которую можно проектировать, запускать, анализировать, документировать и сопровождать в одном окне.

Эта документация описывает текущую живую версию Belt.