Быстрый старт

I. Базовый алгоритм работы

1. Создать подключение.
2. Создать интеграционный поток.
3. В потоке настроить source и target ноды.
4. Запустить поток для проверки.
5. При необходимости создать трансформационный поток.
6. Проверить статус выполнения в мониторинге.
7. Создать цепочку потоков и добавить созданный поток в нее.
8. Запланировать выполнение цепочки.

II. ELT из PostgreSQL

Интеграционный поток

Режим full

Таблица цели должна быть создана заранее и содержать технические колонки tech_request_id, tech_batch_id

tech_request_id timestamptz NOT NULL,
tech_batch_id int2 NOT NULL

1. Создать подключение.
2. Создать новый интеграционный поток.

3. Нода источника:

   • из выпадающего списка выбрать подключение;
   • задать схему и таблицу источника;
   • кнопкой подгрузить поля таблицы - дата контракт;
   • режим оставить full;
   • нажать кнопку Применить;

4. Нода цели:

   • из выпадающего списка выбрать подключение;
   • задать целевые схему и таблицу;
   • нажать кнопку Применить;
5. Сохранить поток.

Поток создан. Далее запустить поток. Или добавить в цепочку и запустить цепочку.

Режим delta

Таблица цели должна быть создана заранее и содержать технические колонки tech_request_id, tech_batch_id

tech_request_id timestamptz NOT NULL,
tech_batch_id int2 NOT NULL

Дополнительные шаги к режиму full.

1. Нода источника:
   • установить режим delta
   • задать delta колонку;
   • задать тип delta колонки;
   • задать таймзону для delta колонки (задается, если у колонки тип без таймзоны);
   • задать начальную дату delta колонки, с которой будут извлекаться данные;
   • задать размер пакета по delta колонке;
   • нажать кнопку Применить;

Трансформационный поток

Данный тип потока в режиме delta грузит данные по пакетам, которые были сформированны на этапе интеграциии. В режиме full каждый запуск потока будет извлекать все пакеты из источника.

Шаги создания потока:

1. Создать новый трансформационный поток.
2. Нода источника:
   • из выпадающего списка выбрать подключение;
   • задать схему и таблицу источника;
   • выбрать режим, как правило delta ;
   • нажать кнопку Применить;

3. Нода трансформации:

   • если не нужна трансформация, прописать простейший SQL SELECT * FROM public.sales WHERE {where_cond_source}
   • нажать кнопку Применить;

4. Нода цели:

   • из выпадающего списка выбрать подключение;
   • задать целевые схему и таблицу;
   • кнопкой подгрузить поля таблицы - дата контракт;
   • задать версию целевой БД;
   • нажать кнопку Применить;
5. Сохранить поток.