Дата менеджмент

Дата-менеджмент (Data Management) в платформе — это панель управления загруженными пакетами данных, которая позволяет контролировать консистентность и качество информации в таблицах.

При загрузке данных между разными системами данные делятся на пакеты, где каждый пакет помечается своим уникальным номером Request ID, Batch ID. Внутри одной системы при загрузках трансформационными потоками этот уникальный номер не меняется. По этому уникальному номеру можно точечно управлять загруженными данными, отслеживать статусы загрузок для оперативного контроля целостности данных в цепочке.

Удаление по конкретному Request ID / Batch ID.

Если в процессе загрузки произошел сбой, данные исказились или пришел некорректный пакет от источника, не нужно очищать всю таблицу. Необходимо найти проблемный Request ID в системе управления данными (Data Management) и удалите только этот конкретный пакет. Причем удалять пакеты можно только начиная с последнего. То есть нельзя удалить пакет из середины, потеряется консистентность данных. Но можно удалить сразу несколько пакетов "сверху". Для удаления одного или нескольких пакетов, необходимо перейти в панель Дата менеджмент, далее загрузить таблицу с метаданными пакетов, выделить пакеты в таблице и нажать кнопку Удалить.

Удаление всей таблицы.

В случаях, когда логика трансформации полностью изменилась, произошел глобальный сбой или требуется полный пересчет исторический данных, вы можете очистить целевую таблицу целиком (Truncate) и запустить цепочку потоков заново с самого начала. Для удаления всех данных из таблицы, необходимо перейти в панель Дата менеджмент, далее загрузить таблицу с метаданными пакетов, не выделять какие-либо пакеты в таблице и нажать кнопку Удалить.