МЕТОД ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ ОБРОБКИ ETL/ELT ПРОЦЕСІВ НА ОСНОВІ МЕТАДАТА ПАРАМЕТРІВ

Анотація

Статтю присвячено розв’язанню однієї з актуальних проблем сучасної інженерії даних — обмеженої гнучкості та високих витрат на супровід традиційних ETL/ELT-процесів. Основна проблема полягає у тому, що в поширених імперативних підходах логіка перенесення, трансформації та завантаження даних жорстко фіксується безпосередньо у великій кількості SQL-скриптів або програмного коду. Це зумовлює перетворення навіть незначних змін бізнес-вимог на складні інженерні завдання, що потребують внесення модифікацій до коду, проведення повторного тестування та розгортання.

У роботі розроблено та експериментально валідовано метод на основі метаданих, що дає змогу керувати процесами опрацювання даних т реалізує декларативний підхід до їхньої організації. Наукова новизна методу полягає у чіткому розмежуванні логічної конфігурації завдання та механізму його фізичного виконання. На відміну від існуючих підходів, у запропонованому рішенні логіка обробки даних повністю винесена з програмного коду у зовнішній шар метаданих. Цей шар представлено у вигляді системи реляційних таблиць, які декларативно описують параметри завдання: джерело даних приймач та стратегію завантаження (повне перезавантаження, інкрементальне оновлення, заміна секції).

Імперативний рівень виконання реалізовано у вигляді єдиного уніфікованого рушія, який не містить бізнес-логіки. Під час виконання рушій зчитує конфігурацію із таблиць метаданих та динамічно формує SQL-код для конкретного завдання. Такий підхід забезпечує можливість оперативної зміни поведінки пайплайнів — наприклад, переключення з інкрементального режиму на повне завантаження — шляхом модифікації одного запису в таблиці метаданих без необхідності втручання у програмний код чи інфраструктуру.

Запропонований метод має переваги не лише порівняно з традиційними сценаріями ETL, але й із сучасними low-code/no-code платформами (зокрема, Azure Data Factory), які, незважаючи на декларативність, часто обмежують гнучкість та призводять до залежності від конкретного постачальника програмного забезпечення. Експериментальні результати засвідчили, що застосування методу дає змогу скоротити час розроблення та модифікації процесів обробки даних більш ніж на 90% порівняно з традиційними методами. Підтверджено відсутність істотних накладних витрат на продуктивність та досягнення значного зниження сукупної вартості володіння (TCO).

Розроблений метод демонструє практичну реалізацію переходу від імперативної до декларативної парадигми в інженерії даних, забезпечуючи підвищення гнучкості, прозорості, масштабованості та економічної ефективності аналітичних систем.