ПОРІВНЯЛЬНЕ ДОСЛІДЖЕННЯ МЕТОДІВ МАШИННОГО НАВЧАННЯ ДЛЯ ПОТОКОВОЇ ОБРОБКИ ДАНИХ

Анотація

Дослідження процесу аналізу потокових даних виявило, що класичні методи машинного навчання не справляються з обсягом, швидкістю та нелінійністю сучасних Big Data потоків. Головний результат – розроблення розподіленого пайплайну з архітектурою Feature Store, що дає змогу алгоритмам градієнтного бустингу досягти вищої прогностичної ефективності (R² до 0,9998). На прикладі 1,33 млн записів, агрегованих для 100 пар, показано, що Feature Store із часовою стратифікованою вибіркою забезпечує зменшення обсягу даних у 5,7 разів та економію пам'яті близько 82%. Продемонстровано, що для високошвидкісних фінансових потоків комбінація ефективної агрегації даних та передових ансамблевих методів (LightGBM/XGBoost) є найкращою стратегією для забезпечення точності та обчислювальної ефективності.