МЕТОД ВИЯВЛЕННЯ ДРЕЙФУ ТЕКСТОВИХ ДАНИХ В МОВНИХ МОДЕЛЯХ

Анотація

У сучасному світі активного застосування штучного інтелекту (ШІ) у різних областях життєдіяльності виникає потреба в адаптації та постійному оновленні інтелектуальних систем, зокрема мовних моделей, до змінних умов та вимог реального світу. Важливу роль у цьому процесі відіграють системи MLOps, які забезпечують ефективне впровадження, моніторинг, та неперервне оновлення ШІ-систем з метою підтримки їх високої точності та адекватності до поточного контексту використання. Одним з ключових аспектів ефективності мовних моделей та назагал технологій обробки природної мови є здатність своєчасно виявляти зміни в середовищі, в якому оперують створені моделі, тобто зміна характеру даних, що поступають на вхід, та як це середовище відрізніється від того, на якому модель була натренована. Це задача виявлення дрейфу даних – змін у розподілах даних, якими оперують моделі, що може суттєво вплинути на їх продуктивність.

В статті проведено аналіз найбільших типових методів та алгоритмів виявлення дрейфу даних в текстових словах для оцінки поведінки мовних моделей. Проведено ряд експериментів з виявлення дрейфу даних у словах, обчислено дрейф, запропоновано новий метод та проведено порівняння результатів за допомогою додаткових метрик та здійснено візуальну їх оцінку.

Результати застосування методів демонструють доцільність їх використання для виявлення дрейфу, чутливість та реакцію на відсутність змін. Найбільш базові метрики визначення відстані між усередненими вкладеннями та слів, а також деякі методи з застосування кластеризації продемонстрували найточніші результати. Виявлення дрейфу в текстових даних може бути ефективно реалізовано за допомогою вкладень слів, що відображають внутрішнє представлення слів в мовних моделях, а також дозволяють якісно оцінити зміни їх семантики та контексту.