ОЦІНКА АДЕКВАТНОСТІ КОНТЕНТУ ЗА КОНТЕКСТОМ МЕТОДАМИ АНСАМБЛІВ МОДЕЛЕЙ BERT

Анотація

Розроблений у роботі ансамбль моделей машинного навчання для аналізу емоційності новин натренований на різних контекстах та незалежних наборах даних. Здійснено голосування по кожній моделі з ансамблю за особистий варіант правди згідно з локальним контекстом тієї моделі. Розроблено бінарний класифікатор адекватності/нормальності повідомлень  на базі технології ансамблів. Можна спостерігати вибраний нами набір методів, які є оптимальними за параметрами часу виконання, часу тренування, обсягом оперативної пам'яті  та відповідно точністю. Зокрема це такі методи, як Catboost XGBoost для класифікації та екстракції особливостей та контексту було обрано BERT та його підвид RoBERTa. Аналіз результатів показав, що точність алгоритму коливається від 80% до 85 % в ансамблі та від 65% до 93% окремими методами за окремими наборами даних.