ДОСЛІДЖЕННЯ ТОЧНОСТІ МЕТОДІВ МАШИННОГО НАВЧАННЯ ПРИ ПРОГНОЗУВАННІ УСПІШНОСТІ СТУДЕНТІВ

Анотація

В роботі проведено дослідження точності трьох методів машинного навчання у задачі прогнозування успішності студентів на основі даних про їх роботу з навчальними матеріалами. Досліджувались наступні методи машинного навчання: Logistic Regression, SVM, Random Forest. Визначено параметри, що характеризують точність класифікації, а саме: чутливість (Sensitivity), специфічність (Specificity) та збалансовану точність (Balanced Accuracy). За отриманими результатами побудовано графіки ROC-кривої для оцінки здатності класифікатора правильно розпізнавати позитивні класи і відхиляти негативні класи при зміні порогового значення.

Для виконання прогнозування із бази даних електронної системи управління навчанням Moodle були експортовані дані оцінок та відвідуваності користувачів за перший та другий семестр 2021-2022 навчального року. Загальна кількість записів з оцінками та відвідуваністю студентів, експортованих у файли склала 1,308,262. Для обробки даних з файлів було написано додаток у середовищі розробки Microsoft Visual Studio на мові C#. Для обробки колонок таблиць використовувалася бібліотека CsvHelper. Створення моделей для прогнозування виконано у середовищі розробки PyCharm на мові Python із використанням бібліотеки Scikit-learn. Після проведення розрахунків визначено, що метод випадкового лісу найкраще виконує прогнозування успішності на основі наявних вхідних даних і має більшу точність. Отримане значення точності 80% та AUC 73% свідчить про якість моделі класифікації, та гарну дискримінаційну силу моделі. По графіку ROC-кривої для методу випадкового лісу видно, що він має чітко виражену ділянку під кривою яка більше вигнута вгору і вліво, що підтверджує ефективність моделі. Отримані результати можуть бути використані в якості основи для подальших досліджень.