ПОРІВНЯЛЬНИЙ АНАЛІЗ НАВЧАННЯ МОДЕЛЕЙ НА ЖОРСТКИХ МІТКАХ З НАВЧАННЯМ ЧЕРЕЗ ДИСТИЛЯЦІЮ ЗНАНЬ ДЛЯ ЗАДАЧ КЛАСИФІКАЦІЇ ЗОБРАЖЕНЬ В УМОВАХ ОБМЕЖЕНИХ ОБЧИСЛЮВАЛЬНИХ РЕСУРСІВ

Анотація

У цій роботі представлено порівняльний аналіз двох підходів до навчання моделей штучних нейронних мереж для задач класифікації зображень: традиційного навчання на жорстких мітках і дистиляції знань, яка використовує м’які ймовірнісні виходи попередньо навченої моделі-вчителя для спрямування процесу навчання меншої мережі-учня. Метою дослідження є оцінка відносної ефективності та практичного впливу цих методів у середовищах із обмеженими обчислювальними ресурсами, де зменшення розміру моделі та часу інференсу є критичним без втрати точності прогнозування. У межах експериментальної частини було розроблено та протестовано кілька архітектур мереж. Реалізовано дві схеми передавання знань: дистиляцію від одного вчителя та від ансамблю з десяти незалежно натренованих моделей, що відображає як індивідуальні, так і колективні джерела знань. Усі експерименти проводилися на наборі даних MNIST - стандартному еталоні для розпізнавання рукописних цифр. Основними метриками оцінювання були точність і частота помилок. Кожна конфігурація навчалася та перевірялася десять разів для забезпечення статистичної достовірності результатів і усунення випадкових флуктуацій, пов’язаних з ініціалізацією та оптимізацією моделей. Отримані результати показують, що за протестованих умов дистиляція знань не забезпечила помітного підвищення точності моделей-учнів, а в деяких випадках навіть призвела до незначного зниження результатів порівняно з класичним навчанням на жорстких мітках. Ці висновки свідчать, що хоча дистиляція знань залишається потужною концепцією у великомасштабному глибокому навчанні, її переваги можуть бути обмеженими для простих повнозв’язних архітектур або невеликих наборів даних із низькою варіативністю вхідних даних. Відтак для задач, обмежених апаратними чи енергетичними ресурсами, незалежне навчання на жорстких мітках залишається більш надійною та обчислювально оптимальною стратегією.