ПРИНЦИП ДАЛЬНОЇ І БЛИЗЬКОЇ ДІЇ В ЗАДАЧАХ СТРУКТУРИЗАЦІЇ ТА НАВЧАННЯ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ - ОДЕГОВ, МИКОЛА; БАГАЧУК, ДЕНИС; ПЕРЕКРЕСТОВ, ІГОР; ПЕТРОВИЧ, ЯННА (Herald of Khmelnytskyi National University. Technical sciences, 2024)
У даній роботі виконується порівняльний аналіз трьох алгоритмів кластеризації за критеріями точності та швидкості. Базовим алгоритмом для порівняння обрано відомий алгоритм k-means, який за визначеними критеріями порівнюється з алгоритмом штучних нейронних мереж, які побудовані за принципом далекодії-близькодії (ПДБ-мережі) та гібридним алгоритмом, котрий включає як операції ПДБ-мереж, так і операції k-means.Основною ідеєю ПДБ-мереж є заміна гіперпараметрів на параметри мережі. А саме, замість навчання великої кількості елементів перехідних матриць зв’язків між сусідніми шарами мережі навчається значно менша кількість нейронів, точніше – функцій активації нейронів. Такі функції активації мають мати не менше одного параметру, що підлягає навчанню. У даній роботі в якості таких функцій пропонується використовувати параметричний сигмоїд з одним лише вільним параметром – коефіцієнтом нелінійності.Гібридний алгоритм передбачає використання ПДБ-мережі для нелінійної проекції первинних зразків із фактор-простору великої розмірності у фактор-простір з меншою кількістю координат. Далі в новому, стислому, просторі задача кластеризації вирішується за допомогою відомого алгоритму k-means.Алгоритми порівнювались на прикладі 50000 зразків із відомого набору рукописних цифр MNIST. Кількість кластерів в усіх випадках була фіксованою: 1000 кластерів.В результаті випробувань алгоритмів при різних значеннях гіперпараметрів встановлено, що алгоритми ПДБ-мереж завжди перевищують інші алгоритми за критерієм швидкості та у найкращих варіантах дають дуже прийнятні результати за критеріями точності. Втім, найкращі результати показав гібридний алгоритм, якій не дуже сильно відстає від ПДБ-мереж за показником швидкості, але переважає всі інші алгоритми за критеріями точності. Так у найкращому варіанті результат валідації цього алгоритму дає 98,8% вірних рішень задачі кластеризації.
Keywords: штучні нейронні мережі; принцип далекодії-близькодії; навчання без вчителя; нелінійні згорткові мережі; параметричний сигмоїд; алгоритм k-means