ПРИНЦИП ДАЛЬНОЇ І БЛИЗЬКОЇ ДІЇ В ЗАДАЧАХ СТРУКТУРИЗАЦІЇ ТА НАВЧАННЯ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ

Анотація

У даній роботі виконується порівняльний аналіз трьох алгоритмів кластеризації за критеріями точності та швидкості. Базовим алгоритмом для порівняння обрано відомий алгоритм k-means, який за визначеними критеріями порівнюється з алгоритмом штучних нейронних мереж, які побудовані за принципом далекодії-близькодії (ПДБ-мережі) та гібридним алгоритмом, котрий включає як операції ПДБ-мереж, так і операції k-means.

Основною ідеєю ПДБ-мереж є заміна гіперпараметрів на параметри мережі. А саме, замість навчання великої кількості елементів перехідних матриць зв’язків між сусідніми шарами мережі навчається значно менша кількість нейронів, точніше – функцій активації нейронів. Такі функції активації мають мати не менше одного параметру, що підлягає навчанню. У даній роботі в якості таких функцій пропонується використовувати параметричний сигмоїд з одним лише вільним параметром – коефіцієнтом нелінійності.

Гібридний алгоритм передбачає використання ПДБ-мережі для нелінійної проекції первинних зразків із фактор-простору великої розмірності у фактор-простір з меншою кількістю координат. Далі в новому, стислому, просторі задача кластеризації вирішується за допомогою відомого алгоритму k-means.

Алгоритми порівнювались на прикладі 50000 зразків із відомого набору рукописних цифр MNIST. Кількість кластерів в усіх випадках була фіксованою: 1000 кластерів.

В результаті випробувань алгоритмів при різних значеннях гіперпараметрів встановлено, що алгоритми ПДБ-мереж завжди перевищують інші алгоритми за критерієм швидкості та у найкращих варіантах дають дуже прийнятні результати за критеріями точності. Втім, найкращі результати показав гібридний алгоритм, якій не дуже сильно відстає від ПДБ-мереж за показником швидкості, але переважає всі інші алгоритми за критеріями точності. Так у найкращому варіанті результат валідації цього алгоритму дає 98,8% вірних рішень задачі кластеризації.