АЛГОРИТМ ОПТИМІЗАЦІЇ ПАРАМЕТРІВ ФУНКЦІЙ АКТИВАЦІЇ ПДБ-МЕРЕЖ

Анотація

Дана робота продовжує дослідження у напрямку розробки швидких алгоритмів вирішення задач кластеризації та класифікації. Розглянуті у попередніх роботах гібридні алгоритми включають обробку вхідних даних за допомогою штучних нейронних мереж, заснованих на принципі далекодії-близькодії (ПДБ-мережі).  Суть цього принципу полягає у тому, щоб задавати перехідні матриці перетворень між шарами мережі практично статичними, а основні операції оптимізації мережі покласти на навчання окремих нейронів.

У даній роботі обґрунтовується алгоритм навчання функцій активації нейронів шарів ПДБ-мережі. У якості таких нелінійних функцій запропоновано параметричний варіант відомої функції ReLu – Relu2. Єдиним параметром функцій Relu2 є коефіцієнт відсічення (скалярний параметр). У роботі доведено, що використання функцій Relu2 підвищує роздільну здатність штучної нейронної мережі. Для порівняння пропонованого методу за критеріями точності та швидкості обрано базовий алгоритм К найближчих сусідів. Прийнятий найпростіший та найшвидший варіант одного найближчого сусіда.

Варіант застосування ПДБ-мережі у даній роботі зводиться до використання двошарової структури з одним вхідним та одним вихідним шаром. Функції активації вихідного шару оптимізуються за показником максимальної середньої відстані перетворених зразків з різних класів. Ці перетворені зразки розподіляються по підкласам (кластерам) у рівній кількості цих кластерів для всіх класів. Класифікація тестового набору відбувається за мінімізацією відстані до центроїдів кластерів, тобто використовується метод К-середніх. Виконаний порівняльний аналіз показує, що використаний в роботі гібридний алгоритм суттєво перевищує алгоритм найближчого сусіда за критерієм швидкості, не поступаючись йому за критерієм точності.