АЛГОРИТМИ ОПТИМІЗАЦІЇ ГІПЕРПАРАМЕТРІВ ПДБ-МЕРЕЖ

Анотація

У попередніх роботах було висунуто принцип далекодії-близькодії (ПДБ) для структуризації штучних нейронних мереж. Суть цього принципу полягає у тому, щоб задавати перехідні матриці перетворень між шарами мережі практично як статичні об’єкти з технократичних міркувань: щодалі нейрон наступного шару від нейрону попереднього шару, то менше сигнал з виходу попереднього нейрону впливає на наступний нейрон.

Важливими характеристиками ПДБ-мереж є параметри умовної відстані між послідовними шарами мережі. У роботі пропонується радіальна структура ПДБ-мережі. Доводиться, що якщо кількості нейронів попереднього та наступного шарів є парними числами, то виконуються умови балансу метрик і балансу впливів нейронів попереднього шару на нейрони наступного шару мережі. 

Умовні відстані між шарами ставляться в залежність від кількості нейронів попереднього шару N. Таку залежність принципово можна моделювати будь-якою монотонно зростаючою функцією від числа N. У даній роботі прийнята модель ступеневої функції з показником Q, який і є єдиним гіперпараметром ПДБ-мережі. Виконаний порівняльний аналіз за допомогою ПДБ-мережі та метода К-середніх показує перевагу першого як за показником точності, так і за показником швидкості після навчання.