ТЕХНОЛОГІЯ АУДІОГЕНЕРАЦІЇ СИСТЕМИ СИНТЕЗУ ТА АНАЛІЗУ МУЗИЧНИХ КОМПОЗИЦІЙ

Анотація

Розглянуто технологію та способи аудіогенерації в системі синтезу та аналізу музичних композицій. Серед них є функціонал награвання музичних композицій за допомогою голосу. Крім того, вхідні дані можуть бути використані як шаблон, на основі якого буде згенеровано подібну музичну композицію. Редагування відбувається за допомогою використання двовимірної площини, що визначає залежність висоти ноти від часу і має вигляд секвенсера. Для реалізації аудіосинтезу на основі шаблону використовується архітектура глибинного навчання з варіаційним аудіокодувальником, що дозволяє тренувати нейронну мережу й відтворювати дані, схожі до вхідних. Під час використання такого підходу важливим кроком є перетворення вхідних даних, які подані у вигляді необробленого аудіоформату, в спектрограму, що є зображенням, на основі якого відбувається процес тренування нейронної мережі та аудіогенерація. В результаті операцій створення музичних композицій користувач додатково може використовувати режим ручного редагування для отримання бажаної вихідної музичної композиції.