НАВЧАННЯ ГЕНЕРАТИВНО-ЗМАГАЛЬНИХ МОДЕЛЕЙ ПЕРЕКЛАДУ ЗОБРАЖЕНЬ В УМОВАХ ОБМЕЖЕНОЇ КІЛЬКОСТІ ДАНИХ

Анотація

Сучасний світ відзначається стрімким розвитком інформаційних технологій та широким застосуванням штучного інтелекту у багатьох сферах життя. Однією з ключових областей, де штучний інтелект демонструє вражаючий потенціал, є машинне та глибоке навчання. Зокрема, генеративно-змагальні мережі (GANs) представляють собою потужний інструмент для створення реалістичних зображень, а також для перекладу між різними мовами і модальностями. Найбільш вражаючою є модель CycleGAN, оскільки вона є потужним інструментом для перекладу зображень між різними доменами без необхідності парних даних для навчання. Вона відзначається здатністю до перетворення зображень одного типу в інший з вражаючою точністю, забезпечуючи циклічну консистентність між доменами. Однак, однією з головних обмежень застосування GANs є потреба у великій кількості даних для їх навчання. При навчанні на обмежених даних генеративно-змагальні моделі, такі як CycleGAN, можуть виявляти схильність до надмірної генералізації. Це означає, що модель може намагатися підлаштуватися під обмежену навчальну вибірку занадто сильно, що впливає на її здатність до адаптації до різноманітних вхідних даних.  Модель може не мати достатнього розмаїття для відтворення різних аспектів вихідних зображень, що призводить до втрати деталей та візуальних артефактів у створених зображеннях.  В умовах, коли існує обмежена кількість даних, розробка ефективних методів навчання генеративно-змагальних моделей стає надзвичайно актуальною задачею.  Дана робота присвячена дослідженню та розробці таких методів навчання генеративно-змагальних моделей для вирішення завдань перекладу зображень в умовах обмеженої кількості доступних даних.