ГЕНЕРАЦІЯ СУПУТНИКОВИХ ЗОБРАЖЕНЬ НА ОСНОВІ ТЕКСТУ ЗА ДОПОМОГОЮ НЕЙРОННОЇ МЕРЕЖІ GAN ПОЄДНАНОЇ З ТРАНСФОРМЕРОМ SBERT

Анотація

Генерація супутникових зображень є складним завданням, яке передбачає не лише опрацювання великих обсягів даних, а й потребує аналізу додаткових факторів, які впливають на якість та деталізацію зображення, зокрема географічної різноманітності, діяльності людей, змін пір року, погоди тощо. Використання GAN мереж дозволяє враховувати ці аспекти та моделювати багаторівневі складні супутникові фотознімки. Актуальність дослідження полягає в аналізі того, як використання GAN мереж у поєднанні із сучасними мовними моделями впливає на різноманітність, деталізацію та відповідність згенерованих супутникових зображень до реальних даних. Це особливо  важливо у завданнях моніторингу, геопросторового аналізу, міського планування, адже допомагає швидко отримувати наближені до реальних високоякісні зображення відсутніх чи складних для збору ділянок територій та  розширювати тренувальні вибірки для інших моделей.

Головна мета цієї статті – розробка та експериментальна перевірка точності GAN моделей із кодувальником тексту на основі SBERT, оцінка керованості моделей та перевірка того, наскільки використання цього підходу дозволяє правильно опрацьовувати семантичну інформацію із текстових описів та перетворювати її в реалістичні зображення. Отримані результати показують, що модифікації згорткових GAN мереж (DCGAN та WGAN-GP) у поєднанні із SBERT здатні із великою точністю перетворювати текстові дані в супутникові зображення. Визначено, що збільшення кількості епох під час навчання є критично важливим, адже супутникові зображення вирізняються значною складністю та різноманітністю, а текстові описи – варіативністю стилів і контекстів. Запропонований метод інтеграції кодувальника на основі SBERT є універсальним  рішенням, яке можна використовувати для навчання різних типів GAN моделей.