МЕТОД ПОКРАЩЕННЯ ЯКОСТІ ГЕНЕРУВАННЯ ТЕКСТУ ЗА РАХУНОК ПОВТОРНОГО ПЕРЕДАВАННЯ ЗГЕНЕРОВАНОГО ТЕКСТУ НА МОДЕЛЬ
DOI:
https://doi.org/10.31891/2307-5732-2024-331-39Ключові слова:
gpt-4, задача узгодження, генерація тексту, обробка природної мови, задача логічного висновкуАнотація
Зростаюча популярність великих мовних моделей підкреслила потребу їх узгодження із потребами користувача. Задача узгодження є однією із найважливіших підзадач безпеки штучного інтелекту. Деякі дослідники штучного інтелекту стверджують, що у майбутньому ця проблема буде ще більш нагальною, через те, що системи будуть більш потужними і в свою чергу зможуть краще знаходити обхідні шляхи досягнення поставлених перед ними задач. Зараз ці проблеми виникають у комерційних продуктах, повʼязаних із великими мовними моделями, рекомендаційними системами, автономними транспортними засобами тощо.
Задача узгодження систем штучного інтелекту полягає у секровуванні систем до цілей, уподобань, та етичних принципів людини. Система вважається узгодженою, якщо вона досягає намічених цілей, і неузгодженою, якщо вона переслідує певні цілі, які не були заплановані. Проблема узгодження полягає у складності опису універсальної бажаної поведінки, через це розробники таких систем часто описують проміжні спрощені цілі. Прикладом може бути отримання зворотного відгуку від людини. Але такий підхід може створювати лазівки і винагороджувати систему за те, що вона імітує бажану поведінку. Системи можуть навчитись досягати проміжних цілей, при цьому не досягаючи бажаної кінцевих цілей. Такі неузгоджені системи можуть завдати шкоди при використанні у реальних умовах.
В роботі запропоновано метод покращення якості генерування тексту великими мовними моделями на прикладі моделі GPT-4. Запропоновано ітеративний метод для узгодження згенерованого тексту із запитом користувача шляхом дотреновування моделі на прикладах на яких вона допускає помилки. Дотреновування відбувається автоматично з передачею на вхід моделі прикладів, у яких була допущена помилка для повторного опрацювання.
У порівнянні з оригінальною базовою моделлю, запропонований метод демонструє суттєві покращення, збільшуючи точність (accuracy) з 82.5 до 90. Запропонований метод під час експериментів показав перспективність для практичного застосування у реальних задачах генерації тексту.
