МЕТОДИ ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ ТЕСТУВАННЯ ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ ЗА ДОПОМОГОЮ LLM: ПРЕДСТАВЛЕННЯ LLMTESTER

Анотація

Сучасні інструменти автоматичного генерування тестів досягають високого рівня покриття коду, проте здебільшого ігнорують семантичний зміст програмного забезпечення. Великі мовні моделі (LLM) відкривають нові горизонти у сфері тестування, зокрема у створенні змістовних, логічно обґрунтованих тестів, глибокому аналізі API-документації та виявленні складних логічних дефектів. У цій статті представлено метод LLMTester, що поєднує інтелектуальні можливості LLM із класичними підходами до тестування. Метод передбачає автоматичну генерацію юніт-тестів та функціональних сценаріїв, оцінку їхнього семантичного покриття як доповнення до традиційних метрик та автоматизований аналіз збоїв. Результати експериментальної оцінки на основі відкритого веб-застосунку Prestashop демонструють значне зростання якості тестування, зменшення часу на створення тестів та підвищення ефективності виявлення дефектів порівняно з традиційними підходами. Наша робота демонструє потенціал LLM не лише для автоматизації, але й для інтелектуального поглиблення процесу забезпечення якості програмного забезпечення, зокрема через введення нової метрики семантичного покриття.