АВТОМАТИЗОВАНА ОЦІНКА СЕМАНТИЧНОГО УЗГОДЖЕННЯ У КОНТЕКСТІ ВЕБДОСТУПНОСТІ З ВИКОРИСТАННЯМ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ

Анотація

Автоматизована перевірка доступності вебконтенту залишається гострою проблемою, оскільки традиційні інструменти здатні повністю перевірити лише близько 4 із 50 критеріїв стандарту доступності WCAG 2.1. Одним із складних для перевірки є критерій WCAG 2.5.3, який вимагає семантичної відповідності між видимим текстом елемента та його доступним іменем для користувачів асистивних технологій. Метою дослідження є перевірка можливості використання великих мовних моделей для автоматизованої оцінки семантичної відповідності згідно з критерієм WCAG 2.5.3 та визначити оптимальні моделі за співвідношенням ціна-якість. Проведено порівняльний аналіз 17 великих мовних моделей різних цінових категорій на спеціально створеному наборі даних англійською та українською мовами. Використано статистичний фреймворк консенсусної оцінки з метриками зміщення, дисперсії відхилень та коефіцієнта детермінації для вимірювання якості моделей відносно консенсусу провідних моделей. Провідні моделі продемонстрували високий рівень узгодженості в оцінках семантичної схожості (R² = 0.85-0.91). Моделі середнього цінового сегменту показали найкраще співвідношення якості та вартості, зокрема gemini-2.5-flash-preview досягла найвищої узгодженості (R² = 0.91) з мінімальною шумністю. Встановлено відсутність прямої кореляції між синтаксичною коректністю відповідей та якістю семантичного аналізу. Великі мовні моделі можуть ефективно використовуватися для оцінки семантичної відповідності WCAG 2.5.3. Визначено оптимальні моделі для практичного застосування та окреслено напрямки подальших досліджень, включаючи дистиляцію знань у менші спеціалізовані моделі для зниження обчислювальних витрат.