ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ МЕТОДІВ КЛАСТЕРНОГО АНАЛІЗУ ВИЯВЛЕННЯ ВИКИДІВ У СФЕРІ НЕРУХОМОСТІ

Анотація

У роботі проведено комплексну оцінку існуючих методів кластерного аналізу виявлення викидів на реальному наборі даних. Досліджено роботу 23 алгоритмів, які побудовані на основі 4-х типів моделей: ймовірнісних, лінійних, моделей на основі близькості та на основі графів. Набір даних підготовлено на базі розробленого програмного забезпечення для агенцій нерухомості. Дослідження охоплювало ринок нерухомості м. Тернополя, зокрема продаж квартир та кімнат. Підготовлений набір даних містить 760 об’єктів нерухомості з 12 ознаками. Для кожного об'єкту нерухомості на підставі його характеристик експертом поетапно проставлялася мітка аномальності. Це дозволило сформувати набори даних з поміткою аномальності у 10, 15, 20 та 25 % об’єктів. Тестування алгоритмів проводилося з використанням двох способів кодування категоріальних ознак – кодування міток та однократне кодування. Стандартизація набору даних проведена з використанням масштабувальника RobustScaler, який є стійким до викидів. Результати роботи оцінювалися за трьома показниками: AUC-ROC, Precision @ Rank n та час виконання алгоритму. Вони дозволили оцінити точність та ефективність використаних алгоритмів та визначити їхню придатність для реальних задач виявлення аномалій у даних про нерухомість. Візуалізація результатів роботи алгоритмів проведена з використанням t-SNE методу зменшення розмірності й дала можливість оцінити, наскільки добре кожна модель кластеризує нормальні та аномальні об’єкти. Також у роботі більш детально досліджено недетерміновані алгоритми виявлення аномалій на предмет стабільності результатів, подано діаграми розмаху їх метрик та описано можливість їх практичного використання. Загалом, дане дослідження охоплює сучасні моделі та алгоритми виявлення аномалій, етапи обробки та аналізу інформації, технології візуалізації даних, сприяє вдосконаленню методологій, заснованих на машинному навчанні у сфері нерухомості, підтримці прийняття обґрунтованих рішень при аналізі  ринку нерухомості та надання цінних рекомендацій зацікавленим сторонам.