ОПТИМІЗАЦІЯ ОБРОБКИ СЛАБОСТРУКТУРОВАНИХ IoT-ДАНИХ НА ЕТАПІ ПЕРЕДОБРОБКИ У СИСТЕМАХ ВЕЛИКОГО ОБСЯГУ - МЕЛЬНИК, ВОЛОДИМИР (Herald of Khmelnytskyi National University. Technical sciences, 2026)
У статті розглянуто задачу оптимізації обробки слабоструктурованих IoT-даних на етапі передобробки для систем великого обсягу. Проведено аналіз сучасних методів заповнення пропусків та обґрунтовано вибір середнього значення як найпростіший і найшвидший варіант для обробки потокових IoT-даних. На основі синтетичного набору з 10 000 JSON-записів імітовано типову ситуацію з пропусками у даних сенсорів. Методика реалізована з використанням PySpark, результати підтверджують ефективність обраного підходу: середній відсоток пропусків зменшено до нуля, а загальний час обробки скорочено.При проведенні комп’ютерних експериментів опрацювання слобоструктурованих даних використовувався процесор Apple M1.