ЗАДАЧІ ТА АЛГОРИТМИ ОПРАЦЮВАННЯ ПОТОКОВИХ ДАНИХ

Автор(и)

DOI:

https://doi.org/10.31891/2307-5732-2023-327-5-42-42

Ключові слова:

потокові дані, опрацювання потоків даних, online data analysis, черги повідомлень

Анотація

Розглянуто основні поняття галузі аналізу даних в контексті роботи з потоками, а не масивами даних. Базові принципи і алгоритми в обох випадках ті самі, але потокові дані накладають суттєві обмеження по пам’яті і часу, вимагають застосування додаткових методів накопичення, фільтрування і попереднього опрацювання. Переважно, ці методи орієнтовані на роботу з сирими даними. У статті наведено порівняльний аналіз основних типів алгоритмів, розглянуто актуальні задачі аналізу потоків даних. Подана коротка характеристика брокера повідомлень Kafka та фреймворку Spark Streaming.  

Завантаження

Опубліковано

31.10.2023