ПРЕТРЕНУВАННЯ НА ПРИБЛИЗНИХ СИМУЛЯЦІЯХ ЯК МЕТОД ЗМЕНШЕННЯ ПОТРЕБ У ДОСЛІДЖЕННІ SOFT ACTOR-CRITIC ПРИ КЕРУВАННІ БІОРЕАКТОРОМ

Автор(и)

DOI:

https://doi.org/10.31891/2307-5732-2025-351-49

Ключові слова:

адаптивний контроль, контроль біопроцесів, біореактор, навчання з підкріпленням, Soft Actor-Critic, offline-to-online навчання

Анотація

Через обмеження домінуючих методів реалізації систем автономного контролю біореакторів, заснованих на пропорціонально-інтегрально-диференціальних законах, нечіткій логіці та прогнозуючих моделях, стабільно зростає теоретичний і практичний інтерес до створення розумних контролерів на базі навчання з підкріпленням, що здатні самостійно вивчати оперовану систему без точної моделі біопроцесу та у реальному часі підлаштовуватися до різноманітних змін середовища. Проте на практиці впровадження таких контролерів часто супроводжується багатьма складнощами, зокрема високою ціною та тривалістю дослідження середовища. У статті запропоновано метод претренування, який полягає у навчанні агента протягом багатьох короткотривалих епох переводити приблизні симуляції з випадкового стану до бажаного і дозволяє таким чином отримати хорошу початкову стратегію управління, при використанні якої на реальному біореакторі суттєво зменшуються потреби у дорогому дослідженні середовища та ймовірність доведення системи до незворотних критичних станів. На прикладі симуляції біореактору для вирощування дріжджів продемонстровано, що за такого підходу алгоритм Soft Actor-Critic швидше збігається до оптимальної стратегії та при достатньому претренуванні уникає дослідження потенційно небезпечних станів системи навіть попри те, що жодна з використаних під час претренування симуляцій точно не відображала цільовий біопроцес. Впровадження претренованого агенту у порівнянні зі звичайним дозволило зменшити MSE майже у 50 разів, а ITSE – майже у 160. Використання цього методу спрощує впровадження контролерів на базі навчання з підкріпленням для управління біопроцесами, зменшуючи економічну вартість, складність та трудомісткість реалізації систем автономного керування індустріальними біореакторами, що, у свою чергу, підвищує обсяги виготовлення, якість та доступність багатьох корисних продуктів.

Завантаження

Опубліковано

06.06.2025

Як цитувати

ПЕТРОВСЬКИЙ, О. (2025). ПРЕТРЕНУВАННЯ НА ПРИБЛИЗНИХ СИМУЛЯЦІЯХ ЯК МЕТОД ЗМЕНШЕННЯ ПОТРЕБ У ДОСЛІДЖЕННІ SOFT ACTOR-CRITIC ПРИ КЕРУВАННІ БІОРЕАКТОРОМ. Herald of Khmelnytskyi National University. Technical Sciences, 351(3.1), 404-409. https://doi.org/10.31891/2307-5732-2025-351-49