ПРЕТРЕНУВАННЯ НА ПРИБЛИЗНИХ СИМУЛЯЦІЯХ ЯК МЕТОД ЗМЕНШЕННЯ ПОТРЕБ У ДОСЛІДЖЕННІ SOFT ACTOR-CRITIC ПРИ КЕРУВАННІ БІОРЕАКТОРОМ

Анотація

Через обмеження домінуючих методів реалізації систем автономного контролю біореакторів, заснованих на пропорціонально-інтегрально-диференціальних законах, нечіткій логіці та прогнозуючих моделях, стабільно зростає теоретичний і практичний інтерес до створення розумних контролерів на базі навчання з підкріпленням, що здатні самостійно вивчати оперовану систему без точної моделі біопроцесу та у реальному часі підлаштовуватися до різноманітних змін середовища. Проте на практиці впровадження таких контролерів часто супроводжується багатьма складнощами, зокрема високою ціною та тривалістю дослідження середовища. У статті запропоновано метод претренування, який полягає у навчанні агента протягом багатьох короткотривалих епох переводити приблизні симуляції з випадкового стану до бажаного і дозволяє таким чином отримати хорошу початкову стратегію управління, при використанні якої на реальному біореакторі суттєво зменшуються потреби у дорогому дослідженні середовища та ймовірність доведення системи до незворотних критичних станів. На прикладі симуляції біореактору для вирощування дріжджів продемонстровано, що за такого підходу алгоритм Soft Actor-Critic швидше збігається до оптимальної стратегії та при достатньому претренуванні уникає дослідження потенційно небезпечних станів системи навіть попри те, що жодна з використаних під час претренування симуляцій точно не відображала цільовий біопроцес. Впровадження претренованого агенту у порівнянні зі звичайним дозволило зменшити MSE майже у 50 разів, а ITSE – майже у 160. Використання цього методу спрощує впровадження контролерів на базі навчання з підкріпленням для управління біопроцесами, зменшуючи економічну вартість, складність та трудомісткість реалізації систем автономного керування індустріальними біореакторами, що, у свою чергу, підвищує обсяги виготовлення, якість та доступність багатьох корисних продуктів.