Адаптивна система навчання поведінки NPC на основі Q-learning

Abstract

Кваліфікаційна робота присвячена дослідженню методів створення адаптивної поведінки неігрових персонажів у відеоіграх із використанням алгоритму Q-learning. Проведено аналіз традиційних підходів та обґрунтовано перевагу методів навчання з підкріпленням. Побудовано математичну модель віртуального середовища як марківського процесу прийняття рішень, розроблено функцію винагороди для управління множинними потребами персонажа, реалізовано табличний Q-learning з epsilon-greedy стратегією. Модель реалізовано в Unreal Engine 5 на C++. Виконано експериментальне дослідження протягом 252 поколінь, виявлено нелінійний характер збіжності з трьома фазами навчання та феномен перенавчання на пізніх етапах. Проведено порівняльний аналіз альтернативних конфігурацій, що підтвердив критичну важливість коректного підбору параметрів. Практичне значення полягає у створенні готового рішення з відкритою архітектурою, адаптованого для широкого спектру ігрових механік.

The qualification work is dedicated to researching methods for creating adaptive behavior of non-player characters in video games using the Q-learning algorithm. An analysis of traditional approaches was conducted and the advantage of reinforcement learning methods was substantiated. A mathematical model of the virtual environment as a Markov decision process was built, a reward function for managing multiple character needs was developed, and tabular Q-learning with epsilon-greedy strategy was implemented. The model was implemented in Unreal Engine 5 using C++. Experimental research was conducted over 252 generations, revealing a non-linear convergence pattern with three learning phases and an overfitting phenomenon in later stages. A comparative analysis of alternative configurations was performed, confirming the critical importance of correct parameter tuning.