Анализ стратегий игровых пространств с использованием нейронных сетей

Анализ стратегий игровых пространств с использованием нейронных сетей

Резюме

Цель исследованиязаключается в разработке  методов повышения эффективности работы нейронных сетей для построения систем искусственного интеллекта при анализе игрового пространства.

 Методы.В качестве основного метода, используемого в разрабатываемом программном решении, применялся метод глубинного обучения нейронных сетей с подкреплением, основанный на использования модели проксимальной оптимизации стратегии. В работе применялся специальный плагин ML-Agents для игрового движка Unity. На его основе были использованы готовые среды для обучения агентов, а также разработаны новые, адаптивно изменяющиеся в процессе реализации игры среды  для обучения агентов. Представлена схема взаимодействия среды обучения с системой Python API, приведены компоненты, составляющие плагин. Сформирован цикл обучения с подкреплением, который позволяет сформировать порядок различных состояний, возможные действия игрока в соответствующих ситуациях и потенциальные награды, получаемые им в процессе обучения. Цель заключается в максимизации ожидаемого выигрыша, который возможно получить игроку при выполнении всего цикла обучения. Алгоритм проксимальной оптимизации стратегии в плагине ML-Agents реализован через программную библиотеку для машинного обучения Tensor Flow и выполняется в отдельном процессе Python API, который взаимодействует с запущенной сценой Unity посредством внешнего коммуникатора.

Результаты. Показано, что повышение эффективности работы нейронных сетей для последующего обучения искусственного интеллекта достигается, во-первых, за счет использования сверхточных нейронных сетей, а во-вторых, за счет расширения функциональных возможностей, с помощью выбора опорной точки формулы.

Заключение.Разработка программного продукта для анализа игровой стратегии с использованием нейронных сетей поможет осуществлять рассмотрение действий игроков, которая автоматически определяет их поведение, направленных на изучение индивидуальных особенностей игрового пространства.

Ключевые слова: нейронные сети, искусственный интеллект, ML-Agents, обучение с подкреплением, оптимизация стратегии, агенты обучения, академия, среда обучения, Unity.