Концепция аугментации алгоритмов обучения с подкреплением при помощи клеточных моделей транспортной сети в задаче светофорного регулирования

Матросов С.В.

Ключевые слова: транспортная сеть, светофорное регулирование, обучение с подкреплением, клеточная транспортная модель.

Аннотация. В данной работе рассматривается вопрос применения клеточных моделей транспортной сети совместно с методами обучения с подкреплением в задаче светофорного регулирования. Предлагается схема управления, позволяющая расширять пространство состояний при помощи результатов моделирования. Также предлагается архитектура слоя нейросети, отвечающего за извлечение вектора признаков из прогноза клеточной модели.

The concept of augmentation of reinforcement learning algorithms using cellular models of a traffic network in a traffic signal control problem

Matrosov S.V.

Keywords: traffic network, traffic signal control, reinforcement learning, cellular traffic model.

Abstract. In this paper we consider the application of cellular models of transport network together with reinforcement learning methods in a traffic signal control problem. We propose a control scheme that allows to expand the state space using simulation output. Also we propose the architecture of neural network layer, which is responsible for extracting the feature vector from the prediction of the cellular model.