ARTIFICIAL NEURAL NETWORK APPROACH TO TRAFFIC FLOW CONTROL

Abstract


A problem of optimal urban traffic flows control is considered. A mathematical model of control by the traffic lights at intersections using the controlled networks theory is given. It is a system of nonlinear finite-differential equations. To present a large scale road networks the model contains the connection matrices that describe interactions between input and output roads in subnetworks. The traffic flow control is performed by the coordination of active phases of traffic lights. A control goal is to minimize the difference between the total input flow and total output flow for all subnetworks. In this paper, a neural network approach for urban traffic road network parameters adjustment is presented. A simulation is conducted under a microscopic traffic simulation software CTraf. Results demonstrate that neural network reinforcement training obtain good parameters of the network model.

ВведениеНесмотря на многочисленные попытки, до сих пор не удалось получить каче- ственную математическую модель управления городским движением. Такая мо- дель должна определять функциональную зависимость параметров транспортных потоков от параметров управления. В наши дни транспортные потоки повсемест- но регулируются посредством светофоров. Если удастся получить достаточно точную математическую модель потоков транспорта, мы сможем определять оп- тимальную длительность фаз сигналов светофоров для достижения максимальной пропускной способности узла дорожной сети.Достаточно точная математическая модель управления дорожным движением, работающая в режиме предсказания, будет отображать оценку оптимальных па- раметров управления, а также принимать корректные решения в экстренных си- туациях.Известные математические модели дорожного движения [1-7; 12] учитывают только средние значения потоков, а не точное количество машин на каждом участ- ке дорог в конкретный момент.* Работа выполнена по гранту РФФИ №16-08-00639-а «Исследование и разработка мето- дов синтеза идентификационного управления транспортными потоками в сетях городских дорог».В работе мы пытаемся получить точное количество машин в каждый момент на каждом участке всей сети дорог. Рассматриваем применение искусственной нейронной сети для определения и уточнения параметров перекрестков. Данная модель значительно отличается от наших предыдущих разработок.Математическая модель дорожного движения строится на основе теории управ- ляемых сетей [8-11]. Такая модель учитывает сеть и структуру дорог, ее измене- ние соответственно сигналам светофоров и позволяет рассчитывать состояние потоков в каждый момент времени. В работах [10; 11] мы дополнили модель вве- дением подсетей, из которых собирается полная сеть. Главной сложностью стало определение точных значений пропускных способностей маневров и количе- ственных параметров распределения потоков. В работе [7-8] для определения этих параметров используем искусственную нейронную сеть с учителем (ИНС).Обзор применения нейросетей для управления транспортными потокамиИскусственные нейросети широко используются в управлении транспортны- ми потоками в дорожной сети. Рассмотрим некоторые из последних работ в этой области.Клеточные нейронные сети для задачи управления светофорами на отдельных перекрестках, т.е. без учета взаимовлияния режимов работы светофоров на со- седних участках сети рассмотрены в [14]. В этой работе минимизируется суммар- ная задержка автомобилей на перекрестке. Для целей моделирования задержка потока, определяемая фазой работы светофоров, рассматривается как квадратич- ная функция от длительности зеленого света в этой фазе. На длительность зеле- ного света накладываются как линейные, так и нелинейные ограничения типа равенств.В статье [15] приводится сравнение клаcсических ИНС и нечетких контролле- ров в качестве систем управления светофорами. Авторы предлагают использовать нейронную сеть с одним скрытым слоем, на вход которой подается вектор с коли- чеством простаивающих перед каждым светофором машин, а на выходе получают длительность каждой фазы. ИНС обучается методом генетического алгоритма.В работе [16] рассматриваются «вдохновленные биологией» нейронные сети (BiNN) для управления перекрестком. В таких методах делается упор на исследо- вание динамики в отличие от классических ИНС, в которых в основном рассма- триваются процедуры обучения. BiNN исследуется на модели сложного перекрест- ка. Структура BiNN следующая: входные нейроны описывают очередь транспорт- ных средств на каждой полосе. Выходные нейроны соответствуют фазам на полосах. Все выходные нейроны связаны с ингибиторными нейронами, подавля- ющими активность прочих выходных нейронов. Длительность фаз ограничивает- ся уравнением, описывающим концепцию «имманентной пластичности» нейрона.В статье [17] рассматривается глубокая сверточная искусственная нейросеть для адаптивного управления траффиком. Для обучения ИНС используется обу- чение с подкреплением. В терминологии парадигмы обучения с подкрплением ИНС называется агентом. Входной сигнал в ИНС формируется из предложен- ного авторами пространства состояний - дискретного кодирования состояния траффика (DTSE). В DTSE каждая полоса длинной l разбивается на «ячейки»длинной c. Авторы отмечают, что выбор c важен для динамики системы управле- ния. Предлагается следующая нейросетевая архитектура. Используются две ней- росети с идентичной структурой, но различным набором входных сигналов. В пер- вую на вход подается бинарный вектор описывающий наличие/отсутствие авто- мобиля на участке дороги, во вторую вектор действительных чисел, описывающий скорости автомобилей на участках дорог. Развернутые в вектор выходы нейросе- тей склеиваются друг с другом и с текущим состоянием фаз и подаются на вход полносвязной ИНС. Выходом из ИНС является индикаторный вектор, показы- вающий действие, которое агент должен совершить, а именно содержит номер фазы которую следует включить.В работах [14-16] на выходах нейросетей получают длины фаз, а в работе [17] выходом является решение, какую из фаз переключить. В нашем подходе выходом является предсказанный нейросетью транспортный поток в следующий момент времени. Чем точнее прогноз, тем ближе к реальности параметры ИНС описы- вают параметры сети дорог. Чем точнее определены параметры сети дорог, тем ближе к истине оптимальное решение, найденное с помощью модели.Математические модели транспортных потоков на основе теории управляемых сетейМодель одной сети. Математическая модель транспортных потоков на основе управляемых сетей [8-11] имеет следующий вид:Lx(k) = x(k - 1) - ((x(k - 1)1T)  A(u(k))  D -T .- ((x(k - 1)1L)  A(u(k))  D - A(u(k))  B))1L +T T .+ ((x(k - 1)1L)  A(u(k))  D - ((x(k - 1)1L)  A(u(k))  D --. A(u(k))  B))T1L + δ(k), (1)где L - количество участков дорог;  - Адамарово произведение матриц, δ(k) = [δ1(k) … δL(k)]T; δi(k) значение приходящего потока на участок i, i = 1, …, L, задается случайно;матрица смежности графа основной сетиA = [ai,j], ai,j ∈ {0,1}, i, j = 1, …, L; (2)матрица пропускных способностей+B = [bi,j], bi,j ∈ R 1 ∪ {0}, (3)где bi,j описывает поток с участка дороги i на дорогу j в какой-то временной проме- жуток;матрица распределенияD = [di,j], di,j ∈ [0;1], (4)где di,j показывает какая часть потока на участке i совершает маневр на участок j.Все участки дорог должны удовлетворять (5)управляющий векторL∑di, j = 1, i = 1, …, L; (5)j =1iu = [u1 … uM]T, ui ∈ {0, …, u+}, (6)iгде ui номер фазы светофора на перекрестке i; u+- максимальное количество актив- ных фаз на светофоре i, i = 1, …, M; М - количество перекрестков в сети;матрица конфигураций, которая также является матрицей смежности не- полного графаA(u) = [ai,j(u)],⎧⎪1, если ai, j =1, uc ∈{Fi, j}a (u) = i, j ;(7)i, j матрица управления⎨⎪⎩0, иначеC = [ci,j], ci,j ∈ {1, …, M}, (8)где ci,j - номер перекрестка на котором находится маневр с участка i на участок j;матрица фаз светофоровF = [Fi,j], i, j = 1, …, L, (9)где Fi,j = {fi,j,1, …, fi,j,k(c )}; fi,j,r ∈ {0,u+c+i,ji,jci,j}; 1  r  k(c); u - максимальное количествоi,jактивных фаз на перекрестке ci,j; k(ci,j) - максимальная длина фазы светофора, ко-торая разрешает маневр с участка i на участок j на перекрестке ci,j; Fi,j - набор индек-сов фаз, которые разрешают маневр с участка i на участок j.Все матрицы одинаковы по своей структуре: bi,j > 0; ci,j > 0; di,j > 0; Fi,j  ∅, еслиai,j = 1, иначе bi,j = 0, ci,j = 0, di,j = 0, Fi,j = 0;Для описания параметров дорожного потока вводим временные интервалы,Δt. Считаем, что длины всех фаз являются целыми числами, Δt. Так же считаем, что светофоры синхронизированы, так что отсчет целых временных интервалов на всех светофорах сети происходит единовременно. Для описания количествен- ных характеристик потока для каждого участка дорог используем вектор состоя- ния потокаx(tk) = [x1(tk) … xL(tk)]T, (10)где xj(tk) - количество машин на участке j в момент tk, xj(tk) ∈ R1, j = 1, …, L, k = 0, …,N, N - количество интервалов управления.Модель с подсетями. При расширении модели (1) за счет добавления пере- крестков необходимо формировать новые матрицы. С целью исключения этой процедуры была разработана модель транспортных потоков с подсетями [10; 11].Рассмотрим обширную сеть дорог из K подсетей. Модели подсетей представ- ляем в виде набора матриц отдельных моделей: (Al(u)k)), Bl, Cl, Dl, Fl: l = 1, …, K).Для соединения моделей всех подсетей в одну сеть введем матрицы соединений для каждой подсетиRl = [rl,i,j], i = 1, …, nl,1, j, l = 1, K, (11)где rl,i,j - номер элемента в векторе входных участков для участка j; nl,1 - количество выходных дорог в подсети l.Для каждого участка дорог модель должна иметь векторы входных и выходных дорогl,0vl = [vl,1 ... vl,nwl = [wl,1 ... wl,n]T, (12)]T, (13)l,1где vl,i - индекс входной дороги в подсеть l, i = 1, ..., nl,0; nl,0 - количество входных дорог в подсеть, wl,j - индекс выходной дороги из подсети l, j = 1, ..., nl,1.Использование соединительных матриц позволяет моделировать динамику потоков на всех подсетях одновременно. На каждом интервале Δt пересчитываем вектор потока в соответствии с соединительными матрицами∀rl,i,j = γ  0, xj,α(tk) = xl,β(tk), (14)где i = 1, …, nl,1; j, l = 1, …, K; α = vj,γ; β = wl,i.Искусственная нейронная сеть для определения параметров моделиМатематическая модель системы управления транспортными потоками (1) содержит в себе параметры, которые необходимо получить экспериментально для каждого перекрестка. Среди этих параметров элементы матрицы пропускных способностей B и матрицы распределений D. Пропускная способность маневра bi,j с участка дороги i на участок j определяет количество автомобилей, способных совершить этот маневр за один интервал времени. Пропускная способность ма- невра bi,j зависит от пространственных характеристик перекрестка, скорости ав- томобиля и количества автомобилей на участках i и j.Элементы di,j матрицы распределений D определяют доли потока автомобилей, которые совершают маневр с участка дороги i на участок j. Сумма этих долей равна потоку на участке i. Значения параметров di,j зависят от маршрутов всех автомобилей и могут изменяться в зависимости от времени суток, дня недели и сезона.Для определения параметров пропускных способностей B и распределений Dмодели (1) мы используем двухслойную неполносвязную ИНС.Архитектура ИНС выбирается соответственно взаимосвязям дорог на пере- крестках, значения весов ИНС совпадают с параметрами пропускных способ- ностей и распределений потоков. На вход подаются значения потоков на участках дорог в некоторый момент времени, а на выход - потоки на участках дорог в следующий момент времени.Структура ИНС определяется структурой перекрестка: входной слой состоит из N0 входов, где N0 = n, n - количество входных участков дорог на перекрестке. Каждый вход связан с mi нейронов скрытого слоя, где mi - количество маневров, которые возможно совершить с участка i. Количество нейронов скрытого слоя задается равным сумме количества маневров, возможных со всех входных участ-N 0 -1 mi -1ков дорог перекрестка, N1 = ∑ ∑j. Значения весов для скрытого слоя, μi,j опре-i =0j =0деляет параметры матриц пропускных способностей B и распределений D, как μi,j = di,j/bi,j. Функцией активации нейронов скрытого слоя выбрана кусочно-ли- нейная функция.⎧0,x < 0,⎨f (x) = ⎪x, 0 ≤ x < 1,(15)⎩⎪1,x ≥ 1.Каждый нейрон скрытого слоя связан только с одним элементом выходного слоя, при этом N2  N1, и каждый нейрон выходного слоя определяет выходной участок дороги, отходящей от перекрестка. Несколько нейронов скрытого слоя могут иметь связи с одним нейроном выходного слоя. Так как выходной слой определяет выходные участки дорог, связь со скрытым слоем определяет маневр с участка дороги i на выходной участок дороги j. Значения весов для выходного слоя определяют параметры матрицы пропускных способностей B как vi,j = bi,j.Рис. 1. Структура управления транспортными потоками с ИНС [Structure of ANN application]Рис. 2. Структурная схема ИНСДля обучения ИНС используется алгоритм обратного распространения ошиб- ки методом стохастического градиентного спуска. В качестве обучающих пар на вход подается вектор потоков xi,j на входных участках дорог на перекрестке в момент времени tk, а на выход соответствующий вектор потоков на выходных участках дорог xi,j в момент времени tk+1.Таким образом, веса μ и v обученной ИНС однозначно описывают параметры пропускных способностей B и распределений потоков D перекрестка, для любых i и j:bi,j = vi,j, di,j = μi,j · vi,j.Представленная ИНС может использоваться как для уточнения параметров модели, изменяющихся во времени, так и для полной идентификации параметров пропускных способностей B и распределений потоков D. Структурная схема управления транспортными потоками с использованием ИНС представлена на рис. 1. В контуре управления применяем двухслойную нейронную сеть, схема- тичное представление которой приведено на рис. 2.ВыводыВ статье представлено описание нейросетевого подхода для решения задачи управления транспортными потоками в сети городских дорог. Управление транс- портными потоками осуществляется в следствии решения задачи оптимального управления на математической модели, построенной на основе теории управля- емых сетей. ИНС обеспечивает настройку параметров модели при возникновении расхождения между выходными данными, полученными на модели, и выходны- ми данными на реальном объекте, участке сети дорог.© Казарян Д.Э., Михалев В.А., Софронова Е.A., 2017

David E Kazaryan

Academy of Engineering Peoples’ Friendship University of Russia

Email: kazaryan.david@gmail.com
Miklukho-Maklaya str., 6, Moscow, Russia, 117198 senior lecturer of department Mechanics and mechatronics

Vasiliy A Mihalyev

Academy of Engineering Peoples’ Friendship University of Russia

Email: vasiliy.mihalev@yandex.ru
Miklukho-Maklaya str., 6, Moscow, Russia, 117198 PhD student, department Mechanics and mechatronics

Elena A Sofronova

Academy of Engineering Peoples’ Friendship University of Russia

Miklukho-Maklaya str., 6, Moscow, Russia, 117198 candidate of technical sciences, deputy director for research, associate professor Mechanics and Mechatronics department

  • M.J. Ligthill and F.R.S. Whitham. “On kinetic waves II. A theory of traffic flow on crowded roads”, Proc. of the Royal Society Ser. A., vol. 229, № 1178, pp. 317-345, 1995.
  • V. Mauro. “Road Network Control”. In M. Papageorgious, editor, Concise Encyclopedia of Traffic and transportation Systems. Advanced in Systems, Control in Information Engineering, pp. 361-366. Pergamon Press, 1991.
  • S.A. Ardekani and R. Herman. “Urban Network-Wide Variables and Their Relations”, Transportation Science, vol. 21, № 1, 1987.
  • A.A. Assad. “Multicommodity network flows - a survey”, Networks, vol. 8, № 1, pp. 37-91, 1978.
  • T. Peter. “Modeling nonlinear road traffic networks for junction control”, Int. J. of Applied Mathematics and Computer Sciences, 2012, vol. 22, No. 3, pp. 723-732.
  • K.-H. Chao, R.-H. Lee, M.-H. Wang “An Intelligent Traffic Light Control Based on Extension Neural Network” Proceedings 12th International Conference, KES 2008, Zagreb, Croatia, September 3-5, 2008, Part I. pp. 17-24.
  • J. Hu, D. Zhao, F. Zhu “Neural network based online traffic signal controller design with reinforcement training” Proc. 14th International IEEE Conference on Intelligent Transportation Systems (ITSC). 5-7 Oct. 2011. Pp. 1045-1060.
  • A.I. Diveev. “Controlled networks and their applications”, Computational Mathematics and Mathematical Physics, vol. 48, № 8, pp. 1428-1442, 2008.
  • G.H.A. Alnovani, A.I. Diveev, K.A Pupkov and E.A. Sofronova. “Control Synthesis for Traffic Simulation in the Urban Road Network”. Proc. of the 18th IFAC World Congress, Milano, Italy August 28 - September 2, 2011, pp. 2196-2201.
  • A.I. Diveev and E.A. Sofronova. “Synthesis of Intelligent Control of Traffic Flows in Urban Roads Based on the Logical Network Operator Method”, Proceedings of European Control Conference (ECC-2013) July 17-19, 2013, Zürich, Switzerland, pp. 3512-3517.
  • A. Diveev, E. Sofronova, V. Mikhalev 2016 IEEE International Conference on Systems, Man, and Cybernetics, SMC 2016 - Conference Proceedings 7844705, pp. 3051-3056.
  • Tu, Y.L., W.J. Zhang, X.Liu., W. Li, C-L. Chai, Ralph Deters et al., 2008. A disaster response management system based on control systems technology, Int. J. of Critical Infrastructures, 4(3), pp. 274-285.
  • J.W. Wang, W.H. Ip, W.J. Zhang. An integrated road construction and resource planning approach to the evacuation of victims from single source to multiple destinations. Intelligent Transportation Systems, IEEE Transactions on 11 (2), 277-289.
  • J.C. Chedjou, K. Kyamakya. Cellular neural networks based local traffic signals control at a junction/intersection. Proceedings of the 1st IFAC Conference on Embedded Systems 2012 (CESCIT-2012) 3-5 April, 2012, Wurzburg, Germany, pp. 81-85.
  • S. Araghi, A. Khosravi, D. Creighton. Optimal design of traffic signal controller, using neural networks and fuzzy logic systems. Proceedings of the International Joint Conference on Neural Networks 2014 (IJCNN) 6-11 July, 2014, Beijing, China, pp. 42-47.
  • G.B. Castro, J.C. Martini, A. Hirakawa. Biologically-inspired neural network for traffic signal control. Proc. of 17th International Conference on Intelligent Transportation Systems 2014 (ITSC) 8-11 October, 2014, Quingdao, China, pp. 2144-2149.
  • W. Genders, S. Razavi. Using a deep reinforcement learning agent for traffic signal control.Submited to IEEE for publication on 3 November 2016.

Views

Abstract - 863

PDF (Russian) - 961

PlumX


Copyright (c) 2017 Kazaryan D.E., Mihalyev V.A., Sofronova E.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.