具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1提供了一种网格状路网的结构示意图，图2为本发明实施例提供的一种用于网格状路网的交通信号管控系统的架构示意图。如图所示，该用于网格状路网的交通信号管控系统，包括多个交通管控智能体，所述网格状路网包括多个交叉路口，所述网格状路网设置有道路检测设备和道路信号设备，所述交通管控智能体与所述交叉路口一一对应设置，所述道路检测设备用于检测交通数据，所述道路信号设备用于指示所述交叉路口的行进状态；

所述交通管控智能体单向串联组成节点链条，所述节点链条中相邻的两个交通管控智能体对应相邻的两个交叉路口，所述交通管控智能体与对应的交叉路口的道路检测设备和道路控制设备相连；

所述交通管控智能体用于根据所述节点链条中上游的交通管控智能体的动作计算结果，以及对应的交叉路口的交通数据，基于预训练的模型，实时生成对应的交叉路口的信号控制指令，并将所述信号控制指令发送到所述道路控制设备。

对于交通管控智能体，其中预训练的模型，主要通过强化学习的方式进行训练，并针对网格状路网具有高维度管控方案和复杂交通状态的实际特性，在强化学习中通过引入深度神经网络来近似高维度状态空间，可以通过学习环境的信息表示并有效地搜索状态空间。现有技术中，每个交叉路口独立运用深度强化学习方法，其对单个交叉路口的管控优化能够改善一个交叉路口或者邻近的多个交叉路口的交通情况，但是随着路网的规模增长，交通管控智能体难以在庞大的状态空间进行学习，而离散的交通管控智能体不能观察到整个网格状路网的状态，也就无法实现对整个网格状路网的有效管控。

在本方案中，基于强化学习的框架，进一步结合深度神经网络，将网格状路网中的复杂交叉路口状态和动作空间进行分解，每个交通管控智能体只能为一个交叉路口生成信号控制指令，但是将所有的交通管控智能体单向串联组成节点链条，节点链条中相邻的两个交通管控智能体对应相邻的两个交叉路口，通过这种设计，能够减小交通管控智能体共同作用的状态-动作搜索空间，状态空间的维数会随着减小，在不牺牲训练性能的情况下，提高了训练速度和稳定性，同时交通管控智能体的价值函数在训练过程中能够被修正，更适用于交通管控的应用场景。

对于实际的网格状路网，可以抽象为图1所示的路网结构，即在横竖两个方向上，均有多条道路，道路的交点即为交叉路口，在实际的道路设施中，交叉路口可能是在同一平面的交叉，也可能是通过立交在不同平面的交叉，整体而言，不同的交叉方式根据对应的路况进行相关交通管控智能体的训练即可。对应于图1所述的路网结构方式，在具体实现节点链条时，所述网格状路网中预设第一方向的道路中的交叉路口对应的交通管控智能体依次单向串联。具体如图2所示，确定第一方向(图2中以横向为第一方向)，将第一方向上的道路的交叉路口对应的交通管控智能体依次单向连接，然后将平行的两条道路的端点对应的交通管控智能体连接，最终构成如图2所示的节点链条的结构示意图。当然，在具体的网格状路网中，因为方向、长度等原因，可能不能实现完全如图1所示的抽象，但是整体上可以保证邻近的区域内采用近似的处理方式，并且因为对于道路设置而言，当两地距离较远时，一地的通行状态也基本不会对另一地的通行状态产生影响。因此，仅对邻近的区域采用近似的处理方式，仍然能够保证准确描述单个交叉路口与整个路网之间的影响关系，生成准确的信号控制指令并对应进行评价。

另外，本方案中各个交叉路口对应的交通管控智能体可以是分别训练、分别布局并协同运行，即每个交叉路口对应设置硬件主体分明的交通管控智能体进行交通信号管控，也可以是多个交叉路口对应的交通管控智能体以集成的方式在一个或多个硬件主体中运行，交通管控智能体本身并没有明显实体上的边界。

在具体实现过程中，所述预训练的模型包括动作计算模型和状态评估模型；

所述动作计算模型用于根据所述节点链条中上游的交通管控智能体的动作计算结果，以及对应的交叉路口的交通数据，基于预训练的模型，实时生成对应的交叉路口的信号控制指令；

所述状态评估模型用于对所述信号控制指令给所述交通数据产生的影响进行评价，并将所述评价反馈到所述动作计算模型，以使所述动作计算模型进行更新。

进一步的，所述动作计算模型包括递归网络层；

所述递归网络层用于建立所述节点链条中上游的交通管控智能体对当前的交通管控智能体的相关性。

另外，所述动作计算模型可以通过学习最小化损失值确认信号控制指令。所述状态评估模型可以通过计算值函数评价所述信号控制指令。

进一步请参考图2，交通管控智能体在接收到交通环境状态(s)之后，对应作出管控动作(a)，即生成信号控制指令。在本实施例描述中，为区分描述，六个交通管控智能体定义为交通管控智能体1、…、交通管控智能体6，分别对应交叉路口1、…、交叉路口6；交通管控智能体对应的交通环境状态分别定义为s1、…、s6；交通管控智能体对应生成的管控动作分别定义为a1、…、a6。在具体生成管控指令的过程中，交通管控智能体在节点链条中如果存在上一个交通管控智能体，还需要输入上一个交通管控智能体的管控指令，以进行综合判断。整体而言，每个交叉路口对应的交通管控智能体通过这种决策方式减少了动作的搜索空间。

本方案中模型的训练过程遵循强化学习中Actor-Critic算法的核心架构。具体来说，运用Actor-Critic算法的交通管控智能体有两个模型组成，即动作计算模型和状态评估模型，其分别用于通过状态计算动作和评估状态值，前者通过学习最佳策略控制交通管控智能体的动作，后者通过计算值函数评价最终状态。其中动作计算模型包括递归网络层，其是基于递归神经网络的结构设计，具体在本方案中，将网格状路网的整体管控决策问题分解为多个交叉路口的子问题，相较于整个网格状路网的整体管控决策大大降低了处理难度，交通管控智能体也不再一次性输出所有交叉路口的动作集合，而是连续地输出每个交叉路口的动作，有效降低了巨大策略搜索空间。交通管控智能体在生成工作的过程中，充分考虑交叉路口之间的相互作用，记住前序动作决策并探索前序动作之间的相关性。即对于节点链条中交通管控智能体k的管控动作ak，会综合考虑其前序的交通管控智能体输出的管控动作a1、…、ak。

在本方案中的交通信号管控系统中，如果所述道路检测设备包括摄像头，对应的所述交通数据包括道路图像数据。如果所述道路检测设备包括雷达，所述交通数据则对应包括车辆速度数据。

如果所述道路信号设备包括信号灯和引导屏，则交通管控智能体可以同时生成对信号灯和引导屏的信号控制指令，其中对信号灯的信号控制指令用于控制信号灯的颜色变换，对引导屏的信号控制指令用于控制引导屏的显示内容。

上述，用于网格状路网的交通信号管控系统，包括多个交通管控智能体，所述网格状路网包括多个交叉路口，所述网格状路网设置有道路检测设备和道路信号设备，所述交通管控智能体与所述交叉路口一一对应设置，所述道路检测设备用于检测交通数据，所述道路信号设备用于指示所述交叉路口的行进状态；所述交通管控智能体单向串联组成节点链条，所述节点链条中相邻的两个交通管控智能体对应相邻的两个交叉路口，所述交通管控智能体与对应的交叉路口的道路检测设备和道路控制设备相连；所述交通管控智能体用于根据所述节点链条中上游的交通管控智能体的动作计算结果，以及对应的交叉路口的交通数据，基于预训练的模型，实时生成对应的交叉路口的信号控制指令，并将所述信号控制指令发送到所述道路控制设备。通过将每个交叉路口对应的交通管控智能体以串联成节点链条的方式，建立相邻路口的共享信息，使得各个交通管控智能体能观察到整个网格状路网的变化，尤其是邻近的交叉路口的变化，从而减少交通信号管控优化过程中深度学习的动作和状态空间搜索，克服集中式控制中维度过大的问题。

在本方案中，还提供了一种用于网格状路网的交通信号管控设备，所述交通信号管控设备集成有本发明实施例中任一所述的交通信号管控系统。在本方案中，可以每个交通管控智能体分别对应集成一个终端设备，也可以多个交通管控智能体集成在一个终端设备中，甚至所有交通管控智能体集成在一个终端设备中，但是不管采用哪种集成方式，必须要保证所有的交通管控智能体能快速准确地生成对应的交叉路口的信号控制指令，保证各个交叉路口的畅通运行，进而保证整个网格状路网的畅通运行。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory, RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。