具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他 实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组 合。

具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述一种自动驾 驶车辆无信号交叉口协调通行控制系统，包括：车辆智能体VA和交叉口智能体IA；

车辆智能体VA设置在无人驾驶车辆上，用于检测自身所在的无人驾驶车辆是否进入 无灯交叉路口区域，若是进入无灯交叉路口区域，与对应的无灯交叉路口区域的交叉口智 能体IA建立无线通信连接，并向交叉口智能体IA发送通过请求信号和车辆的实时状态信 息；

所述交叉口智能体IA设置在无灯交叉路口区域内，与发送通过请求信号的车辆智能体 VA建立无线通信连接，并对应接收车辆智能体VA的实时状态信息；

交叉口智能体IA还用于根据交叉口几何信息、交通法规信息和每辆请求通过无人驾驶 车辆的实时状态信息，利用经过深度Q学习的方式训练的全连接深度神经网络，确定每辆 请求通过的无人驾驶车辆下一时刻的速度、加速和方向盘转角控制信号，并将获取的控制 信号发送至对应车辆智能体VA；

所述车辆智能体VA，还用于将接收的速度、加速和方向盘转角控制信号转发至车辆的 自动控制系统，实现对无人驾驶车辆的控制，将更新后的实时状态信息发送至交叉口智能 体IA，直至无人驾驶车辆的车头驶出所述无灯交叉路口区域。

本发明所述系统的车辆智能体VA与交叉口智能体IA之间的通信机制如图2所示，系 统工作流程如下：

(1)当车辆抵达交叉口时，车辆智能体首先与交叉口智能体之间建立一个通信连接， 该连接直到车辆退出协调控制区域然后才取消。这里，智能网联汽车在协同控制区域内其 驾驶权完全交由交叉口智能体IA掌控；

(2)交叉口智能体IA收到来自车辆智能体的请求信息后，开始根据请求智能体的位 置、速度、通过方向等信息，连同协同控制区域内其它相关智能车辆的状态信息一起，输入交叉口智能体IA，从而产生针对该智能车辆的响应信息和控制决策。如果此时还不能够产生响应信息，那么IA指示目标VA减速，直到完全停车等待进一步的指示；(3)当车辆 智能体VA与交叉口智能体IA之间建立了通信连接后，无人驾驶车辆控制系统完全授权IA 进行控制，包括方向盘转向、油门大小、刹车板位移；

(4)在智能车辆通过交叉口之后，IA释放掉与该智能车辆之间的通信连接，然后将车辆控制权交回给无人驾驶车辆控制系统。

例如，车辆A/B./C/D同时要求通过路口，交叉口智能体IA按照接收信号的时间和优 先级选择通过的车辆，当接收A车信号后，确定A车需要执行的策略，向A车发送执行策略信号，当A车动作结束后，车辆智能体VA将当前状态再次发送至交叉口智能体IA。

进一步地，本实施方式中，车辆的实时状态信息包括：当前无人驾驶车辆的位置、速 度、行驶方向、车辆宽度和车辆的优先通行等级。

本发明中IA负责接收进入交叉口的车辆智能体VA的通行请求，并根据各个请求VA的状态、目标以及交叉口的几何、交通规则等条件，决定协调通行的控制逻辑，并将控制 决策以响应信息的方式，发送给每一辆需要协调的VA。

进一步地，本实施方式中，优先通行等级根据车辆是急救车辆还是普通车辆设置，车 辆的优先通行等级：普通车辆的优先级设置为常数1，公交车辆优先级设置为常数3，应急 救援车辆设置为常数10。

进一步地，本实施方式中，全连接深度神经网络的输入为每辆请求通过自动驾驶车辆 的状态向量按照时间和优先通行等级排列构成状态矩阵。

进一步地，本实施方式中，所述每辆自动驾驶车辆的状态向量包括当前位置的x坐标 和y坐标、速度、宽度、长度、通过方向和优先通行等级。

进一步地，本实施方式中，深度Q学习方式的奖励函数为：

其中，r(s,a)为待通过的无人驾驶车辆在状态S时采用决策动作a的实时奖励收益，a 为决策动作，S无人驾驶汽车的实时状态。

本实施方式中，当速度大于0，并且没有发生碰撞时，收益与速度和优先级的乘积成 正比；当速度等于0，但是没有发生碰撞时，意味着VA被迫停车等待，此时收益很小，为0.1；当发生碰撞事故时，此时收益为0。

进一步地，本实施方式中，深度Q学习的方式训练的全连接深度神经网络过程为：

步骤一、基于∈-greedy策略，给定状态转换样本<s,a,r,s′>；

步骤二、利用所述状态转换样本<s,a,r,s′>计算当前状态s下，策略动作a对应的预期 总收益Q值；

步骤三、执行Q值最大的策略动作a，自动驾驶车辆的环境状态转换至状态s′，计算状 态s′下的策略动作a′对应的预期总收益Q值；

步骤四、将<s′,a′,r,s″>作为状态转换样本<s,a,r,s′>，返回执行步骤二，直至预期总收 益Q值收敛。

本实时方式中，IA的Q估值网络架构如图3所示。状态输入为当前所需要协同决策的 全部信息，网络架构采用全连接的深度神经网络，建议不少于5层，输出为三种动作对应的Q值。分别为：a₁(保持当前速度)、a₂(加速)和a₃(减速)。Q估值网络的输入需要 包括请求车辆和当前需要协同考虑的其它车辆的全部状态信息。每个智能车辆的状态信息 由7个维度来描述，分别为位置x坐标、位置y坐标、速度、宽度、长度、目的地(方向) 和优先通行等级。假定当前需要协调的最大车辆数目为m，那么全部的状态信息由m×7维 度的矩阵来表示，为了将该信息输入到Q估值网络中，进一步采用拉直操作，将其拉长为 7m维向量。

进一步地，本实施方式中，策略动作a对应的预期总收益Q值的计算公式为：

Q(s，a)＝r(s，a)+max_a′Q(s′，a′)

其中，Q(s,a)为状态s下，选择策略动作a的预期总收益，max_a′Q(s′，a′)为输入状态为 s′时，选择策略动作a′的最大预期总收益。

进一步地，本实施方式中，交叉口智能体IA与车辆智能体VA通过无线电信号、GSM、WI-FI、4G或5G建立无线通信。

本发明中每一辆进入交叉口的车辆都搭载智能网联通信设备，用于与交叉口智能体IA 之间的通信，通信信号需要保证高速移动下的精度和稳定性。可以是无线电信号、GSM、 WI-FI、4G、5G等的任意一种。每一辆车均为自动线控的自主驾驶车辆，能够自主无人控 制油门、方向盘转角、制动。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施示 例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许 多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和 范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利 要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其 他所述实施例中。