具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于快速梯度下降的单交叉口信号控制的交通状态对抗扰动生成方法，包括以下步骤：

步骤1：强化学习是一种和环境进行不断交互的算法，如图1所示。强化学习算法包含三个最基本的要素：环境状态、智能体动作、环境奖励。以典型十字交叉路口为例。首先在单交叉口道路网格上训练强化学习智能体模型，对进入单交叉口的所有道路上的交通状态进行离散编码。将单交叉口从路段入口到停车线之间长度为l的道路k(k＝1,2,3,4)等距离划分为c个离散单元，将t时刻单交叉口的道路k的车辆位置表示为车辆位置矩阵s_k(t)，当车辆头部位于某个离散单元上时，则车辆位置矩阵s_k(t)对应第i(i＝1,2,…,c)个位置的值为0.5，否则值为-0.5，公式表示为：

其中表示车辆位置矩阵s_k(t)第i个位置的值,将t时刻四个路口输入端的车辆位置矩阵s_k(t)按行首尾拼接构成s_t，公式表示为：

s_t＝[s₁(t),s₂(t),s₃(t),s₄(t)] (2)

再把s_t作为环境状态输入到智能体模型中训练，智能体输出相应的动作即红绿灯将要执行的相位(如南北绿灯或东西绿灯)。

以典型十字交叉路口为例进行说明。我们定义交通灯的相位作为动作空间A＝{a₁,a₂,a₃,a₄}，其中a₁为东西方向绿灯，a₂为东西方向左转绿灯，a₃为南北方向绿灯，a₄为南北方向左转绿灯。在运行时设a_i的相位的初始时长为m，黄灯相位时长为n。在t时刻将当前状态s_t输入到智能交通灯模型中，智能交通灯选择相位a_i(i＝1,2,3,4)，当a_i相位执行完后，智能交通灯从环境中采集t+1时刻的状态s_t+1，然后选择相位a_j(j＝1,2,3,4)。若a_i≠a_j则a_i相位执行时间不再延长，即a_i相位结束，在a_i相位结束后智能交通灯执行黄灯相位，在黄灯相位结束后，执行a_j相位；若a_i＝a_j，则a_i相位执行时间延长m；将奖励r_t设置为两个连续动作之间路口车辆的等待时间之差，公式表示为：

r_t＝W_t-W_t+1 (3)

其中W_t，W_t+1分别为t时刻和t+1时刻的进入单交叉口所有车道的等待时间。根据执行的动作再按照环境奖励对动作进行评判，从而不断更新网络的参数。所使用的强化学习模型为：Deep Q Network(DQN)。结构包含卷积层、全连接层；参数包含卷积核大小、全连接层神经元的数量。用一个深度神经网络作为Q值网络，，初始化网络参数，网络的输出就是Q值,隐含层采用Relu非线性激活函数，其中输出层的神经元个数与单交叉口的动作空间大小相等。公式表示为：

Q＝h(ws_t+b) (4)

其中w代表神经网络的权重，s_t为网络的输入，b为偏置，h(.)表示Relu激活函数。DQN的损失函数为：

L_t＝(y_t-Q(s_t,a_i；θ′))² (6)

其中y_t代表目标值，a_i,a_j∈A表示智能体输出的动作即红绿灯相位,r_t代表t时刻的奖励，γ为学习率，θ和θ′分别代表DQN中目标网络的参数w、b和估计网络的参数w’、b’，估计网络的参数是随着时间步长逐步更新的，目标网络的参数更新是每隔时间T从估计网络直接复制网络的参数，公式表示为：

步骤2：在交通路口获取各个路口输入端的车辆数量及其所处位置即输入当前车辆数与位置输入到模型中，会生成对应的交通信号灯即输出动作。利用FGSM攻击算法，对各个时刻的输入逐一进行攻击，得到相应的对抗扰动；过程如下：

2.1：获取t时刻输入模型的输入值s_t,其中s_t代表t时刻从sumo获取的单交叉口输入端车辆数量及其所处位置；

2.2：输入原始状态s_t，经过已经训练好的DQN智能体模型，选择出动作值函数Q最大的动作a_m(m＝1,2,3,4)即此时最优的红绿灯相位,公式表示为：

其中θ代表训练好的智能体模型网络的参数，a_m表示输出的动作即红绿灯将要执行的相位。

2.3：采用FGSM攻击算法，沿着梯度方向并根据符号函数进行赋值生成t时刻相对应的对抗扰动η_t，公式表示为：

其中ε代表扰动系数，s_t代表输入值即车辆所处位置，a_m代表此时红绿灯执行的最优相位，sign代表符号函数，L_t(θ,s_t,a_m)代表t时刻模型的损失函数。

步骤3：由于所取状态是车辆数量及其位置，故为离散值。因此要对对抗扰动η进行处理，得到具有实际物理意义的扰动值。过程如下：

3.1：其中c为交通路口输入端划分的离散单元数量，代表t时刻第i个离散单元的对抗状态。计算出t时刻的对抗扰动η_t后，对t时刻的扰动取绝对值并找出其中最大值和最小值并按照大小顺序对η进行排序得到新的排序数组最后通过对扰动进行离散化处理，使其具有实际物理意义。

3.2：在η_t′中按顺序读取扰动并与原始数据进行比较，若原始状态与对抗扰动不一致，则将对应扰动赋给对应的原始状态；若原始状态与对抗扰动是一致的，则再取η_t′中下一个对抗扰动按上述方式赋值，直到所选的扰动是有效的，最终得到扰动状态s_t′。

步骤4：在当前构建的扰动状态中，对扰动的大小进行限制，当t时刻扰动量μ_t≤δ(δ为扰动限制)时将扰动状态输入模型中；当扰动量μ_t≤δ时将原始状态输入模型；

计算t时刻扰动状态添加的扰动量μ_t，公式表示为：

其中len(.)表示计算s_t和s_t′中车辆状态为0.5的个数，当扰动量μ_t≤δ时，将扰动状态s_t′输入智能体模型中，否则将原始状态s_t输入到智能体模型中。

步骤5：对生成的对抗扰动进行性能的测试，将状态输入模型后，智能体会根据当前状态选取交通信号灯的相位，来控制单交叉口的车流量。最后在sumo上对不同输入状态的交通流量得到的红绿灯相位对交通路口的流畅度进行对比；

所述步骤5的过程如下：

5.1：各个时刻的原始状态s_t输入到模型中模型会选择最优动作(红绿灯相位)控制路口车流量，并计算出交通路口的等待时间之差(奖励r_t＝W_t-W_t+1)。

5.2：对添加有效扰动后的最终扰动s_t′计算扰动量μ_t，对满足要求(μ_t≤δ)的输入状态输入到智能体模型中输出动作即红绿灯相位，此时同样计算交通路口的等待时间之差(奖励r_t＝W_t-W_t+1)。

实例：实际实验中的数据，过程如下：

(1)选取实验数据

实验数据是由sumo上的单交叉路口随机生成的100辆汽车，每辆汽车大小、生成位置距离交叉路口的距离和汽车从生成到通过路口的速度都是相同的。交通路口红绿灯相位的初始时间是绿灯10秒，黄灯4秒。从停车线开始长度为700米的道路k(k＝1,2,3,4)划分为长度为7米的100个离散单元。交通路口输入端采集到的原始状态s_t用来记录单交叉口输入端车辆的数量以及所处位置。扰动限制δ＝20％。

(2)实验结果

在结果分析中，我们使用了单交叉路口作为实验场景，训练了强化学习Deep QNetwork(DQN)智能体模型，采用快速梯度下降法(FGSM)并对扰动进行离散化处理生成对抗扰动，对交叉路口输入端的车辆数量及其位置进行改变从而造成红绿灯相位的改变，在有攻击和无攻击两种情况下进行了对比实验，实验结果如图5,图6所示(在不断进行攻击时，红绿灯相位不能很好的保证单交叉口车辆流通导致车辆堆积在路口处。但当堆积的车辆足够多时，此时需要增加很大的扰动才能攻击成功，故此时扰动超过扰动限制则将原始状态输入到智能体模型中，此时路口车辆就能快速流通起来，从而使得等待时间和等待车辆会有大幅的下降)。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。