具体实施方式

下面结合附图和实施例对本发明做进一步的详细描述。

参照图1，对本发明的实现步骤做进一步的详细描述。

步骤1，建立数字孪生体发送路径规划请求。

待规划路径的车辆用户将其数字孪生体DTs部署于云服务器上后发送路径规划请求。

所述路径规划请求包括：待规划路径的起点和终点以及到达目的地的预计时间，出行的起始时刻。

步骤2，计算用户个性化需求的待规划路径效用值。

云服务器将接收到的路径规划请求中出行的起始时刻，添加至云服务器的服务列表中。

按照下式，计算待规划路径中每到达一个交通路口的驾驶时间：

其中，τ_g表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的在[-1,1]范围归一化后的时间，d_g表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的距离，v_min表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的路段限制的最小行驶速度，max表示取最大值操作，v_max表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的路段限制的最大行驶速度，k_g和k_max分别表示从待规划路径上一个交通路口到达相邻的第g个交通路口的车流量密度和最大的车流量密度。

所述车流量密度指的是，根据待规划路径中部置在路侧的物联网设备所感知和收集并上传至云服务器的当前待规划请求时的车流量数据。

按照下式，设计拟根据高峰期车流量密度收取待规划路径中每相邻交通路口路段的归一化后的通行费：

其中，p_g表示拟收取待规划路径中上一个交通路口到达相邻的第g个交通路口在[-1,1]范围归一化后的通行费，cos表示取余弦值操作。

按照下式，计算待规划路径驾驶时间和通行费的性价比：

其中，α表示待规划路径驾驶时间和通行费的性价比，t_预表示到达目的地的预计时间，t_min表示到达目的地的最短时间。

按照下式，根据求解的待规划路径中每到达一个交通路口的驾驶时间和拟收取待规划路径中每相邻交通路口路段的归一化后的通行费，结合待规划路径驾驶时间和通行费的性价比，计算待规划路径中每到达一个交通路口的效用值。

所述计算待规划路径中每到达一个交通路口的效用值的公式如下：

r_g＝ατ_g+(1-α)p_g

其中，r_g表示从待规划路径中上一个交通路口到达相邻的第g个交通路口的效用值。

步骤3，建立交通路口的状态和动作空间。

从选定交通地图中将待规划路径的每个交通路口作为Q-learning算法的状态，建立所有交通路口的状态空间，将待规划路径的每个交通路口对下一个相邻交通路口的选择作为Q-learning算法中的动作，建立所有交通路口的动作空间。

步骤4，利用Q-learning算法更新Q表。

第一步，建立一个Q表，该表的行表示每个交通路口的状态，列表示每个交通路口的动作选择，初始化Q值设置为0。

第二步，将待规划路径起点作为当前状态。

第三步，在当前状态所在列中，选用ε—贪婪策略，ε设置为0.8，即从0到1之间随机选取一个小数，若所取小数在0到0.8之间，则将将选取Q值最大的列作为可行动作，若所取小数在0.8到1之间，则将随机选择除Q值最大的某一列作为可行动作，执行动作，进入下一个状态。

第四步，利用待规划路径中每到达一个交通路口的效用公式，计算当前交通路口到达下一个相邻交通路口的瞬时奖励值，按照下式，更新Q表中的Q值：

Q(s,a)＝Q'(s,a)+l[R(s,a)+γmaxQ(s',a')-Q'(s,a)]

其中，Q(s,a)表示当前交通路口s到达下一个相邻交通路口a更新后的Q值，Q'(s,a)表示Q(s,a)更新前的Q值，l表示学习率，其取值范围为[0,1]，R(s,a)表示当前交通路口s到达下一个相邻交通路口a对应的效用值，γ表示折扣因子，其取值范围为[0,1]，maxQ(s',a')表示到达的下一个交通路口s'后选择到达相邻交通路口a'对应的最大Q值。

第五步，判断到达的下一个交通路口是否为待规划路径的终点，若是，则执行第六步，否则，将该交通路口作为当前状态后执行本步骤的第三步。

第六步，判断更新后的Q值是否与更新前的Q值趋于一致，若是，则完成更新的Q表后执行步骤5，否则，执行本步骤的第二步；

步骤5，获取最佳驾驶路径。

将待规划路径起点作为当前状态，在完成更新的Q表中找到当前状态所在行，选择该行中Q值最大的列作为下一个拟到达的交通路口，将该拟到达的交通路口作为当前状态，选择当前状态所在行中Q值最大的列作为下一个到达的交通路口，直至到达待规划路径的终点，得到最佳的驾驶路径。

步骤6，云服务器通过基站向车辆用户发送规划的最佳的驾驶路径。

参照图2的实施例，对本发明作进一步的描述。

针对现实交通系统中三个有路径规划请求的车辆用户，其车辆用户的数字孪生体DT(Digital Twin)会被部署于云端，完成对车辆用户的一一映射。在图2中的三个车辆用户各自的DT会代替车辆用户向云服务器发送路径规划请求，包括待规划路径的起点和终点以及到达目的地的预计时间，出行的起始时刻，云服务器将三个车辆用户规划请求出行的起始时刻按顺序依次添加至服务列表中，云服务器会通过服务列表中的三个车辆用户的起始时刻顺序分别依次对三个车辆用户进行路径规划。在图2中以车辆i为例描述云服务器对该车辆进行路径规划的过程。云服务器根据车辆i的待规划路径中部置在路侧的物联网设备所感知和收集的当前待规划请求的车流量数据和本发明的步骤2计算出车辆i的个性化需求的待规划路径效用值，依据本发明的步骤4得到更新完成后的Q表，云服务器根据Q表来规划出车辆i的最优路径，并将规划好的最优路径通过覆盖了车辆i行动范围内的基站向车辆i发送。

下面结合仿真实验，对本发明的效果做进一步的说明。

1.仿真实验条件：

本发明仿真实验的平台为：Windows 10操作系统和Matlab 2016b。

本发明仿真实验所使用的地图为陕西省西安市的城市交通地图。

2.仿真内容及其结果分析：

本发明仿真实验是采用本发明和两个现有技术(基于最短时间的路径规划方法和基于最短距离的路径规划方法)分别对输入的一辆汽车进行路径规划。仿真实验参数设置如表1所示：

表1 实验参数设置

在仿真实验中，采用的两个现有技术是指：

现有技术基于最短时间的路径规划方法是指：A.Durdu,等人在“Path planningof mobile robots with Q-learning.SIU,2014,pp.2162-2165.”中提出的路径规划方法，简称基于最短时间的路径规划方法。

现有技术基于最短距离的路径规划方法是指：Wooyoung Kwon等人在“Fastreinforcement learning using stochastic shortest paths for a mobile robot,2007IEEE/RSJ International Conference on Intelligent Robots and Systems,2007,pp.82-87”中提出的路径规划方法，简称基于最短距离的路径规划方法。

下面结合图3的仿真图对本发明的效果做进一步的描述。

图3为本发明仿真实验三种方法分别对一辆汽车完成从起点到终点路径规划的总效用值的对比图。所述的总效用值指的是一辆汽车完成从起点到终点最优规划路径中组成最优路径的所有路段的效用值之和。

本发明仿真实验通过输入该汽车对时间和通行费不同性价比，取值范围为[0,1]，以0.02间隔进行取值，共50个不同的性价比值，采取三种方法分别对该汽车完成从起点到终点路径规划的总效用值的对比图。

图3中横坐标表示待规划车辆用户对时间和通行费的性价比，纵坐标表示用户完成从起点到终点路径规划的总效用值。图3中以星形标示的曲线代表采用本发明的方法，获得的不同性价比参数下用户总效用曲线。以圆形标示的曲线代表采用基于最短时间的路径规划方法，获得的不同性价比参数下用户总效用曲线。以正方形标示的曲线代表采用基于最短距离的路径规划方法，获得的不同性价比参数下用户总效用曲线。

由图3可以看出，对任一固定的性价比值下，本发明获得的总效用值相比于其他两个方法获得的总效用值总是可以为车辆用户带来最高的效用，主要因为最短时间路径规划方法只考虑一个指标因素来规划车辆用户的路径，其中忽略了用户的个性化需求，而对于最短距离，只考虑每个路段的距离以获得最短路径，而缺乏对每个路段的时间和通行费的考虑。

以上仿真实验表明：本发明方法可以通过考虑用户对相邻交通路口路段指标的个性化需求，包括时间和通行费，为用户规划出最佳的路径，解决了现有技术方法中只以时间最小或者距离最短作为评价指标来进行路径规划，导致车流量调度效率低的问题，是一种非常实用的路径规划方法。