具体实施方式

下面结合附图和实施例对本发明进行进一步的说明。

本发明提供了一种移动自组网路由决策方法，该方法基于可信机制和Q-Learning动态信任值实现，可信机制包括邻居监控、信息共享、评估决策和路由管理等，如图3所示。本方法具体包括以下步骤：

步骤1.节点A存储邻居节点B的信息

任意节点A若在第t个时间帧内与邻居节点B有直接交互行为action，则用结构{A：B，action，trust_value，t}记录此次交互行为，每一个节点均维护一个上述结构的信息，并将此结构存储在直接信任值信息表中，trust_value标记交互行为成功与否。节点间信任关系的建立采用两种方式：一是节点在本地获取的关于被评价节点的信任信息，称为直接信任值；二是来自第三方节点的关于被评价节点信任信息的合成，称为间接信任值。推荐信任值属于直接信任值的一种特殊形式，用于描述一个节点对其他节点能否诚实提供推荐信息的主观性预测。信任值的符号说明见表1，具体存储量化后的信任值。

表1符号说明

注：未列出符号及重复的符号以出现处为准

步骤2.信任值量化

步骤2.1.直接信任值计算。若节点A在第i个时间帧内(i＝1，2，...，I),与邻居节点B交互成功k_i次，失败j_i次，β₁，β₂为人为预先设置的两个时间权重因子，则在第I时间帧内选择节点B的可能性为：

其中，t_i为第i时间帧的时间(即从第1个时间帧到第i时间帧的时间)，t_I为第I时间帧的时间，且0≤β₁≤1，0≤β₂≤1。

将p带入熵函数H(p)中：

则信任值公式表示为

由上述过程，直接信任值其中subject表示节点A，node表示邻居节点B，action表示A、B节点交互情况。

步骤2.2.推荐信任值计算。将邻居节点B反馈来的trust_value和节点A计算得到的直接信任值进行偏离测试：判断是否成立，其中，η表示预设的偏离阈值，取值范围0≤η＜1。

如果偏离测试成功，即成立，则认为邻居节点B的推荐诚实可靠，否则认为其进行虚假推荐。最后节点A将此次推荐行为写进节点A的推荐信任值信息表中(其中，推荐信任值信息表初始化为空)。根据trust_value的值，若交互行为成功，则表明此次推荐诚实。若此次推荐诚实，且节点A在第i时间帧内(i＝1，2，...，M)(为了区分直接信任值和推荐信任值这两种计算结果，这里的i＝1，2，...，M)，与邻居节点B交互成功k_i次，失败j_i次，α₁，α₂为人为预先设置的两个时间权重因子，则在第M时间帧选择节点B的可能性为：

其中，t_i为第i时间帧的时间，t_M为第M时间帧的时间，且0≤α₁≤1，0≤α₂≤1。

将p′带入

则推荐信任值R_{subject：recommender}为

其中，subiect表示节点A，recommender表示邻居节点B。

步骤2.3.间接信任值计算。间接信任值计算分为单路推荐和多路推荐类型，分别如图1和图2所示，节点可以从一个或多个邻居节点处获得推荐信息，前者称为单路推荐，后者称为多路推荐。本发明考虑到自组网网络的复杂性，采用多路推荐即通过多个邻居节点处获得的推荐信息来计算间接信任倍节点A到节点C的间接信任值表示为：

其中，R_A：B表示节点A到节点B的推荐信任值，R_A：D表示节点A到节点D的推荐信任值，表示节点B到节点C的直接信任值，表示节点D到节点C的直接信任值。其中A、B、C、D均为图2中的节点符号。

步骤2.4.总体信任值计算。直接信任值和间接信任值进行加权求和即为总体信任值：其中，α，β分别为人为预先设定的和的权重值，其中，subject为节点A，node为邻居节点B，action表示交互行为，且α+β＝1。

步骤3.节点A转发数据包时进行邻居监控，判断是否监控成功并更新维护监控缓存表。邻居监控的具体流程如图4所示，当节点A给其下一跳节点B发送了一个数据包时，节点A首先将该数据包写入缓存peekBuffer中，并设置计时器，然后转发数据包给节点B，同时开始监控节点B。如果节点A监控到节点B成功转发了数据包，或是由于计时器超时而认定节点B没有成功转发数据包，则将监控到的结果传递给信任库，同时删除数据包。如果节点B没有成功转发数据包，则节点A需要初始化信息。其中涉及的协议数据结构如表2所示。

表2数据结构解释

步骤4.信息共享。节点A在步骤3中成功监控后，根据本地存储的直接信任值信息表确定评价节点B是否可信，而当节点A无法依据直接信任值信息表来判断某节点B是否可信时，首先需要查看自己的recomBuffer(前面步骤2.2中的推荐信任值信息表可以存在链路中，也可以存在云端，recomBuffer特指缓存在节点本地的信息表)，对于recomBuffer中有关待评价节点B的每一条推荐信息，节点A需要计算推荐信任值，若计算得到的推荐信任值高于预先设定的阈值λ，则使用，否则在recomBuffer中删除此条推荐信息。多个节点维护相同信任库(信任库即包含buffer、peekBuffer、waitRecomBuffer和recomBuffer等)，以便后续多节点智能协作，信息共享的具体过程如下：

步骤4.1.节点A初始化推荐请求信息，并向节点B发送推荐请求；

步骤4.2.中间节点B处理推荐请求信息，并将信息打包为推荐反馈信息包；

步骤4.3.中间节点B处理推荐反馈信息包，并发送给节点A；

步骤4.4.发起推荐请求的节点A处理推荐反馈信息包并合成间接信任值。

步骤5.节点评估。对于各个节点的推荐信任值进行评价，即进行所述步骤2.2的偏离测试，低于阈值η的即列为不可信节点。后续决策则不考虑这些不可信节点，剩余节点作为可信节点。

步骤6.路由管理决策。根据上述建立的可信路由协议，采用Q-Learning框架，将节点类比为多智能体协作中的智能体。

步骤6.1.基于上述步骤5得到的可信节点，对任意一个可信节点，将链路持续时间t′、可信路由协议中节点直接信任值和推荐信任值三个因素作为路由度量信息来定义Q-Learning中的奖励函数R(s，a)，即：R(s，a)＝g+[μ·t′(s，a)+v·Td(s，a)+λ·Tr(s，a)]。其中，s为当前节点s，a为节点下一跳的选择，即推荐的邻居节点a，g为奖惩因子，t′(s，a)、Td(s，a)、Tr(s，a)分别是t′、R_{subject：recommender}的归一化值，μ、v、λ分别是t′(s，a)、Td(s，a)、Tr(s，a)这三个因素预设的权重因子，且满足μ+v+λ＝1。

步骤6.2.各个网络节点作为发送节点将各自本地的信任库发送给其邻居节点，邻居节点作为接收节点根据各自维护的信任库和Q-learning奖励函数计算并更新Q值：Q(s，a)＝R(s，a)+γmax_a′(Q(s′，a′))，其中的Q(s，a)为节点s到节点a的Q值，R(s，a)为节点s到节点a的奖励值，γ为预设的折扣因子，max_a′(Q(s′，a′))为节点s′到节点a′的Q值最大值时的节点a′，Q(s′，a′)为节点s′到节点a′的Q值，节点s′、节点a′为节点s、节点a下一跳的节点双方。

步骤6.3.节点A在存在待转发的数据包时，根据其维护的Q值智能选择下一跳转发节点B，节点路由的最优策略定义为在每一状态选用Q值最大的行为即为节点路由的下一跳，策略为：Π(s)＝arg max_aQ(s，a)。

以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。