阅读说明：本技术 一种基于混沌免疫遗传机制的uuv智能体行为学习与演化模型 (UUV agent behavior learning and evolution model based on chaos immune genetic mechanism ) 是由 梁洪涛 高洁 于 2018-06-20 设计创作，主要内容包括：本发明属于水下无人系统建模与仿真技术领域,具体涉及一种基于混沌免疫遗传机制的UUV智能体行为学习与演化模型。首先,载入待求解问题及约束条件作为抗原Ag,根据疫苗群、记忆种群和混沌机制产生初始化抗体种群；其次,根据抗体适应度计算结果,利用疫苗接种机制实现学习过程收敛方向的控制,并完成抗体记忆库的更新；最后,依次设计基于轮盘赌的选择算子、基于自适应调整的交叉算子和基于高斯与多项式混合的变异算子实现抗体种群的多样性,并进行早熟抑制,进而实现抗体种群的更新与迭代。该模型结合基本遗传算法全局搜索能力和免疫与混沌机制局部搜索能力的优势,通过不断调整和优化问题解的搜索空间,从而促进行为规则的快速学习与演化。(The invention belongs to the technical field of underwater unmanned system modeling and simulation, and particularly relates to a UUV intelligent agent behavior learning and evolution model based on a chaos immune genetic mechanism. Firstly, loading a problem to be solved and a constraint condition as an antigen Ag, and generating an initialized antibody population according to a vaccine population, a memory population and a chaos mechanism; secondly, controlling the convergence direction of the learning process by using a vaccination mechanism according to the calculation result of the antibody fitness, and finishing the updating of an antibody memory bank; and finally, designing a selection operator based on roulette, a crossover operator based on self-adaptive adjustment and a mutation operator based on Gaussian and polynomial mixing in sequence to realize diversity of the antibody population, and performing precocity inhibition to further realize updating and iteration of the antibody population. The model combines the advantages of the global search capability of the basic genetic algorithm and the local search capability of the immunity and chaos mechanism, and promotes the rapid learning and evolution of the behavior rules by continuously adjusting and optimizing the search space of the problem solution.)

一种基于混沌免疫遗传机制的UUV智能体行为学习与演化 模型

技术领域

本发明属于水下无人系统建模与仿真技术领域，具体涉及一种基于混沌免疫遗传机制的UUV智能体行为学习与演化模型。

背景技术

军用UUV作为一种武器装备、水下环境和作战任务等作战要素相互耦合、相互影响的复杂水下无人作战系统，具有续航力大，隐蔽性好、风险性低，可回收等特点。该无人系统要完成搜索侦查、远程攻击、潜艇防御和组网探测等作战使命中担负重要角色，其就必须要具备强大的智能性，具体表现在UUV能够完成探测、识别、通信等功能，并且实现自主行为反应、规划和学习，确保水下作业任务的高质量和高效率完成。

如若UUV拥有高分辨率且完备的行为规则库，则其可以根据环境和任务特征信息进行行为反应、规划和学习。但是，目前UUV智能化程度和导航控制计算能力有限，形成的知识库和规则库规模较小，只能根据专家知识和仿真结果获得部分规则，距离UUV智能性建模所要求高分辨率且完备的行为规则库还有距离。如何形成完备的行为规则库，行为学习与演化方法成为UUV智能性建模的研究重点。

行为学习与演化方法主要分为两大类：机器学习和智能优化，其中机器学习通常采用神经网络、专家系统等人工智能领域的建模工具进行行为的学习，但是存在计算复杂度高、收敛慢的缺点，而且严重依赖于初始参数假设。智能优化则利用粒子群算法、遗传算法、模拟退后算法等进化算法对行为规则进行迭代寻优，具有实现容易、精度高、收敛快的特点，不但可以完成规则学习，而且能够满足行为规则的自适应演化，但是这类算法的全局搜索与局部搜索的兼容性较差。

免疫进化算法作为一种新兴的智能优化方法被提出用来实现并行分布式自适应系统的学习与演化，该算法具有抗原提取、自动识别、学习记忆等功能。目前在此基础上设计多种免疫算法，大多数方法是将遗传算法进行形式改变，或是结合粒子群优化算法等形成组合型免疫算法。

尽管这些免疫算法能够实现问题求解，但是在全局搜索空间中的搜索效率和准确性还有待提高。因此，希望开发出具有快速性和准确性显著的一种行为规则学习与演化方法，实现UUV水下无人系统自主行为的反应、规划与学习。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于混沌免疫遗传机制的UUV智能体行为学习与演化模型，该模型功能强大、知识完备，能够快速、准确进行规则的匹配与更新，实现UUV水下无人系统自主行为的反应、规划与学习。

本发明要解决的技术问题通过以下技术方案实现：

包括以下步骤：

步骤1：抗原识别：载入待求解问题及约束条件作为抗原Ag；

步骤2：疫苗提取：利用专家和先验知识及依据抗原Ag的特征作为疫苗信息h_j，采用二进制编码方式形成基因组，构建规模大小为N₁的疫苗群AH：

其中：T为矩阵转置符号；

步骤3：初始化抗体种群：k＝0时，记忆种群AM的规模大小为N₂，其中k为迭代次数，种群规模为N的初始化抗体种群AB＝[Ab₁,Ab₂,…,Ab_i,…,Ab_N]^T,i＝1,2,…,N，N₂＜N，初始化抗体种群AB根据记忆种群AM的具体情况由疫苗群AH和随机种群AR组成，或由疫苗群AH、记忆种群AM和随机种群AR组成，或由记忆种群AM和随机种群AR组成；其中随机种群AR采用混沌机制产生；具体混沌机制通过设定初始值Ab₀，Ab₀是启动Logistic映射模型的初始值，采用一维Logistic映射模型产生N/2规模的随机种群AR，具体混沌模型和随机种群AR分别为：

r_l＝4×r_l-1×(1-r_l-1),l＝1,2,…,N/2 (2)

AR＝[r₁,r₂,…,r_l,…,r_N/2]^T,l＝1,2,…,N/2 (3)

其中，r_l代表初始值Ab₀迭代的中间变量，直至形成N/2个随机种群AR；

步骤4：适应度计算：当k>1，计算初始化抗体种群AB中每一个抗体Ab_i适应度Fitness_k(Ab_i),i＝1,2,…,N，选择适应度最高maxFitness_k(Ab_i)的抗体进入抗体记忆库，记忆库规模更新为N₂+1；

步骤5：疫苗接种：在初始化抗体种群AB中自适应选择规模为H(H<N)的抗体进行疫苗接种，接种规模随着迭代次数k自适应变化为：

其中，α和β为可调参数，e代表指数；

步骤6：结束判断：结束条件设置为是否满足最大迭代次数M，如果k满足k>＝M，停止，输出结果最优行为规则Rule；如果k满足k<M，执行步骤7；

步骤7：抗体选择：计算抗体之间的亲和力以及抗体浓度，根据抗体期望繁殖率采用轮盘赌的方式进行抗体选择，每个抗体被选择的概率与其期望繁殖概率成正比，形成种群规模为N的新种群A_N；

抗体与抗体之间的亲和力反映了抗体之间的相似性，抗体浓度被提出衡量抗体之间的相似性，其主要计算相似抗体在抗体种群中所占的比例：

其中，Concentration_k(Ab_i)表示第k代抗体Ab_i的浓度，S_i,j表示抗体Ab_i和抗体Ab_j的相似度，i(j)表示除抗体Ab_i之外其余抗体的数量，K_i,j表示抗体Ab_i和抗体Ab_j编码相同的位数，L表示抗体编码长度，τ表示相似度阈值，如果K_i,j/L大于等于τ，则S_i,j＝1，如果K_i,j/L小于τ，则S_i,j＝0；

基于抗体浓度，抗体Ab_i的期望繁殖率计算为：

式中，Fitness_k(Ab_i)表示第k代抗体Ab_i的适应度，λ为多样性评价系数；

根据抗体的期望繁殖率计算进行选择操作，采用轮盘赌的方式按照每次赌盘指针所落概率范围确定所选抗体，直到选择N个抗体种群A_N为止，具体为随机产生浮点数Π∈(0,1]作为赌盘指针，如果P_k(Ab_i-1)＜Π≤P_k(Ab_i)，则选择抗体Ab_i，其中P_k(Ab_i)表示抗体Ab_i期望繁殖率；

步骤8：抗体交叉：对种群A_N按照自适应交叉概率进行单点抗体交叉，形成种群规模为N的新种群B_N；

抗体依据自适应交叉概率进行单点交叉操作，形成新种群B_N，其中第k代交叉概率P_k ^c采用自适应机制进行计算：

式中，表示抗体种群A_N中的最大适应值，表示抗体种群的平均适应值，Fitness_k表示要交叉的两个抗体Ab_i和Ab_j中较大的适应度，i,j＝1,2,…,N,k₁和k₂为预设常数；

步骤9：抗体变异：对种群B_N采用基于多项式与高斯混合的变异操作，形成种群规模为N的新种群C_N；

多项式变异具有良好的局部逃逸，其形式为 和x_i为抗体Ab_i变异前后的反向译码数值，x_max和x_min分别为种群B_N反向译码的上限和下限，δ_k表示第k代的变异控制参数，其计算为：

其中，a_k为满足[0,1]均匀分布的随机数，η表示变异分布指数；

高斯变异是指用符合均值为μ，方差为σ²的正态分布的一个随机数来替代原有抗体的基因值，具备较强的局部搜索能力，采用形式为x_i ^*＝x_i+δ_k，和x_i为抗体Ab_i变异前后的反向译码数值，δ_k表示第k代的变异控制参数，其计算为：

δ_k＝0.1×N(0,1) (10)

其中，N(0,1)表示0均值1标准差的一维正态分布随机数；

为了结合多项式变异和高斯变异的优势，根据参数θ_k来实现两种变异操作的转换，其计算为：

其中，b为高斯变异的预设概率，c为预设参数，k为当前迭代次数，M为最大迭代次数，Fitness_k(Ab_i)为第k代抗体种群B_N中抗体Ab_i(i＝1,2,…,N)的适应值，表示第k代抗体种群B_N中的最大适应值,表示第k代抗体种群B_N中的最小适应值。如果θ_k＜0.5，采用高斯变异，反之采用多项式变异，生成规模为N的新种群C_N；

步骤10：抗体早熟判断：计算种群C_N平均适应值进行早熟判断，如果早熟，进行正弦混沌变异的多样性维持，生成规模为N的新种群D_N，返回步骤7；否则，将种群C_N直接作为下一代抗体群，执行步骤11；

早熟判断基于种群平均适应值Fitness_arg进行判断，具体为：

式中，为第k代抗体种群C_N的平均适应值，ω₁和ω₂为很小的预设正参数；

如果不满足公式(12)和公式(13)，则说明抗体没有发生早熟现象；如果同时满足公式(12)和公式(13)，则说明抗体种群发生早熟现象，采用基于正弦的混沌变异操作，维持种群多样性，具体形成种群规模为N的新种群D_N，计算如下：

其中，x_i表示抗体Ab_i的二进制反向解码后的量值，需要指出的是通过混沌变异生成的新抗体x_i+1需要进行正向二进制编码；

步骤11：更新迭代次数k←k+1,返回步骤4。

进一步的，所述步骤3中的初始化抗体种群AB通过以下步骤来确定：

步骤3.1：如果抗体记忆种群AM为空，即N₂＝0，则初始化抗体种群AB由两部分组成：(1)N/2规模的种群根据疫苗群AH随机组合产生(2)N/2规模采用混沌机制由随机种群AR产生，即初始化抗体种群AB＝AH∪AR；

步骤3.2：如果抗体记忆种群AM不为空，并且规模N₂＜N/2，初始化抗体种群AB由三部分组成：(1)采用混沌机制随机产生的规模为N/2的随机种群AR(2)记忆库提供的规模为N₂的抗体记忆种群AM(3)由疫苗库产生的规模为N/2-N₂的疫苗群AH，即初始化抗体种群AB＝AH∪AR∪AM；

步骤3.3：如果抗体记忆种群AM不为空，并且规模N₂＞N/2，初始化抗体种群AB由两部分组成：(1)采用混沌机制随机产生的规模为N/2的随机种群AR(2)记忆库提供的规模为N/2的抗体记忆种群AM，即初始化抗体种群AB＝AR∪AM。

进一步的，所述步骤5中，比较接种前父代抗体Ab_i与抗原的适应度Fitness_k(Ab_i)和接种后子代抗体Ab_i ^s与抗原的适应度

步骤5.1：如果适应度提高，则在初始化抗体种群AB中用接种过的子代抗体替代接种前的父代抗体，即则

步骤5.2：如果适应度降低，表示抗体种群在退化，则遗弃子代抗体，保留父代抗体，即则Ab_i维持不变。

与现有技术相比，本发明的有益效果：

本发明模型结合基本遗传算法全局搜索能力和免疫与混沌机制局部搜索能力的优势，通过不断调整和优化问题解的搜索空间，从而促进行为规则的快速学习与演化。

具体的，通过抗体适应度计算，不断的对抗体记忆库规模进行更新；依次设计基于轮盘赌的选择算子、基于自适应调整的交叉算子和基于高斯与多项式混合的变异算子实现抗体种群的多样性，并进行早熟抑制，进而实现抗体种群的更新与迭代。

附图说明

图1是基于混沌免疫遗传机制的UUV智能体行为学习与演化模型示意图。

图2是UUV规避障碍示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非限制本发明的范围。

实施例1：

为了能够更好的理解本发明的技术方案，作了以下更具体的说明：

如图1，一种基于混沌免疫遗传机制的UUV智能体行为学习与演化模型，包括以下步骤：

步骤1：抗原识别：载入待求解问题及约束条件作为抗原Ag；

以UUV在10000m×10000m范围的水下空间实现自主规避水下障碍为求解问题，将作战环境、目标状态及自身状态等作为约束条件，实现抗原的显示表达为Ag。

步骤2：疫苗提取：利用专家和先验知识并依据抗原Ag的特征作为疫苗信息h_j，其采用二进制编码方式形成基因组，构建规模大小为N₁的疫苗群AH：

其中：T为矩阵转置符号；

利用专家和先验知识依据问题及约束条件的特征信息如作战环境的洋流流速Velocity、目标状态的位置信息Position、自身状态的生命状态State和行为动作Rule作为疫苗信息h_j，采用四元组表示：

h_j＝<Velocity,Position,State,Rule> (1.1)

步骤3：初始化抗体种群：k＝0时，记忆种群AM的规模为N₂，其中k为迭代次数，算法初始化从k＝0开始；种群规模为N的初始化抗体群AB＝[Ab₁,Ab₂,…,Ab_i,…,Ab_N]^T,i＝1,2,…,N，N₂＜N，初始化抗体种群AB根据记忆种群AM的具体情况由疫苗群AH和随机种群AR组成，或由疫苗群AH、记忆种群AM和随机种群AR组成，或由记忆种群AM和随机种群AR组成；其中随机种群AR采用混沌机制产生。具体混沌机制通过设定初始值Ab₀，采用一维Logistic映射模型产生N/2规模的随机种群AR，具体混沌模型和随机种群AR分别为：

r_l＝4×r_l-1×(1-r_l-1),l＝1,2,…,N/2 (2)

AR＝[r₁,r₂,…,r_l,…,r_N/2]^T,l＝1,2,…,N/2 (3)

其中，r_l代表初始值Ab₀迭代的中间变量，直至形成N/2个随机种群AR；

步骤3.1：如果抗体记忆库为AM为空，即N₂＝0，则抗体群由两部分组成：(1)N/2规模的种群根据疫苗群AH随机组合产生，(2)N/2规模采用混沌机制由随机种群AR产生，即抗体群AB＝AH∪AR；

步骤3.2：如果抗体记忆库AM不为空，并且规模N₂＜N/2，抗体群由三部分组成：(1)采用混沌机制随机产生的规模为N/2的随机种群AR，(2)记忆库提供的规模为N₂的记忆种群AM，(3)由疫苗库产生的规模为N/2-N₂的疫苗群AH，即抗体群AB＝AH∪AR∪AM；

步骤3.3：如果抗体记忆库AM不为空，并且规模N₂＞N/2，抗体群由两部分组成：(1)采用混沌机制随机产生的规模为N/2的随机种群AR，(2)记忆库提供的规模为N/2的记忆种群AM，即抗体群AB＝AR∪AM；

步骤4：适应度计算：当k>1，计算抗体种群AB中每一个抗体Ab_i适应度Fitness_k(Ab_i),i＝1,2,…,N，选择适应度最高maxFitness_k(Ab_i)的抗体进入抗体记忆库，记忆库规模更新为N₂+1；

步骤5：疫苗接种：在抗体群AB中自适应选择规模为H(H<N)的抗体进行疫苗接种，接种规模随着迭代次数k自适应变化为：

其中，α和β为可调参数，e代表指数；

进一步，比较接种前父代抗体Ab_i与抗原的适应度Fitness_k(Ab_i)和接种后子代抗体与抗原的适应度

步骤5.1：如果适应度提高，则在抗体群中用接种过的子代抗体替代接种前的父代抗体，即则

步骤5.2：如果适应度降低，表示抗体种群在退化，则遗弃子代抗体，保留父代抗体，即则Ab_i维持不变；

步骤6：结束判断：结束条件设置为是否满足最大迭代次数M，如果k满足k>＝M，停止，输出结果最优行为规则Rule；如果k满足k<M，执行步骤7；

步骤7：抗体选择：计算抗体之间的亲和力以及抗体浓度，根据抗体期望繁殖率采用轮盘赌的方式进行抗体选择，每个抗体被选择的概率与其期望繁殖概率成正比，形成种群规模为N的新种群A_N；

抗体与抗体之间的亲和力反映了抗体之间的相似性，抗体浓度被提出衡量抗体之间的相似性，其主要计算相似抗体在抗体种群中所占的比例：

其中，Concentration_k(Ab_i)表示第k代抗体Ab_i的浓度，S_i,j表示抗体Ab_i和抗体Ab_j的相似度，i(j)表示除抗体Ab_i之外其余抗体的数量，K_i,j表示抗体Ab_i和抗体Ab_j编码相同的位数，L表示抗体编码长度，τ表示相似度阈值，如果K_i,j/L大于等于τ，则S_i,j＝1，如果K_i,j/L小于τ，则S_i,j＝0。

基于抗体浓度，抗体Ab_i的期望繁殖率计算为：

式中，Fitness_k(Ab_i)表示第k代抗体Ab_i的适应度，λ为多样性评价系数。

根据抗体的期望繁殖率计算进行选择操作，采用轮盘赌的方式按照每次赌盘指针所落概率范围确定所选抗体，直到选择N个抗体种群A_N为止，具体为随机产生浮点数Π∈(0,1]作为赌盘指针，如果P_k(Ab_i-1)＜Π≤P_k(Ab_i)，则选择抗体Ab_i，其中P_k(Ab_i)表示抗体Ab_i期望繁殖率。

步骤8：抗体交叉：对种群A_N按照自适应交叉概率进行单点抗体交叉，形成种群规模为N的新种群B_N；

抗体依据自适应交叉概率进行单点交叉操作，形成新种群B_N，其中第k代交叉概率采用自适应机制进行计算：

式中，表示抗体种群A_N中的最大适应值，表示抗体种群的平均适应值，Fitness_k表示要交叉的两个抗体Ab_i和Ab_j中较大的适应度，i,j＝1,2,…,N,k₁和k₂为预设常数。

步骤9：抗体变异：对种群B_N采用基于多项式与高斯混合的变异操作，形成种群规模为N的新种群C_N；

多项式变异具有良好的局部逃逸，形式为 和x_i为抗体Ab_i变异前后的反向译码数值，x_max和x_min分别为抗体群B_N反向译码的上限和下限，δ_k表示第k代的变异控制参数，其计算为：

其中，a_k为满足[0,1]均匀分布的随机数，η表示变异分布指数。

高斯变异是指用符合均值为μ，方差为σ²的正态分布的一个随机数来替代原有抗体的基因值，具备较强局部搜索能力，采用形式为x_i ^*＝x_i+δ_k，x_i ^*和x_i为抗体Ab_i变异前后的反向译码数值，δ_k表示第k代的变异控制参数，其计算为：

δ_k＝0.1×N(0,1) (10)

其中，N(0,1)表示0均值1标准差的一维正态分布随机数。

为了结合多项式变异和高斯变异的优势，根据参数θ_k来实现两种变异操作的转换，其计算为：

其中，b为高斯变异的预设概率，c为预设参数，k为当前迭代次数，M为最大迭代次数，Fitness_k(Ab_i)为第k代抗体种群B_N中抗体Ab_i(i＝1,2,…,N)的适应值，表示第k代抗体种群B_N中的最大适应值,表示第k代抗体种群B_N中的最小适应值。如果θ_k＜0.5，采用高斯变异，反之采用多项式变异，生成规模为N的新种群C_N。

步骤10：抗体早熟判断：计算种群C_N平均适应值进行早熟判断，如果早熟，进行正弦混沌变异的多样性维持，生成规模为N的新种群D_N，返回步骤7；否则，将种群C_N直接作为下一代抗体群，执行步骤11；

早熟判断基于种群平均适应值Fitness_arg进行判断，具体为：

式中，为第k代抗体种群C_N的平均适应值，ω₁和ω₂为很小的预设正参数。

如果同时不满足公式(12)和公式(13)，则说明抗体没有发生早熟现象；如果同时满足公式(12)和公式(13)，则说明抗体种群发生早熟现象，采用基于正弦的混沌变异操作，维持种群多样性，具体形成种群规模为N的新种群D_N，计算如下：

其中，x_i表示抗体Ab_i的二进制反向解码后的量值，需要指出的是通过混沌变异生成的新抗体x_i+1需要进行正向二进制编码。

步骤11：更新迭代次数k←k+1,返回步骤4。

根据本发明提出的基于混沌免疫遗传机制的UUV智能体行为学习与演化模型，形成最优行为规则库，UUV依据最优行为规则实现了规避障碍如图2所示：图2表示以UUV水下规避障碍为实例进行智能体行为学习与演化，在10000m×10000m范围的水下空间，UUV抽象为二维运动质点，初始航向，速度2.5m/s，探测范围1000m，从起始位置(0,0)自主规避水下障碍运动到目标位置(10000m,10000m)，其中水下静态障碍区域为：障碍#1：半径(800m),位置(4200m,4500m)，障碍#2：半径(800m),位置(8000m,7700m)。

总的来说，本发明提出的基于混沌免疫遗传机制的UUV智能体行为学习与演化模型可以实现UUV行为的自主学习和演化等智能特性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。