具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

一种基于环锭纺纱线质量的全局工序共享控制系统，包括云子系统和边缘子系统，所述云子系统包括：获取模块、评估模块、修正模块，所述边缘子系统包括若干模块，所述模块包括：Agent模块、状态识别模块、动作调节模块、奖励模块、CPPS单元，所述Agent模块包括：Critic网络模块、Actor网络模块、误差模块；

所述CPPS单元与所述状态识别模块和所述动作调节模块分别连接，所述状态识别模块与所述奖励模块、所述Critic网络模块、所述Actor网络模块分别连接，所述Actor网络模块与所述动作调节模块连接，所述奖励模块与所述Critic网络模块连接，所述Critic网络模块通过所述误差模块与Actor网络模块连接，所述Critic网络模块与所述云端中的所述获取模块、所述修正模块分别连接，所述云端中的所述获取模块通过评估模块与修正模块连接；

所述CPPS单元中可获取若干个纺纱质量特征数据；

所述状态识别模块用于获取离线知识和所述CPPS单元中的纱线质量特征数据；

所述Actor网络模块基于所述状态识别模块获取的离线知识和质量特征以及所述误差模块获得的误差生成质量控制点的调控值；

所述动作调节模块用于调控所述Actor网络模块生成的质量控制点的调控值；

所述奖励模块基于所述状态识别模块获取的离线知识和质量特征计算奖励函数获得奖励。

一种基于环锭纺纱线质量的全局工序共享控制方法，其特征在于：具体步骤包括：

S1，在s_t时刻，所述状态识别模块获取离线知识和所述CPPS单元中的若干个纱线质量特征数据后，将所述s_t时刻获取的离线知识和纱线质量特征数据输入到所述奖励模块，计算s_t时刻所获奖励，将所述s_t时刻获取的离线知识和纱线质量特征数据输入到所述Critic网络模块中的Critic值函数模块中，得到s_t时刻值函数；

S2，将S1中所述s_t时刻所获得的离线知识和纱线质量特征数据输入到 Actor网络模块，经过所述Actor网络模块输出质量控制点的调控值，将所述质量控制点的调控值输入所述动作调节模块对相连所述CPPS单元进行质量控制点的调节，经过一定时间的下一时刻，为s_t+1时刻，所述状态识别模块获取调节后的离线知识和所述CPPS单元中的若干个纱线质量特征数据，将所述调节后的离线知识和纱线质量特征数据输入奖励模块获得 s_t+1时刻的奖励，将所述调节后的离线知识和纱线质量特征数据输入到所述Critic网络模块中的Critic值函数模块中，得到s_t+1时刻值函数；

S3，将所述S1中s_t时刻值函数和所述S2中s_t+1时刻值函数同时输入误差模块获得误差值；

S4，根据所述误差值更新所述Critic网络模块中的学习参数，得到边缘子系统的Critic网络参数，通过所述云端中的获取模块获取所述边缘子系统中的Critic网络模块中的边缘子系统的Critic网络参数；

S5，将所述获取模块获取的边缘子系统的Critic网络参数通过评估模块进行评估，完成评估后将所述边缘子系统的Critic网络参数输入到修正模块，通过所述修正模块更新所述边缘子系统的Critic网络参数，得到第云子系统的Critic网络参数；

S6，更新Actor网络模块中的Actor网络参数。

所述环锭纺纱CPPS中的若干个CPPS单元为：

S＝{u₁，u₂...，u_i，…，u_n}

式中，S表示环锭纺纱CPPS，u_i表示第i个CPPS单元，i∈[1，n]，n 为CPPS单元的个数。

所述质量控制点为：表示第i个CPPS单元的第j个质量控制点, 其中i∈[1，n]，j∈[1，ni],n_i表示第i个CPPS单元的质量控制点的个数，由此可知，环锭纺纱CPPS质量控制点的总数m为：

由环锭纺纱生产特点可知，每个质量控制点的控制值是随着质量波动而在一定的范围内调节。设每个质量控制点可调节的最小值为可调节的最大值为在环锭纺纱CPPS中，纱线是由多个不同的环锭纺纱 CPPS单元加工而成的，每个单元都有不同的质量特征来表示该单元纱线质量的优劣，纱线质量特征定义如下：

所述纱线的质量特征为：表示第i个环锭纺纱CPPS单元的第l个质量特征，其中：i∈[1，n]，l∈[1，l_i]，l_i表示第i个环锭纺纱CPPS单元的质量特征的个数。对于某个环锭纺纱CPPS单元而言，其质量控制点会根据质量特征值在一定范围内调节，即：但在实际生产，如机台的故障、温湿度的变化等使得控制点作用在环锭纺纱CPPS单元后，其在制品质量有不同程度的衰减，如强力减小、毛羽增多、条干不匀变大等，即质量控制点作用在环锭纺纱CPPS单元上实际只有产生效果。当溢出控制点调节的范围或者有明显趋势要溢出时，会影响到后续单元的生产，甚至会导致最后的纱线质量出现问题。因此对多工序递阶的环锭纺纱物理生产系统，考虑采用多载荷衰减因子对各质量控制点进行补偿，以抑制后续制造中纱线质量可能出现的较大波动。

所述误差模块中的误差计算：

因Actor-Critic学习在任务控制方面的出色表现，本申请将其思想引入环锭纺纱CPPS的纱线质量控制中。首先，将Agent、状态、环境、动作和奖励等因素映射到基于环锭纺纱质量的全局工序共享控制系统中，具体的定义如下：

(1)代理

Agent是环锭纺纱CPPS各单元及系统的质量控制器，主要用于与纺纱质量相关要素的交互。Agent根据收到的奖励，制定策略来调节纱线质量控制点的控制值，同时评价纱线质量特征，并提供灵活的控制策略，所述代理即为本申请中的质量控制器。

(2)状态

对于环锭纺纱CPPS质量控制，状态是纱线的质量特征，如纱线的强力、条干不匀、毛羽等。质量特征具有不同的物理意义，会影响学习效率，为此，采用归一化方法处理各物理量，将状态的所有维度都归一到相同的范围。t时刻，第i个环锭纺纱CPPS单元的纱线质量特征，即其状态可以表示为：

其中表示第i个环锭纺纱CPPS单元纱线的质量特征l，l_i表示第i个环锭纺纱CPPS单元纱线质量特征的个数，所述状态即为本申请中的状态识别模块。

(3)环境

环境是指整个环锭纺纱CPPS各工序单元中与纱线质量相关的人、机、料、法、环等要素的总和。

(4)动作

所述动作即为本申请的动作调节模块，动作是将状态空间映射到行动空间，并确定最佳调节策略。环锭纺纱CPPS的动作是根据当前纱线特征观测值合理调节质量控制点的值。如根据纱线强度波动，选择调节纱线的捻度、张力、或者细纱车的锭速等质量控制点。

t时刻，第i个环锭纺纱CPPS单元对应Agent调节各控制点的值，即一次执行动作表示为：

其中，表示第i个环锭纺纱CPPS单元的第j个质量控制点，n_i表示第i个环锭纺纱CPPS单元的质量控制点的个数。

动作的策略分布直接影响到算法性能的好坏。本章中的策略分布选用正态分布，其概率密度函数为：

(5)奖励

对当前纱线加工质量和对此质量状况所做的合理调节，Agent能从环境的反馈中获得奖励，所述奖励即为本申请的奖励模块。

t时刻，第i个CPPS单元生产的纱线质量特征为s_t时，Agent执行动作a_t后，环锭纺纱CPPS的第i个工序单元的纱线质量特征为s_t+1，同时接受来自环境的奖励r_t。r_t＝r(s_t，a_t)是关于纱线质量特征和质量控制动作的函数。此时，质量特征s的值函数表示在质量特征s下，调节质量控制动作a后能得到奖励的期望，可以定义为：

其中，γ为折扣因子。

状态-动作值函数Q(s,a)表示在质量特征s下选择调节质量控制动作 a的好坏程度，相比于状态值函数，状态-动作值函数考虑了执行动作a带来的影响，即

可见，无论状态值函数还是状态-动作值函数都是累计奖励的期望。

基于环锭纺纱线质量的全局工序共享控制系统：

环锭纺纱生产前序工序不仅仅直接影响本工序的纱线质量，而且影响相邻后序工序纱线质量甚至是最终成纱质量。由此可见，纱线质量不但是相邻工序质量控制点之间的耦合，而且是全局纱线质量控制点的强耦合，即通过调控前面工序的质量控制点抑制后面工序的质量波动，同时通过预测后面工序的质量特征，反过来调节前面工序的质量控制点。

所述基于环锭纺纱线质量的全局工序共享控制系统如图1所示。在该系统中，边缘子系统每个代理的Critic网络通过通信网络映射到云子系统。首先，获取每个代理的Critic网络参数；然后，计算Critic网络参数的权重，评估参数实际值与目标值之间的偏差；最后，修正每个Critic网络参数的偏差，补偿并更新Critic网络参数。

(1)奖励函数设计在基于环锭纺纱质量的全局工序共享控制系统中，设计下所示奖励函数。

其中，U(|a_t|)和L(|a_t|)分别表示一次动作中所有纱线质量控制点a_t的上限值和下限值，a^*表示最优控制值，s_t和分别表示当前纱线质量特征和当前的纱线质量最优特征，β_ijz是当前单元质量控制点对后续单元的衰减因子。

(2)所述误差模块中的误差计算：

每个AC中的Actor网络和Critic网络都采用时序差分(Temporal Difference,TD)误差方法学习策略函数和值函数。t时刻，当前的纱线加工质量特征s_t，采用如下公式计算TD误差δ_t：

δ_t＝r_t+1+γv(s_t+1)-v(s_t)

其中，r_t+1表示当前纱线质量特征s_t下，执行质量控制动作a_t后，到达下一个质量特征s_t+1时所得到的瞬时回报，γ为折扣因子。因此，误差函数可以定义为：

(3)网络设计

在此控制系统中，每个CPPS单元对应Agent的AC结构中的Actor网络和Critic网络都采用BP神经网络结构。

Actor网络采用多输入多输出结构，任意相邻两个单元中后序单元的输入为该单元的离线知识和纱线质量观测值输入端的节点数即为离线知识的维度与在线质量特征数l_i的和。输出为该单元纱线质量控制点的调控值输出端的节点数即为质量控制点的个数n_i，其中θ_i为Actor网络的学习参数。

Critic网络采用多输入单输出结构，输入在Actor网络的输入加上前序单元纱线质量观测值的值函数v(sp_t；ω_i-1)。输出为该单元的纱线质量观测值的值函数v(s_t；ω_i)，输出端只有一个输出节点，其中ω_i-1和ω_i分别是前续单元和后续单元Critic网络的学习参数。

(4)网络学习与优化

在该控制系统中，边缘子系统的每个单元利用纱线质量在线检测数据和离线知识相结合的方法确定生产单元的状态。当前单元的AC中策略函数和值函数分别用参数θ_i和ω_i表示，σ_i1和σ_i2分别表示它们的学习步长，每个 Critic网络各自更新参数的方法如下：

所述Critic网络参数ω_i：

云子系统中的获取器通过工业互联网技术获取边缘子系统各Critic 网络的参数ω_i。

对于评估器，首先由如下公式计算各ω_i的权重

根据环锭纺纱各单元生产的复杂程度及工艺要求，设定每个工艺的目标权重为其次，用评估各的偏差，再由如下公式来调整更新ω`_i。

其中，ε_i(ε_i＞0)表示各单元对应Critic网络中参数允许波动的上限值。

最后，将更新后的各参数值传送到边缘子系统的对应Critic网络。

所述Actor网络参数θ_i：

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。