具体实施方式

为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。表一是对本申请实施例涉及的符号含义进行的说明。

表一

本发明提供一种基于深度强化学习的智能作业分批方法，包括以下步骤：

S1、获取每个作业的静态特征和动态特征，所述作业的静态特征包括作业交货期、作业的规格和工艺要求，所述作业的动态特征包括接收时刻；

S2、将所述各作业的静态特征和动态特征输入作业分批模块，作业分批模块利用马尔可夫决策过程将待组批作业集合中具有相似特征的作业组合为同一个批次，使最终组成的批次总数尽量少，且每个批次中的作业特征差异值尽量小。

在本发明中，我们主要考虑在工业互联网必须面对的一个典型的作业分批问题。具体来说，给定一个待组批的作业集合X＝{X_i,i＝1,2,…,M}。每个作业X_i可定义为X_i＝{f_i,d_i},其中f_i表示作业X_i的特征，如作业交货期、作业的规格、工艺要求等(由具体应用场景定义)，可用一个元组f_i＝{f_ik,k＝1,2,…,K}表示；d_i表示作业X_i的需求量大小。

已知一个批次的最大容量为C,作业组批的目的是在满足批次容量大小的约束下，将待组批作业集合中具有相似特征的作业组合为同一个批次，使得最终组成的批次总数N尽量少，且作业特征差异值D尽量小。

该问题的数学模型如下；

min(αD+βN) (1)

其中，

α+β＝1 (2)

其中，

式(1)为目标函数，其中D表示所有批次的批次内作业特征差异值之和。式(1)中包含2个子目标：一个为最终组成的作业批次总数尽量少；另一个为每个批次中的作业的特征差异值尽量小(即将具有相似特征的作业划分为一个批次)。

式(2)表示式(1)中两个子目标的重要程度约束。

式(3)表示作业各属性特征对作业划分结果的影响程度约束。

式(4)表示根据企业生产要求，每个批次中作业的总量不能超过一个批次的容量上限。

式(5)表示一个作业最多只能组合进一个批次。

马尔可夫决策过程：

作业组批过程可以视为作业分批模块通过序列决策与环境不断交互，进而将各个作业组合成多个批次的过程，这个过程可以用马尔可夫决策过程(Markov DecisionProcess,MDP)来表示。

具体地，在每一个时间步，作业分批模块都会获得一个当前环境的状态(state)，并根据这个状态做出相应的动作(action)，该动作的效果会由一个正向或负向的奖励值(reward)来衡量。然后，环境受上一个动作的影响由上一个状态转移到下一个新的状态。作业分批模块就在这样不断的循环中逐步学习出更好的决策，完成更好的作业组批。

(1)状态(state)：本发明设定当作业X_i被组合进一个批次n时，该作业的产品需求量大小会由d_i变为0，表明该作业已被成功划分进一个批次。于此同时，当前批次n的剩余可用容量V_n也有原来的C变为C-d_i。因此，随着当前作业被组合进一个批次，该作业的当前需求量d_i以及当前批次n的剩余可用容量V_n是与时间t有关的变量。

因此，每个作业X_i可以重新定义为其中f_i和分别表示作业X_i的静态特征和t时刻的动态特征。在模型的解码阶段(分批阶段)，作业X_i的静态特征(如作业交货期、产品长度、宽度等)保持不变，作业的动态元素会根据输出阶段发生动态变化。

综上，作业X_i在t时刻的状态可用一个三元组表示：分别表示作业X_i的静态特征，作业X_i在t时刻的需求量大小，以及在t时刻当前批次n的剩余可用容量。

综上，当前环境在t时刻的状态则为所有作业X_i在t时刻的状态的集合

(2)动作(action)：为了辅助作业分批模块更好的完成作业组批任务，定义一个虚拟节点X₀＝{f₀,d₀}作为批次分割节点。虚拟节点X₀与作业X_i具有相同的特征维度，只是虚拟节点各特征值f₀以及需求量d₀大小时在任何时刻均为0。虚拟节点X₀与其他作业节点X_i(i＝1,2,…,M)一起作为模型的输入序列。在每个决策时间点t，作业分批模块会依次从所有输入序列中选择一个作为输出节点。当作业分批模块选择虚拟节点X₀作为输出节点则表示当前批次划分结束。默认作业分批模块的第一个输出为虚拟节点X₀，表示组批工作的开始。当终止条件满足(即所有作业都组合进对应的批次)，根据作业分批模块的决策，会得到一个输出序列，该输出序列即为作业集合X的组批结果。

例如(如图2所示)，针对作业集合X＝{X_i,i＝1,2,…7}，作业分批模块的最终输出序列(如图3所示)为{X₀,X₅,X₁,X₀,X₃,X₄,X₆,X₀,X₅,X₂,X₀}，该结果表明，作业分批模块将作业结合X划分为3个批次，分别为U₁＝{X₅,X₁}，U₂＝{X₃,X₄,X₆}，U₃＝{X₇,X₂}。

综上，作业分批模块在t时刻所采取的动作y_t可以分为两类：

(3)奖励(reward)：奖励函数直观的反映了在当前环境状态下，作业分批模块所采取的行为的好坏。作业分批模块的目标是在不超过批次容量限制的条件下，使得最终组批结果组成的批次总数尽量少，以及每个批次中的作业的特征差异值尽量小，如式(1)所示。当目标函数值越小时，给作业分批模块的奖励值应该越大，意味着当前分批的效果越好。

因此，奖励函数表示如下：

R＝-(αD+βN) (7)

其中D如公式(1)所示，值为作业特征差异值之和，N为组批后的批次总数。

本发明提出的作业分批模块602整体结构如图4与图5所示，该模型是基于指针网络实现，分为编码器(Encoder)603和解码器(Decoder)604两部分。

(1)编码器部分

指针网络结构的编码层是基于循环神经网络(RNN)实现的，然而，只有在输入序列的排列传递一定信息时，RNN才有意义(如在文字翻译中，前一个词与后一个词的排列顺序传递一定的关联信息)。由于本模型的输入为一系列无序作业特征的集合，任何随机输入序列的排列都包含与原始输入相同的信息，即输入序列的顺序没有意义。

因此，在本模型中我们省略了编码器中的RNN网络，直接使用以一维卷积层作为嵌入层(Embedding Layer)将输入序列(虚拟节点和作业集合)中每一任务的静态特征f_i(i＝0,1,…,M)映射虚拟一个矩阵

(2)解码器部分

解码器主要由长短期记忆网络(LSTM)、指针网络以及Mask向量组成。其工作过程为：在每个决策时间点t，LSTM读取上一决策时间点的LSTM隐含层状态h^t-1以及上一决策时间点作业分批模块的输出节点y^t-1,输出t时刻的隐含层状态h^t。指针网络根据编码器的输出矩阵t时刻LSTM隐含层状态h^t、t时刻所有输入序列的动态特征向量d^t、以及t时刻当前批次n的剩余容量V_n ^t，结合Mask向量计算出各个输出节点的概率分布，所述的Mask向量长度与输入序列相等，分别与入输序列一一对应，Mask向量每一位的取值为0或1，虚拟节点所对应的Mask向量位的值始终为1。最后，选择概率值最大的节点作为t时刻输出节点y^t。当作业分批模块完成t时刻的决策后，立即根据决策结果更新Mask向量、输入序列的动态特征向量d^t+1、当前批次n的剩余容量V_n ^t+1等动态变量，作为下一决策时间点模型的输入。

指针网络机制可以描述为：在每一个解码时间步t，使用注意力机制得到t时刻针对输入序列的权重，将权重通过Softmax函数归一化后得到输入序列的概率分布a^t。a^t的计算方式如下(v_a与ω_a为训练参数)：

为了保证作业分批模块输出序列的合法性，本文引入Mask向量将约束加入到作业分批模块的决策过程中。Mask向量的长度与输入序列相等，分别与输入序列X_i(i＝0,2,…,M)一一对应。Mask向量每一位的取值为0或1。虚拟节点X₀所对应的Mask向量位的值始终为1，表示作业分批模块可以在任何时刻结束当前批次的划分。

在以下情况，X_i(i＝1,2,…,M)所对应的Mask向量位的值为0：

a)在t时刻，作业X_i已被作业分批模块选择作为输出节点，即作业X_i已被组合进一个批次；

b)在t时刻，作业X_i的需求量大小d_i大于当前批次n的剩余可用容量V_n ^t；

c)当t＝0时，此时作业分批模块只能选择虚拟节点X₀作为输出节点，标志着作业组批任务的开始。

结合Mask向量，最终指针网络在t时刻输出的概率值计算如下(v_b为训练参数)：

P(y_t|Y^t-1,S^t)＝softmax(v_ba^t-ln(Mask)) (9)

由式(9)可知，当作业X_i对应的Mask向量位为0，则作业X_i作为输出节点的概率值率值也为0。在每一个解码时间步t，计算式(9)，取概率值最大的节点作为t时刻的输出节点y_t。

本发明使用actor-critic算法进行模型的训练。actor-critic算法一般由2个网络组成：actor网络与critic网络。

actor网络用于在每个决策时间点t预测输入序列中各节点的概率，选取概率最大的节点作为输出节点。假设其参数为θ，则对actor网络参数的梯度为：

critic网络用于计算输入序列可获得奖励的估计值。假设其参数为则对critic网络参数的梯度为：

具体的算法步骤为：

首先，随机初始化actor网络和critic网络的参数θ和

在每个迭代步epoch，我们从训练集中随机抽取J个实例(每个实例都为包含M个作业的集合)，用下标j表示第j个实例；

针对每个实例，利用改进的指针网络根据式(9)依次确定其输出序列(即进行分批决策)，直到终止条件满足(该实例中所有作业都组合进相应的批次)；

此时根据式(7)计算当前作业分批模块输出序列所能获得的奖励值R_j；

J个实例的分批任务都完成后，根据式(10)和式(11)分别计算actor网络和critic网络的梯度并更新。

式(10)～(11)中，表示第j个实例在t＝0时刻输入序列的状态，Y_j为actor对的最终决策输出序列，R_j为actor对第j个实例最终决策输出序列实际得到的奖励值，为第j个实例输出序列中每个节点的概率值，为critic对第j个实例的可获得奖励的估计值。

本发明将作业分批问题描述为一个马尔可夫决策过程，并采用了一种基于深度强化学习的方法来解决该问题。该方法可以处理多维输入数据，并且不需要标签数据对模型进行训练。

本发明将作业分批过程看作一个序列到另一个序列的映射过程，并提出了一种基于指针网络的作业分批模块，其目的是在批次容量的约束下最小化作业分批总数及批次内作业的特征差异。

在工业互联网场景中，作业分批问题广泛存在，作业分批方法的好坏直接影响整个生产流程的效率。本发明针对该作业分批问题，建立了一个基于指针网络的作业分批模块。同时，本发明提出了一种基于深度强化学习的智能作业分批方法，该方法可以充分利用工业互联网中大量的未标记数据学习稳定分批策略，并能处理有多维度特征的输入数据，给出稳定的、高效的作业分批解决方案。特别的，即使在作业数量较大的实际应用场景中，我们的方法也可以快速生成对应的解决方案。因此，本发明可以应用于实际生产。

对应于上述方法实施例，本发明还提供了一种基于深度强化学习的智能作业分批装置，以实现上述方法。参见图6，该装置包括：特征获取模块601和作业分批模块602；

特征获取模块601，用于获取各待分批作业的静态特征和动态特征，所述作业的静态特征包括作业交货期、作业的规格和工艺要求，所述作业的动态特征包括接收时刻；

作业分批模块602，用于将所述各作业的静态特征和动态特征，输入作业分批模块，利用马尔可夫决策过程将待组批作业集合中具有相似特征的作业组合为同一个批次，使最终组成的批次总数尽量少，且每个批次中的作业特征差异值尽量小。

其中，所述作业分批模块的马尔可夫决策过程为：在每一个时间步，作业分批模块获得当前环境的状态，作业在t时刻的状态包括作业的静态特征、作业在t时刻的需求量大小以及在t时刻当前批次n的剩余可用容量，当前环境在t时刻的状态为所有作业在t时刻的状态的集合；再根据当前环境的状态做出相应的动作，该动作的效果由一个正向或负向的奖励值来衡量，所述奖励值是目标函数值的相反数；然后环境受上一个动作的影响由上一个状态转移到下一个新的状态。

所述的动作做出过程为：将虚拟节点与其他作业节点一起作为模型的输入序列，在每个决策时间点t，作业分批模块依次从所有输入序列中选择一个作为输出节点；默认作业分批模块的第一个输出为虚拟节点，表示组批工作的开始；当作业分批模块选择虚拟节点作为输出节点，则表示当前批次划分结束；当所有作业都组合进对应的批次，根据作业分批模块的决策，会得到一个输出序列，该输出序列即为作业集合的组批结果。

所述的作业分批模型包括编码器和解码器两部分，编码器使用以一维卷积层作为嵌入层，将输入序列中每一作业的静态特征映射虚拟一个输出矩阵；解码器主要由长短期记忆网络、指针网络以及Mask向量组成，其工作过程为：在每个决策时间点t，长短期记忆网络读取上一决策时间点的长短期记忆网络隐含层状态以及上一决策时间点的输出节点，输出t时刻的隐含层状态；指针网络根据编码器的输出矩阵、t时刻长短期记忆网络隐含层状态、t时刻所有输入序列的动态特征向量、以及t时刻当前批次n的剩余容量，结合Mask向量计算出各个输出节点的概率分布，所述的Mask向量长度与输入序列相等，分别与入输序列一一对应，Mask向量每一位的取值为0或1，虚拟节点所对应的Mask向量位的值始终为1；最后选择概率值最大的节点作为t时刻输出节点；当完成t时刻的决策后，立即根据决策结果更新Mask向量、输入序列的动态特征向量、当前批次n的剩余容量，作为下一决策时间点模型的输入。

所述的指针网络的工作过程为：在每一个解码时间步t，使用注意力机制得到t时刻针对输入序列的权重，将权重通过Softmax函数归一化后得到输入序列的概率分布。

所述的作业分批模型的训练方法使用actor-critic算法，actor-critic算法由actor网络与critic网络组成；actor网络用于在每个决策时间点预测输入序列中各节点的概率，选取概率最大的节点作为输出节点；critic网络用于计算输入序列可获得奖励的估计值。

actor-critic算法的步骤为：随机初始化actor网络和critic网络的参数，在每个迭代步epoch，从训练集中随机抽取J个实例，针对每个实例，依次确定其输出序列，直到该实例中所有作业都组合进相应的批次，计算当前输出序列所能获得的奖励值；J个实例的分批任务都完成后，分别计算actor网络和critic网络的梯度并更新。

本发明还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现上述方法实施例中的方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于深度强化学习的智能作业分批方法的步骤。

本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于深度强化学习的智能作业分批方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

上述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。