阅读说明：本技术 设备运行控制方法、装置及设备 (Equipment operation control method, device and equipment ) 是由 孙健 杨龙 梁国栋 张振国 赵兴海 于 2019-09-30 设计创作，主要内容包括：本申请公开了设备运行控制方法、装置及设备。该方法包括：获取设备运行指令；利用神经网络根据所述设备运行指令确定设备需要达到的目标运行状态；采集所述设备进入t时刻后,能够反映所述设备在所述t时刻运行状态的多模态数据,基于所述多模态数据和所述目标运行状态,对所述设备的包括所述t时刻在内的后续运行时段的运行轨迹进行预测,得到预测运行轨迹,控制所述设备按照所述预测运行轨迹运行。设备结合多模态数据进行轨迹预测,提高了预测结果的准确性,确保了设备安全运行以及顺利达到目标运行状态。(The application discloses a device operation control method, a device and equipment. The method comprises the following steps: acquiring an equipment operation instruction; determining a target operation state which needs to be reached by the equipment according to the equipment operation instruction by utilizing a neural network; and acquiring multi-modal data capable of reflecting the running state of the equipment at the time t after the equipment enters the time t, predicting the running track of the equipment in a subsequent running period including the time t based on the multi-modal data and the target running state to obtain a predicted running track, and controlling the equipment to run according to the predicted running track. The device carries out the track prediction by combining the multi-mode data, improves the accuracy of the prediction result, and ensures the safe operation of the device and the smooth achievement of the target operation state.)

设备运行控制方法、装置及设备

技术领域

本说明书涉及设备技术领域，尤其涉及一种设备运行控制方法、装置及设备。

背景技术

设备存有针对不同设备运行指令编写的运行程序，运行程序用于控制设备按照指定运行轨迹运行。设备接收到某一设备运行指令后，获取针对该设备运行指令编写的运行程序并根据该运行程序运行。例如，医疗设备接收初始化指令，获取用于设备初始化的运行程序，根据该运行程序控制自身设备运行，从而完成设备初始化。

在设备性能发生变化的情况下，例如，设备长时间使用后部件性能发生变化，导致设备性能发生变化，或者，设备发生部件更新，导致设备性能发生变化等，设备使用预先编写的固定运行程序运行，可能出现无法达到目标运行状态、部件损坏等不良现象发生。

发明内容

为克服相关技术中存在的问题，本说明书提供了一种设备运行控制方法、装置及设备。

具体地，本申请是通过如下技术方案实现的：

第一方面，提供一种设备运行控制方法，所述方法包括：

获取设备运行指令；

利用神经网络根据所述设备运行指令确定设备需要达到的目标运行状态；

采集所述设备进入t时刻后，能够反映所述设备在所述t时刻运行状态的多模态数据；

基于所述多模态数据和所述目标运行状态，对所述设备的包括所述t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹；

控制所述设备按照所述预测运行轨迹运行。

第二方面，提供一种设备运行控制装置，所述装置包括：

获取模块，被配置为获取设备运行指令；

确定模块，被配置为利用神经网络根据所述设备运行指令确定设备需要达到的目标运行状态；

采集模块，被配置为采集所述设备进入t时刻后，能够反映所述设备在所述t时刻运行状态的多模态数据；

预测模块，被配置为基于所述多模态数据和所述目标运行状态，对所述设备的包括所述t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹；

控制模块，被配置为控制所述设备按照所述预测运行轨迹运行。

第三方面，提供一种设备，包括：内部总线，以及通过内部总线连接的存储器、处理器和外部接口；其中，

所述外部接口，用于获取数据；

所述存储器，用于存储设备运行控制对应的机器可读指令；

所述处理器，用于读取所述存储器上的所述机器可读指令，并执行如下操作：

获取设备运行指令；

利用神经网络根据所述设备运行指令确定设备需要达到的目标运行状态；

采集所述设备进入t时刻后，能够反映所述设备在所述t时刻运行状态的多模态数据；

基于所述多模态数据和所述目标运行状态，对所述设备的包括所述t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹；

控制所述设备按照所述预测运行轨迹运行。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例中，设备在获取设备运行指令后，利用神经网络根据设备运行指令确定设备需要达到的目标运行状态，采集设备进入当前时刻t后，能够反映设备当前运行状态的多模态数据，基于多模态数据和目标运行状态，对设备的包括t时刻在内的后续运行时段的运行轨迹进行预测，设备结合多模态数据进行轨迹预测，提高了预测结果的准确性，确保了设备安全运行以及顺利达到目标运行状态。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请一示例性实施例示出的一种设备运行控制方法的流程图；

图2是本申请一示例性实施例示出的另一种设备运行控制方法的流程图；

图3是本申请一示例性实施例示出的另一种设备运行控制方法的流程图；

图4是本申请设备运行控制方法的一个实施例示意图；

图5是本申请设备运行控制方法的另一个实施例示意图；

图6是本申请一示例性实施例示出的一种设备运行控制装置的结构图；

图7是本申请一示例性实施例示出的一种设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

本申请提供了一种设备运行控制方法，应用于设备，设备可以是医疗设备、工厂内的加工设备等，其中，医疗设备可以是PET设备、CT设备、PET/CT设备等。本申请对设备的种类不做限制。

参见图1，为本申请设备运行控制方法的一个实施例流程图，该实施例可以包括以下步骤：

在步骤101中，获取设备运行指令。

设备在使用过程中，接收设备运行指令，根据设备运行指令控制设备运行。

不同设备对应的设备运行指令不同，例如，对于PET/CT设备，设备运行指令可以是初始化指令、图像扫描指令等。

获取设备运行指令的方式有多种，例如，接收用户对设备上物理按键的按压操作、接收用户对设备界面上显示的虚拟按键的选择操作、接收控制设备发送的设备运行指令等。

在步骤102中，利用神经网络根据设备运行指令确定设备需要达到的目标运行状态。

本实施例中，设备设有预先训练的神经网络，利用神经网络进行运行轨迹预测。

设备运行指令指示设备需要达到的目标运行状态，可以包括设备中多个部件需要达到的目标运行状态。例如，PET/CT设备的初始化指令，该初始化指令指示PET/CT设备在初始化结束后需要达到的目标运行状态，包括PET/CT设备中各部件需要达到的目标运行状态，如球管升温后的温度、高压发生器升压后的压力值等。

在步骤103中，采集设备进入t时刻后，能够反映设备在t时刻运行状态的多模态数据。

在控制设备运行过程中，t时刻可以是预设时刻，如用户指定的时刻，设备默认的时刻等，设备仅在预设的t时刻采集多模态数据及执行后续操作；或者，t时刻可以是设备运行过程中的当前时刻，可以理解为各运行时刻，设备在每个运行时刻均采集多模态数据及执行后续操作。

多模态数据能够反映设备在t时刻的运行状态，多模态数据包括多个模态的数据，模态可以理解为视角、角度。多模态数据包括的数据种类有多种，例如，多模态数据可以包括以下至少一项：设备的部件运行数据、设备性能指标、基于当前采集的数据生成的信息和校正信息的组合信息，校正日志、运行日志、环境参数。

例如，针对PET/CT设备，多模态数据可以包括以下至少一项：PET/CT设备中各图像数据和校正图像数据等；PET/CT设备中各电子部件的电压、电流和温度等；PET/CT设备中各机械部件的转速、位置、运动次数等；PET/CT设备中时间分辨率、空间分辨率、灵敏度和计数率等性能指标；PET/CT设备中探测器数据采集通道的数据传输指标；PET/CT设备的校正日志；PET/CT设备的维护日志；PET/CT系统的运行日志；PET/CT设备的运行气候数据、季节数据。

在步骤104中，基于多模态数据和目标运行状态，对设备的包括t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹。

设备在获取能够反映设备在t时刻运行状态的多模态数据后，基于多模态数据和目标运行状态，对设备的包括t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹。

得到的预测运行轨迹包括：设备的全部部件中每个部件的预测部件行为轨迹。每个部件的预测部件行为轨迹包括：t时刻至运行结束中各运行时刻该部件的预测部件运行数据。

例如，PET/CT设备基于初始化指令和多模态数据，得到的预测运行轨迹包括：球管的预测运行轨迹、电机的预测运行轨迹、升压部件的预测运行轨迹等，其中，球管的预测运行轨迹包括：t时刻至运行结束中各运行时刻球管的施加电压大小等，电机的预测运行轨迹包括：t时刻至运行结束中各运行时刻电机的转动速度和转动方向等。

基于设备中神经网络的结构，神经网络基于多模态数据和目标运行状态，可以预测出一个预测运行轨迹，或者，可以预测出多个预测运行轨迹。

在步骤105中，控制设备按照预测运行轨迹运行。

设备利用神经网络预测出运行轨迹后，按照预测出的运行轨迹控制自身设备运行。预测运行轨迹包括全部部件中每个部件的预测部件运行轨迹，设备使用预测部件运行轨迹控制相应的部件运行。

本实施例中，设备结合多模态数据进行轨迹预测，提高了预测结果的准确性，确保了设备安全运行以及顺利达到目标运行状态。

在一个可选的实施例中，神经网络预测出的预测运行轨迹的数目为多个，参见图2，为本申请设备运行控制方法的另一个实施例流程图，步骤105可以通过以下方式实现：在步骤1051中，按照预设筛选规则从多个预测运行轨迹中筛选出最佳预测运行轨迹；在步骤1052中，控制设备按照最佳预测运行轨迹运行。

基于步骤1051和步骤1052的设置，使得神经网络具有预测多个预测运行轨迹，并从多个预测运行轨迹中筛选出最佳预测运行轨迹的功能。

针对步骤1051，参见图3，为本申请设备运行控制方法的一个实施例示意图，神经网络包括轨迹预测子网络、轨迹评估子网络和行为确定子网络，其中，轨迹预测子网络用于轨迹预测；轨迹评估子网络用于轨迹评估；行为确定子网络用于从预测运行轨迹中确定出预测行为数据。组合轨迹预测子网络、轨迹评估子网络和行为确定子网络，得到行为预测子网络，即图3中的行为预测器。

基于上述神经网络的设置，参见图4，为本申请设备运行控制方法的另一个实施例流程图，步骤1051可以通过以下步骤1051-1至步骤1051-4实现：

在步骤1051-1中，针对每个预测运行轨迹，从预测运行轨迹中获取设备在t时刻的预测行为数据，预测行为数据包括设备的全部部件的预测部件行为数据，对所有预测部件行为数据进行加权和处理，得到加权和。

预测行为数据可以是预测运行轨迹中t时刻对应的所有预测数据；或者，预测行为数据可以是从预测运行轨迹中t时刻对应的所有预测数据中筛选出的数据，预测行为数据可以理解为预测行为的特征数据，例如，针对电机部件，预测运行轨迹中设置了t时刻电机的转速和转动方向，预测行为数据可以是电机的转速。

可以通过下面公式一，对所有预测部件行为数据进行加权和处理。

υ_t＝a_t，1υ_t，1+a_t，2υ_t，2+…+a_t，mυ_t，m 公式一

其中，υ_t为t时刻的加权和；υ_t，1为t时刻第一预测部件行为数据；a_t，1为υ_t，1对应的权重值；υ_t，2为t时刻第二预测部件行为数据；a_t，2为υ_t,2对应的权重值；υ_t，m为t时刻第m预测部件行为数据；a_t，m为υ_t，m对应的权重值。

在步骤1051-2中，获取设备在t-1时刻的历史行为标识a_t-1，历史行为标识a_t-1包括：全部部件的历史部件行为标识。

部件行为标识用于指示部件行为，不同部件行为对应的部件行为标识不同。例如，用编号1代表电机转动、用编号2代表电机停止。

在步骤1051-3中，对t-1时刻的第一历史上下文h_t-1、步骤1051-2中获取的历史行为标识a_t-1和步骤1051-1中获取的加权和进行LSTM编码处理，得到t时刻的第二历史上下文h_t。

LSTM编码全称是Long Short-Term Memory，它是RNN(Recurrent NeuralNetwork)的一种，基于其设计特点，使得LSTM特别适合用于对时序数据的建模，如文本数据。可以通过下面公式二，得到t时刻的第二历史上下文h_t。

h_t＝LSTM([υ_t，a_t-1]，h_t-1) 公式二

其中，h_t为t时刻的第二历史上下文；h_t-1为t-1时刻的第一历史上下文；υ_t为t时刻的加权和；a_t-1为设备在t-1时刻的历史行为标识。

LSTM将υ_t、a_t-1和h_t-1编码为h_t。利用公式二进行迭代计算，获得h₀至h_t。

在步骤1051-4中，按照注意力机制对设备运行指令、每个预测运行轨迹对应的第二历史上下文和所有预测部件行为数据进行处理，确定最佳预测运行轨迹，设备运行指令包括多个部件运行指令。

步骤1051-4可以通过以下方式实现：

第一步骤、针对每个预测运行轨迹，按照注意力机制对对应的第二历史上下文和所有部件运行指令进行处理，得到t时刻的文本上下文。

使用语言编码器LSTM将设备运行指令X编码成一组文本特征

深度学习里的Attention model其实模拟的是人脑的注意力模型，本步骤学习了以历史上下文h_t为条件的文本，通过注意力模型了解下一步应该关注哪些子指令。可以通过下面公式三，得到t时刻的文本上下文。

其中，

为t时刻的文本上下文；h_t为t时刻的第二历史上下文；

为设备运行指令包括的部件运行指令w的文本集合；i为部件运行指令的标识；n为部件运行指令的数量。

第二步骤、按照注意力机制对t时刻的文本上下文和对应的所有预测部件行为数据进行处理，得到t时刻的状态上下文。

可以通过下面公式四，得到t时刻的状态上下文。

其中，为t时刻的状态上下文；

为t时刻的文本上下文；

为t时刻全部部件的预测部件行为数据的集合，j为部件的标识；m为部件的数量。

第三步骤、对对应的第二历史上下文、文本上下文和状态上下文进行双线性点积计算，得到预测运行轨迹的评估数据。

可以通过下面公式五，得到预测运行轨迹的评估数据。

其中，P_k为设备按照预测运行轨迹运行时的运行方向评估数据，以概率形式表示；h_t为t时刻的第二历史上下文；

为t时刻的文本上下文；

为t时刻的状态上下文。

运行方向评估数据可以是设备正常运行的概率、设备出现故障的概率、设备能够达到目标运行状态的概率或设备无法达到目标运行状态的概率等。

第四步骤、将最佳评估数据对应的预测运行轨迹确定为最佳预测运行轨迹。

例如，当运行方向评估数据为设备能够达到目标运行状态的概率时，将概率最大的预测运行轨迹确定为最佳预测运行轨迹。当运行方向评估数据为设备出现故障的概率时，将概率最小的预测运行轨迹确定为最佳预测运行轨迹。

在一个可选的实施例中，设备可以在每个运行时刻使用上述预测方法，预测当前时刻的预测运行数据并按照该预测运行数据运行。该预测运行数据包括全局部件的预测部件运行数据。

这时步骤1052可以通过以下方式实现：从最佳预测运行轨迹中，获取设备在t时刻的最佳预测行为数据a_t，控制设备在t时刻按照最佳预测行为数据a_t运行。在进行到t+1时刻时，设备从t+1时刻预测的最佳预测运行轨迹中，获取设备在t+1时刻的最佳预测行为数据，控制设备在t+1时刻按照t+1时刻的最佳预测行为数据运行。

设备在每个运行时刻预测当前时刻的预测运行数据并按照该预测运行数据运行，能够根据自身设备的运行情况，及时对运行轨迹进行调整，更有利于设备向目标运行状态的方向运行。

在一个可选的实施例中，为提高学习到的策略的泛化性，提出了自监督学习方法，通过模仿自己以往的良好决策的方式预测没有先验知识的设备状态，从而得到更好、更高效的策略，这极大程度减小了在已有知识和无先验知识的环境中预测成功率的表现差别，提高了预测的准确性。

具体地，设备利用神经网络进行运行轨迹预测，使用预测运行轨迹和设备按照预测运行轨迹运行的情况，对神经网络的网络参数进行调整，使得神经网络对运行轨迹的预测结果更加准确。

使用预测运行轨迹和设备按照预测运行轨迹运行的情况，对神经网络进行网络参数调整的方式有多种。例如，第一种调整方式：当设备在每个运行时刻预测当前时刻的预测运行数据并按照预测运行数据运行时，设备在按照所有运行时刻的最佳预测行为数据运行结束后，即在按照预测运行轨迹运行结束后，获取设备的实际运行状态；当实际运行状态与目标运行状态满足差异范围时，根据实际运行状态和目标运行状态之间的差异，确定神经网络的第一网络损失；基于第一网络损失，对神经网络的网络参数进行调整。当实际运行状态与目标运行状态不满足差异范围时，判定预测运行轨迹不符合要求，不使实际运行状态进行神经网络优化。

可以将第一种调整方式称为外部奖励调整方式，外部奖励量度的是设备的每个部件的动作的成功信号和预测误差。

第二种调整方式：参见图5，为本申请设备运行控制方法的另一个实施例示意图，神经网络包括：轨迹预测子网络π_θ、轨迹评估子网络V_β、仿真子网络；其中，轨迹预测子网络π_θ用于进行轨迹预测，得到多个预测运行轨迹{τ₁,τ₂,…,τ_K}，K为预测运行轨迹的数量，并将多个预测运行轨迹传输给轨迹评估子网络V_β；轨迹评估子网络V_β用于对多个预测运行轨迹进行轨迹评估，从中确定出最佳预测运行轨迹和非最佳预测运行轨迹，并将最佳预测运行轨迹和非最佳预测运行轨迹传输给仿真子网络；仿真子网络根据最佳预测运行轨迹和非最佳预测运行轨迹之间的差异，对神经网络的网络参数进行调整。

具体地，设备还可以执行以下操作：按照多个预测运行轨迹，仿真运行设备；确定每个预测运行轨迹执行结束后设备的性能评估数据；确定最优性能评估数据对应的预测运行轨迹为最佳预测运行轨迹，以及确定剩余的预测运行轨迹为非最佳预测运行轨迹；根据最佳预测运行轨迹和非最佳预测运行轨迹之间的差异，确定神经网络的第二网络损失值；基于第二网络损失值，对所述神经网络的网络参数进行调整。

性能评估数据可以包括以下至少一项：达到目标状态、未达到目标状态、与目标状态的匹配程度、发热量、使用功率等参数。最优性能评估数据包括：达到目标状态、与目标状态的匹配程度最大、发热量最小等。

可以将第二种调整方式称为内部奖励优化方式，内部奖励量度的是设备运行指令X与预测运行轨迹τ之间的匹配情况。

预先训练一个轨迹评估子网络V_β来计算循环重构内部奖励Rintr，促进设备运行指令X与轨迹τ的匹配对齐。它鼓励尊重指令，并惩罚偏离指令指示的轨迹。

可以通过下面公式六，计算内部奖励Rintr。

R_intr＝V_β(X，τ)＝V_β(X，π_θ(X)) 公式六

实现匹配评估的一种方法是测量循环重构奖励P＝(X＝X|π_θ(X))，即给定轨迹下重构设备运行指令X的概率由τ＝π_θ(X)执行。

可以通过下面公式七，计算内部奖励Rintr。

R_intr＝P_β(X，π_θ(X))＝P_β(X，τ) 公式七

可以根据内部奖励Rintr确定RL损失和不可微损失函数梯度，基于此对神经网络的网络参数进行调整。

在一个可选的实施例中，步骤105可以通过以下方式实现：首先，获取预测运行轨迹中t时刻的预测行为数据；其次，判断预测行为数据是否满足预设运行数据条件，预设行为数据条件限定了设备正常运行时的运行数据范围；最后，当预测行为数据满足预设运行数据条件时，控制设备按照预测行为数据运行。当预测行为数据不满足预设运行数据条件时，输出故障预测提示信息；和/或，当预测行为数据不满足预设运行数据条件时，停止设备运行。

预设运行数据条件包括针对不同部件设置的部件运行数据条件。例如，针对电机设置的预设转速范围，当电机转速超过预设转速范围时，输出电机的故障提示信息；针对球管设置的预设温度范围，当球管升温过程中的温度超过预设温度范围，输出球管的故障提示信息。

基于上述操作的设置，使得设备具有故障预测功能，只在正常预测运行数据下运行，实现安全使用。

上述图1至图3所示流程中的各个步骤，其执行顺序不限制于流程图中的顺序。此外，各个步骤的描述，可以实现为软件、硬件或者其结合的形式，例如，本领域技术人员可以将其实现为软件代码的形式，可以为能够实现所述步骤对应的逻辑功能的计算机可执行指令。当其以软件的方式实现时，所述的可执行指令可以存储在存储器中，并被系统中的处理器执行。

与前述设备运行控制方法的实施例相对应，本申请还提供了设备运行控制方法装置及设备的实施例。

参见图6，为本申请设备运行控制方法装置的一个实施例框图，该装置可以包括：获取模块21、确定模块22、采集模块23、预测模块24和控制模块25；其中，

所述获取模块21，被配置为获取设备运行指令；

所述确定模块22，被配置为利用神经网络根据所述设备运行指令确定设备需要达到的目标运行状态；

所述采集模块23，被配置为采集所述设备进入t时刻后，能够反映所述设备在所述t时刻运行状态的多模态数据；

所述预测模块24，被配置为基于所述多模态数据和所述目标运行状态，对所述设备的包括所述t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹；

所述控制模块25，被配置为控制所述设备按照所述预测运行轨迹运行。

参见图7，为本申请设备的一个实施例示意图，该设备可以包括：通过内部总线310连接的存储器320、处理器330和外部接口340。

其中，所述外部接口340，用于获取数据；

存储器320，用于存储设备运行控制对应的机器可读指令；

处理器330，用于读取存储器320上的所述机器可读指令，并执行所述指令以实现如下操作：

获取设备运行指令；

利用神经网络根据所述设备运行指令确定设备需要达到的目标运行状态；

采集所述设备进入t时刻后，能够反映所述设备在所述t时刻运行状态的多模态数据；

基于所述多模态数据和所述目标运行状态，对所述设备的包括所述t时刻在内的后续运行时段的运行轨迹进行预测，得到预测运行轨迹；

控制所述设备按照所述预测运行轨迹运行。

在本申请实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。