发明内容

本发明的目的是提出一种改进的方法以及一种改进的设备，借助所述方法和/或设备可以在质量保证方面监控工业过程的手动的过程步骤。

所述目的借助根据权利要求1的方法以及根据权利要求9的对应的设备根据本发明来实现。有利的设计方案在相应的从属权利要求中得出。

根据权利要求1，提出一种用于借助于监控系统来监控工业过程的工业过程步骤的方法，其中首先提供监控系统的机器学习系统。提供的机器学习系统具有至少一个机器训练的决策算法，所述决策算法包含作为输入数据的数字图像数据和作为输出数据的工业过程步骤的过程状态之间的相关性。机器学习系统因此借助至少一个决策算法提供给系统，其中数字图像数据作为输入数据关于其相应的过程状态被学习，使得通过输入数字图像数据基于经学习的普遍性的原理可以从经学习的相关性中推导出和确定相应的过程状态。

为了监控工业过程步骤、尤其通过人手动地或手工地执行的过程步骤，现在借助于至少一个图像记录单元的至少一个图像传感器来连续地记录数字图像数据。数字图像传感器在此可以由人佩戴在身体上并因此尤其在人的视线或操作范围中记录数字图像数据。在此可以提出，多个人参与待执行的过程步骤，其中这些人中的多个人可以配备图像记录单元。但是也可考虑的是，一个或多个人的视线和/或操作范围通过至少一个静态的图像记录单元和相应的图像传感器来记录。

经由有线的或无线的连接，所述通过至少一个图像记录单元记录的数字图像数据传送给具有至少一个决策算法的机器学习系统，其中基于作为到决策算法中的输入数据的数字图像数据，确定对此学习的过程状态作为输出数据。基于确定的过程状态，现在操控输出单元，使得将视觉的、声学的和/或触觉的输出对人、尤其参与该过程的人输出。

因此例如可考虑，在表征过程步骤的有错误的状况的识别到的过程状态中，将相应的视觉的、声学的和/或触觉的警告输出给人，以便因此意识到有错误的过程进程。

由此可能的是，在执行尤其手动的过程步骤时出现过程错误期间，已经可以向人指示相应的有错误地执行的过程进程，使得这种有错误的过程进程在整个工业过程中不进一步地传播并从而可能引起更大的损坏。更确切地说，通过本发明在执行手动的过程步骤时的错误在出现期间已经可以识别，并且将其指示给相关人员。此外也可能的是，在手动质量保证的范围中，通过自动识别有错误的构件支持对质量保证负责的人，从而改进和更有效地进行质量保证的过程步骤。此外，借助于本发明可以将手动执行的过程步骤存档，由此可以满足在执行安全攸关的过程步骤时的编档责任。

具有决策算法的机器学习系统例如可以在计算单元上执行，其中计算单元连同数字图像传感器一起可以安置在移动设备中并且由相关的人携带。此外也可考虑的是，具有决策算法的数字计算单元是更大的数据处理设施的组成部分，图像记录装置或数字图像传感器无线地或有线地与所述数据处理设施连接。当然也可考虑两个变型形式的混合形式，即决策算法的中央的和非中央的提供。

在一个实施方式中，机器学习系统的决策算法是人工神经网络，所述人工神经网络经由相应的输入神经元获得数字图像数据(在处理状态中或在未处理状态中)作为相应的输入数据，并且通过人工神经网络的相应的输出神经元生成输出，其中输出表征工业子过程的过程状态。由于在训练方法中训练人工神经网络连带其加权连接使得其可以将学习数据普遍化的能力，当前记录的图像数据可以作为输入数据提供给人工神经网络，使得基于学习可以将记录的图像数据与相应的过程状态相关联。

在一个实施方式中，数字图像数据通过至少一个移动设备记录，其中移动设备由参与工业过程步骤的人携带，并且其中在移动设备上设置有一个或多个数字图像传感器。由移动设备记录的图像数据随后被传输给具有至少一个决策算法的机器学习系统。

这种移动设备例如可以包含或是可由人佩戴的眼镜构造，其中在可佩戴的眼镜构造处设置有至少一个图像传感器。借助于由人佩戴的眼镜构造现在记录图像数据并且将其传输给具有决策算法的机器学习系统。数字图像传感器在此设置在眼镜构造处，使得当眼镜构造作为眼镜由人佩戴时，其记录人的视线范围。因为通常头沿视线方向定向，所以优选地人的操作范围或部段在人看向相应的方向时也被记录。这种具有眼镜构造的移动设备例如可以是VR眼镜(虚拟现实)或AR眼镜(增强现实)。

眼镜构造在此可以与在上文中描述的计算单元连接或者具有这种计算单元。在此可考虑的是，眼镜构造具有通信模块，以便当计算单元与机器学习算法的知识数据库设置在远离的地点处时，与计算单元通信。这种通信模块例如可以是无线的或有线的并且针对相应的通信标准，如蓝牙、以太网、WLAN等。借助于通信模块在此可以传输图像数据和/或当前过程状态，其借助于决策算法已经已知。

在此，输出单元为了视觉的、声学的和/或触觉的输出设置在眼镜构造处，使得输出单元可以产生给人的相应的视觉的、声学的和/或触觉的输出。在具有眼镜的相应的增强现实系统中可考虑的是，在人的视线范围中投影视觉类型的相应的指示，以便将从机器学习系统中确定的过程状态作为相应的输出传送给人。如果例如眼镜构造在空间中的位置以及其定向是已知的，那么除了纯视觉的输出之外也可以进行地点准确的输出，即人的可以通过人眼感觉到的周围环境通过相应的指示在视觉上被扩展，使得所述指示直接处于人的周围环境中的相应的物体处。

可考虑的是，声学输出呈语音输出、音调或其他声学指示的形式。触觉输出是可考虑的，例如呈振动等的形式。

数字图像传感器例如可以为用于记录2D图像数据的2D图像传感器。在该情况下，通常数字图像传感器足以。但是也可考虑的是，数字图像传感器是用于记录数字3D图像数据的3D图像传感器。也可考虑2D和3D图像数据的相应的组合。所述2D图像信息或3D图像信息于是根据机器学习系统的至少一个决策算法作为输入数据提供，以便获得过程状态作为输出数据。通过3D图像数据或者2D和3D图像数据的组合，实现明显更高的输出精度。因此，与3D图像数据或2D和3D图像数据的组合相关地，可以检测物理对象的相应的(附加的)参数，如例如大小和比值，并且在确定当前过程状态时一起考虑。此外，借助于3D图像数据在本发明的上下文中可以确定附加的深度信息，并且在确定当前过程状态时一起考虑。

借助于3D图像数据此外尤其可以扫描、测量对象和/或测量距其的距离并且在确定当前过程状态时一起考虑。这改进方法，因为检测和评估例如用于识别有错误的构件的其他信息并从而改进质量保证的过程步骤。

3D图像传感器例如可以为所谓的渡越时间相机。但是也存在其他的、已知的图像传感器，其可在本发明的上下文中使用。

此外可考虑的是，从3D图像数据中确定的、可以从3D图像数据中直接地或间接地推导的参数、如例如大小、关系、距离等至少部分地一起学习。因此，决策算法不仅包含在图像数据和过程状态之间的相关性，而且附加地在一个有利的设计方案中也还包括从3D图像数据或者2D和3D图像数据的组合中推导出来的过程参数和过程状态之间的相关性。由此可以改进识别精度。

但是作为具有图像传感器的移动设备也可考虑电话，如例如智能电话或平板电脑。移动设备在此除了图像记录单元之外也可以包含输出单元，使得相应的佩戴移动设备的人也可以通过移动设备感受输出单元的相应的输出。

监控系统在此可以设立成，使得在训练模式中机器学习系统的至少一个决策算法通过记录的数字图像数据学习。在此可考虑的是，首先机器学习系统的决策算法在训练模式中被训练并且随后仅在生产模式中运行。但是也可考虑训练模式和生产模式的组合，使得不仅连续地从机器学习系统的决策算法中确定过程状态作为输出数据，而且持续地也进一步地学习决策算法(和在其中存储的知识基础)(例如以公开的学习方法的形式)。由此可行的是，持续地发展决策算法，以便因此改进输出性能。

在此可考虑的是，机器学习方法的决策算法在第一可行的替选方案中在计算单元上作为实例运行，使得生产模式和可能训练模式基于相同知识或借助相同决策算法执行。在另一替选方案中但是也可考虑，至少一个决策算法在两个分离的计算单元上运行或者在一个计算单元中作为至少两个实例存在，其中执行决策算法的第一实例的生产模式，而同时在第二实例上执行训练模式。因此，在生产模式中，决策算法保持不变，而决策算法的第二实例持续发展。如果具有决策算法的机器学习系统在移动计算单元上执行，那么第二替选方案是特别有利的。因为在此通常计算能力并不提供给复杂的训练模式，在移动式计算单元中可以仅执行生产模式，而在远离设置的第二计算单元(例如服务器设施)上学习另一知识数据库。

据此有利的是，在训练模式中通过机器学习系统的训练模块基于记录的数字图像数据学习决策算法的一个或多个参数，和/或在生产模式中通过机器学习系统的决策算法确定工业过程步骤的至少一个当前过程状态。

在另一有利的实施方式中，工业过程步骤的至少一个当前过程状态通过在至少一个移动设备上执行的决策算法确定，其中移动设备由参与工业过程步骤的人携带。在此可考虑的是，也存在多个移动设备，在所述移动设备上分别执行机器学习系统的相应的决策算法，使得在每个移动设备处借助于执行的决策算法确定相应当前过程状态。

在此可考虑的是，将记录的数字图像数据传输给在网络中可访问的数据处理设施，其中通过机器学习系统的在数据处理设施上执行的训练模块基于记录的数字图像数据来学习决策算法的一个或多个参数，并且随后决策算法的参数由数据处理设施传输给由人携带的移动设备并且作为决策算法的基础。

由此可能的是，持续地借助记录的数字图像数据训练决策算法，并且以规则的间隔随后将经训练的决策算法的参数传输给相应的移动设备，以便因此持续地改进用于决策算法的基础或知识基础。由于移动设备不具有用于基于新记录的图像数据来训练决策算法的参数所需要的计算能力的事实，有利的是，在不同的设备上执行生产模式和训练模式。在此，大型服务器设施特别好地适合于训练这种决策算法。

替选地或附加地但是也能够考虑的是，将记录的数字图像数据传输给在网络中可访问的数据处理设施，其中工业过程步骤的至少一个当前的过程状态通过在数据处理设施上执行的决策算法确定，其中随后地，与工业过程步骤的确定的当前过程状态相关地通过数据处理设施操控输出单元，以产生视觉的、声学的和/或触觉的输出。在此可以提出，通过机器学习系统的在数据处理设施上执行的训练模块基于记录的数字图像数据学习决策算法的一个或多个参数。输出单元的操控在此可以直接地通过数据处理设施进行或者间接地通过插接一个或多个移动设备进行。

在该实施方式中，因此生产模式和可能训练模式在网络中可访问的数据处理设施上执行，使得只要输出单元设置在移动设备上，由移动设备仅传输图像传感器的图像数据，当前过程状态的结果向回传输到移动设备上。

在此可考虑的是，对于每个移动设备在数据处理设施上存在自身的决策算法，所述决策算法在训练模式中学习。数据处理设施于是可以设立成，使得其为了改进结果将决策算法彼此组合，以便这样将其进一步地优化。然而也可考虑的是，对于多个移动设备在数据处理设施上仅存在唯一的决策算法，所述决策算法通过多个不同的移动设备的输入在训练模式中训练。

如果在数据处理设施上存在多个决策算法，那么也能够考虑的是，其彼此无关地学习和从而随后选择最佳训练的决策算法。选择在此可以根据不同的标准进行，如例如识别质量、知识结构的简单性等。

在该上下文中，因此特别有利的是，例如在数据处理设施上存在的决策算法从多个彼此独立地训练的决策算法中与选择标准和/或优化标准相关地选择。这种选择标准和/或优化标准在此例如可以是识别质量、简单性、知识结构、在其上执行决策算法的移动设备的特性等。

选择的决策算法于是用于确定当前过程状态。这例如可以通过如下方式实现：将图像数据传输给数据处理单元并且在那里作为输入数据作为选择的决策算法的基础。然而这也可以通过如下方式实现：决策算法传输到相关的移动设备上并且在那里应用。

由此可以实现有效地选择最优地匹配于当前的情形的决策算法。因此例如可以选择决策算法，使得其最优地匹配于移动设备。如果移动设备例如为资源受限的或资源薄弱的设备(相对于其他移动设备减小的性能)，那么可以选择最优地匹配于在移动设备中存在的资源条件的决策算法。这例如可以表示，决策算法不是那么计算密集的并从而可以在移动设备上优化地执行(然而对此可能具有减小的精度或速度或效率)。这例如可以通过决策算法的简化的知识结构来实现。这当然也适用于监控系统。

但是也可考虑的是，生产模式在移动设备上执行和从而每个移动设备具有决策算法，由数据处理设施和在那里训练的决策算法将在那里存在的决策算法的参数传输给全部(或者其中选择的)移动设备上，以便因此将不同的经训练的决策算法在移动设备上组合。

所述目的此外也借助根据权利要求9的监控系统来实现，其中监控系统具有如下：

-至少一个图像记录单元，所述图像记录单元具有至少一个数字图像传感器用于记录数字图像数据；

-具有至少一个机器训练的决策算法的机器学习系统，所述决策算法包含作为机器学习系统的输入数据的数字图像数据和作为机器学习系统的输出数据的要监控的工业过程步骤的过程状态之间的相关性；

-至少一个计算单元，用于借助于可在计算单元上执行的决策算法来确定工业过程步骤的至少一个当前过程状态，其方式为：基于经训练的决策算法从作为机器学习系统的输入数据的所记录的数字图像数据中生成工业过程步骤的当前的过程状态作为机器学习系统的输出数据；和

-输出单元，所述输出单元设立用于与至少一个确定的当前过程状态相关地产生视觉的、声学的和/或触觉的输出。

监控系统的有利的设计方案在对应的从属权利要求中得出。

因此可以提出，机器学习系统是或者包含人工神经网络作为决策算法。

此外可以提出，监控系统具有至少一个移动设备，所述移动设备构成用于由至少一个人携带，并且在所述移动设备上设置有图像记录单元的至少一个数字图像传感器，使得可以记录数字图像数据，其中移动设备设立成，将所记录的数字图像数据传输给机器学习系统。

此外可以提出，监控系统具有训练模式，其中通过机器学习系统的训练模块基于所记录的数字图像数据来学习决策算法的一个或多个参数，和/或监控系统具有生产模式，其中通过机器学习系统的决策算法来确定工业过程步骤的至少一个当前过程状态。

此外可以提出，监控系统具有带有计算单元的移动设备，所述移动设备可以由参与工业过程步骤的人携带，其中移动设备设立成，通过在计算单元上执行的决策算法来确定工业过程步骤的至少一个当前过程状态。

此外可以提出，监控系统具有在网络中可访问的数据处理设施，所述数据处理设施设立成，接收由图像记录单元所记录的数字图像数据，通过机器学习系统的在数据处理设施上执行的训练模块基于接收的数字图像数据来学习决策算法的一个或多个参数，并且随后将决策算法的参数由数据处理设施传输给由人携带的移动设备。

此外可以提出，监控系统具有在网络中可访问的数据处理设施，所述数据处理设施设立成，接收由图像记录单元记录的数字图像数据，通过在数据处理设施执行的决策算法来确定工业过程步骤的至少一个当前过程状态，并且与工业过程步骤的确定的当前过程状态相关地操控输出单元，以产生视觉的、声学的和/或触觉的输出。

在此可以提出，数据处理设施此外设立成，通过机器学习系统的在数据处理设施上执行的训练模块基于接收的数字图像数据来学习决策算法的一个或多个参数并且作为决策算法的基础。

在此附加地始终可以提出，存在多于一个的决策算法，尤其用于训练模式或训练模块的决策算法和用于生产模式或生产模块的决策算法。在此，对于每个移动终端设备不仅在训练模式中而且在生产模式中可以分别存在自身的决策算法。但是也可考虑的是，对于确定的移动设备组存在自身的决策算法，所述决策算法通过移动设备组共同地在训练模式中学习。这样针对移动设备组训练的决策算法于是通过其参数也仅传输给处于组中的移动设备。