阅读说明：本技术 监测机器人机械状况的装置和方法 (Device and method for monitoring mechanical condition of robot ) 是由 A·马亚里 N·森 T·洛克 高文智 戴丹 S·扎赫拉伊 于 2019-08-21 设计创作，主要内容包括：本发明涉及监测机器人机械状况的装置和方法。机器人的机械状况监测可以用于检测机器人的意外故障。处理取自机器人操作的数据,并且将该数据与健康基线进行比较。在机器人操作的监测阶段期间提取的特征与在训练阶段期间提取的特征对准,其中健康基线通过将上述两者投影到共同子空间上来建立。可以包括距离评估(诸如L2范数)的分类器被用在公共子空间内以评估机器人的状况。距离评估离标准的偏移指示故障或潜在故障。(The invention relates to a device and a method for monitoring the condition of a robot machine. Mechanical condition monitoring of the robot may be used to detect unexpected faults of the robot. Data taken from the robot operation is processed and compared to a healthy baseline. Features extracted during the monitoring phase of the robot operation are aligned with features extracted during the training phase, wherein a healthy baseline is established by projecting both onto a common subspace. Classifiers, which can include distance evaluations (such as the L2 norm), are used within a common subspace to evaluate the condition of the robot. An offset of the distance assessment from the criteria indicates a fault or potential fault.)

监测机器人机械状况的装置和方法

技术领域

本发明总体涉及状况监测，并且特别地但不排他地涉及操作独立的机器人状况监测。

背景技术

当前的机械状况监测算法是依赖于操作的，这要求具有操作移动(诸如与生产环境相关联的那些移动)的集合的当前机器人操作与用于建立健康基线的机器人数学模型的机器人操作的移动相同，以用于比较目的。由于机器人在正在进行的生产环境中的操作移动必须停止(至少在当前机器人操作与用于建立基线的操作不相同时)以允许与健康基线模型进行比较，所以对于类似移动的这种要求可能妨碍高效操作。如果操作者选择放弃维护监测以便增加正常运行时间(uptime)，则可能产生问题，在最坏的情况下导致机器人的崩溃。因此，在该技术领域中仍然需要进一步的贡献。

发明内容

本发明的一个实施例是一种独特的状况监测设备。其他实施例包括用于独立于特定机器人操作来监测机器人的状况的装置、系统、设备、硬件、方法和组合。根据本文提供的描述和附图，本申请的进一步的实施例、形式、特征、方面、益处和优点将变得清楚。

附图说明

图1示出了机器人的一个实施例。

图2示出了计算设备的实施例。

图3示出健康监测评估方法。

图4示出健康监测评估方法。

图5示出了使用本文描述的技术的数据的比较。

图6示出了使用本文描述的技术的数据的比较。

具体实施方式

为了促进对本发明的原理的理解，现在将参考附图中所示的实施例，并且将使用具体语言来描述这些实施例。然而，应当理解，并不旨在由此限制本发明的范围。在所描述的实施例中的任何改变和进一步的修改以及如本文所描述的本发明的原理的任何进一步的应用被设想为本发明所涉及领域的技术人员通常将想到的。

参考图1，机器人50的示意图包括可用于机器人以实现动作的多个可移动机器人部件52。在图示的实施例中，机器人50 被描绘为使用执行器56与目标54交互，但是将理解，机器人可以采取其他角色，这些角色可以涉及或可以不涉及与对象的物理交互，诸如机器人50仅限于观察的那些角色。如图1所示，机器人50可以安装在固定基座上，但是也可以考虑其它形式，诸如涉及移动机器人的形式。机器人部件52可以采取能够用于定位执行器56的任何各种形式，诸如臂、连杆、梁等。机器人50 可以包括任何数目的可移动部件52，该可移动部件52可以采用不同的尺寸、形状和其他特征。此外，部件52可以通过诸如连杆和/或齿轮58(仅为了阐述两个示例)的任何各种有用的机构而彼此互连。部件52可以经由任何合适的致动设备60(诸如电致动器、气动或液压活塞、机电致动器等)而被致动。执行器 56可以采用任何各种形式，诸如夹持器、抽吸执行器、带等。如将理解的，传感器62可以用于检测机器人50的操作状况。这样的传感器62可以是机器人50的一部分，可以与机器人50耦合，或者可以远离机器人50。仅为了阐述一些非限制性示例，传感器62可以与用于使得机器人移动的致动器60相关联，诸如电流传感器、液压压力传感器等。在附加和/或备选形式中，该传感器62可以是用于检测机器人的位置、取向、操作状况等的独立传感器。例如，振动传感器62可以用于感测机器人的状况。在另外的附加和/或备选形式中，传感器62可以是用于检测机器人50的电磁状况的相机。

机器人50可以耦合到计算设备55，该计算设备55可以是机器人50本地的、或者位于远程位置。这种计算设备55可以用于控制、观察和/或估计机器人50的状况以及其它潜在用途。如下面将进一步描述的，计算设备55的实施例可以用于检测机器人50的相对健康。应当理解，实施例还可以应用于其它机械可移动设备，无论是否为机器人类型。

现在转向图2，并且继续参考图1，描绘了用于控制、观察、估计状况和/或评估机器人50的健康的计算设备55的示意图。计算设备55包括处理设备64、输入/输出设备66、存储器68和操作逻辑70。此外，计算设备55可以被配置为与一个或多个外部设备72通信。

输入/输出设备66可以是允许计算设备55与外部设备72通信的任何类型的设备。例如，输入/输出设备可以是网络适配器、 RF设备、网卡、或端口(例如，USB端口、串行端口、并行端口、VGA、DVI、HDMI、火线、CAT 5或任何其他类型的端口)。输入/输出设备66可以包括硬件、软件和/或固件。可以预期的是，输入/输出设备66包括这些适配器、卡或端口中的多于一个。

外部设备72可以是允许从计算设备55输入或输出数据的任何类型的设备。在一个非限制性示例中，外部设备72是传感器62中的一个或多个传感器。仅为了阐述若干附加的非限制性示例，外部设备72可以是另一计算设备、服务器、打印机、显示器、警报器、照明指示器、键盘、鼠标、鼠标按键或触摸屏显示器。此外，可以预期的是，外部设备72可以集成到计算设备55 中。例如，计算设备55可以是智能电话、膝上型计算机或平板计算机。还可以想到的是，可以存在与计算设备55通信的多于一个外部设备。外部设备可以与计算设备55位于同一位置，或者备选地位于远离计算机的位置。

处理设备64可以是可编程类型、专用硬连线状态机或它们的组合；并且还可以包括多个处理器、算术逻辑单元(ALU)、中央处理单元(CPU)等。对于具有多个处理单元的处理设备 64的形式，可以适当地利用分布式、流水线化和/或并行处理。处理设备64可以专用于仅执行本文中所描述的操作，或者可以利用在一个或多个额外应用中。在所描绘的形式中，处理设备 64是根据由存储在存储器68中的编程指令(诸如软件或固件) 所定义的操作逻辑70来执行算法和处理数据的可编程类型。备选地或附加地，用于处理设备64的操作逻辑70至少部分地由硬连线逻辑或其他硬件来定义。处理设备64可以由适合于处理从输入/输出设备66或其它地方接收的信号、并且提供期望输出信号的任何类型的一个或多个部件组成。这种部件可以包括数字电路、模拟电路或两者的组合。

存储器68可以是一种或多类型，诸如固态类型、电磁类型、光学类型或这些形式的组合。此外，存储器68可以是易失性的、非易失性的或这些类型的混合，并且存储器68中的一些或全部存储器68可以是便携式的类型，例如盘、带、记忆棒、盒式磁带等。另外，存储器68可以存储由处理设备64的操作逻辑70 操纵的数据，仅举一个示例，诸如表示从输入/输出设备66接收和/或发送到输入/输出设备66的信号的数据，作为存储定义操作逻辑70的编程指令的补充、或者代替存储定义操作逻辑70 的编程指令。如图2所示，存储器68可以被包括在处理设备64 中和/或耦合到处理设备64。

操作逻辑70可以包括控制器的算法和步骤，无论控制器是否包括影响机器人50的移动和动作所必需的整个算法套件，或者计算设备55是否仅包括评估机器人50的健康所必需的算法。操作逻辑可以被保存在存储器设备中、无论是易失性或非易失性类型，并且可以以任何合适的类型表达，诸如但不限于源代码、目标代码和机器代码。

现在转向图3，示出了用于检测机器人50的健康状况的系统的一个实施例。在防止意外的机器人故障和崩溃时，监测机器人的健康可以是重要的。监测机器人部件52、致动设备60、传感器62中的任何项目的状况、和/或监测这些项目中的任何项目的相互作用，有助于确定机器人50的总体健康。仅在一个非限制性示例中，针对侧隙的监测可以用于评估机器人的健康状况。为了观察退化和预测故障，当机器人处于健康或基线状态时，可以利用从机器人50(或用于该目的的类似机器人)获得的信号来训练模型。与建立模型相关联的训练阶段通常由数据收集74 (数据收集74可以包括一定量的预处理)、特征提取76、数据比较78和决策制定步骤80组成，决定步骤80区分对应于健康或异常状态的数据。一个或多个计算设备55可以用于数据收集 74、特征提取76、在公共环境中的数据对准78、数据的比较以及决策制定80中的任何一个中。如还将理解的，传感器62可以用于测量相关细节并且提供用于数据收集74的数据。

一旦已经利用健康/基线机器人数据集(有时也被称为训练数据集)训练了模型，则可以将从机器人在稍后的操作中获得的信号与经训练的模型进行比较，但是必须加以注意。如本文所述，机器人可以经受由机器人部件52(和/或机器人执行器56)的特定移动序列所表征的第一组操作。机器人还可以经受由机器人部件52(和/或机器人执行器56)的相同或不同组合的不同移动序列所表征的第二组操作。因此，操作可以与训练数据相同，但不一定总是相同的。如果从机器人的操作确定的特征与模型中存在的特征显著偏离，则机器人可以被认为处于异常状态、并且未来的故障可以被预测，但是必须注意忽略完全由于操作变化以及并非健康变化所引起的差异。下面描述的实施例可以用于帮助将操作数据与机器人的健康/基线数据进行比较，而不论机器人的操作移动是否与用于评估健康/基线机器人的移动相同。本文中所描述的实施例在特征提取76之后并且在做出最终决策78之前引入流形(manifold)对准步骤。

从经由传感器62收集的数据提取相关特征的一种技术涉及主成分分析的使用。在流形对准之前在步骤76中提取特征的另一技术采用机器人信号的短时傅立叶变换(STFT)的使用，并且组合被用于特征提取。下面参考主成分分析仅仅是示例，并且不旨在进行限制，因为STFT方法也可以用于提取特征。因此，在此提及的术语“特征”可以指使用STFT以及主成分分析所提取的特征。如将理解的，可以对数据集执行主成分分析，无论数据是表示原始的或计算的数据，和/或表示从传感器收集的、通过其自身或结合其他数据而在估计例程中被进一步处理/计算和/ 或使用的数据。令v₁、v₂、…、v_P表示从训练信号提取的特征 X∈R^NXP的主成分。这些主成分(向量)跨越子空间，子空间表示训练数据。现在，令Y∈R^NXP为从测试数据中提取的具有主成分U₁、U₂，…，U_P的特征。如果X和Y是来自具有相同机器人操作的两个不同数据集的特征，则v₁、v₂、…、v_P能够表示X 和Y，并且Y可以在该子空间中与X进行比较。因此，Y从X 的偏离是异常的指示器。

如果X和Y是对应于两个不同机器人操作的特征，则v₁、v₂、…、v_P可能无法表示Y。因此，Y可以被检测为异常，即使它可能是正常行为。在这里的本申请的实施例中，X和Y的子空间被认为是流形上的两个点。假定当操作变化时，表示数据集的子空间在流形上移动。为了补偿该移动，可以在比较之前对准两个数据集的特征。当假设这些数据集共享公共底层结构时，通过将每个输入集嵌入到共享的潜在流形空间中，在对准中使用流形对准。这里所描述的技术通过无监督技术(诸如流形对准)找到测试与训练数据集之间的共同子空间，在一些实施例中该无监督技术的对准可以包括解决优化问题。

图3描绘了其中优化问题被解决以帮助确定测试和训练数据的共同子空间的实施例。确定公共子空间的非限制性技术包括域适应(Domain Adaptation)，仅举几个示例，域适应可以包括流形对准、本地线性嵌入(LLE)、低秩嵌入(LRE)和低秩对准(LRA)。还可以将数据集中的一个数据集的特征变换到数据集中的另一个数据集的子空间中。LRA是LRE的变体，并且可以用于找到v₁、v₂、…、v_P与u₁、u₂、…、u_P之间的公共子空间 (诸如使用STFT提取的特征)。用于确定LRA的一种这样的方法在Boucher,Carey,Mahadevan和Dyar的论文“Aligning Mixed Manifolds”中描述，其内容通过引用并入本文。

确定LRA的方法如下。为了开始对准，使用奇异值分解 (SVD)来分解X，X＝USV^T，V和S的列

根I₂＝{i：s_i≤1∨s_i∈S}.据集合以及而被分割成V＝[V₁V₂]和 S＝[S₁S₂]。对于在 LRE

中使用的损耗函数的最优闭合形式解决方案是

然后独立地计算R(x)、R(y)。在一种形式中，可以并行地执行计算以减少计算时间。块矩阵R,C∈R^NXN被定义为：

而且F∈R^N×d被定义为：

LRA的第二步骤是通过最小化以下损耗函数来计算X、Y的嵌入F：

其中μ∈[0,1]是控制集合间对应性的重要性的超参数。上面的等式中的第一项描述了数据集中的每一个数据集内的本地几何结构，并且上面的等式中的第二项描述了集之间的对应关系。可以如下将损耗函数减小到矩阵迹线的总和：

以与LLE和LRE类似的方式，可以引入约束F^TF＝I，以确保损耗函数

的最小化是适定的问题。

因此：

其中，M＝(I–R)^T(I-R).为了从上述等式构造损耗函数，取右侧并引入拉格朗日乘数Λ，

为了最小化上述等式，找到它的部分导数的根：

从上述等式系统中，我们留下如下的矩阵特征值问题：

为了解决上述最小化问题，计算以下矩阵的d最小非零特征向量：(1-μ)M+2μL.

因为矩阵M+L被保证是对称的、半正定的(PSD)和稀疏的，所以可以有效地解决本征问题。这些特定性质源自于

其中通过构建，

是PSD对角矩阵以及C^(X,Y)是稀疏矩阵。

以下是用于计算低秩对准的算法：

应当理解，一旦数据集已经被投影到公共子空间上，则可以在健康/基线训练数据与操作数据之间进行比较。仅为了阐述一些用以帮助比较的非限制性实施例，可以使用分类器。可以使用诸如但不限于支持向量机的分类器和诸如L2范数的各种距离技术。

图5和图6示出了使用本文描述的技术的若干结果。图5表示当存在仅对机器人50的操作变化时、使用流形对准与不使用流形对准的数据的比较。图5的顶部曲线示出了在机器人的操作与用于执行训练的操作不相同的情况下所得到的差异，并且还表示在主成分分析结果未被投影到公共子空间上的情况下所得到的差异。在图5的顶部曲线中示出了当不使用流形对准时被检测为异常的操作变化，并且其中对STFT输出使用主成分分析。注意X与Y之间的差异的大的L2范数。图5中的底部曲线示出了使用STFT的结果，并且其中示出了在使用流形对准投影到公共子空间上后两个数据集X与Y之间的差异的L2范数。注意图5 的底部曲线中的X与Y之间的差异的相对较小的标度以及对操作变化的灵敏度的缺乏。

图6描绘了另一个实验，这次是没有使用操作变化、但是引入了机器人故障的一个实验。图6的顶部曲线再次用于示出L2 范数，其中数据集没有被投影到公共子空间上，并且其中在STFT 输出上使用主成分分析。图6的底部曲线图示了使用STFT的结果，并且其中使用流形对准将数据集的L2范数投影到公共子空间上。图6示出了两种技术都可以用于确定机器人故障。组合图5和图6的结果，可以看出，本文中用于将数据集投影到公共子空间上的技术对机器人操作变化相对不敏感，并且对检测机器人故障仍然敏感。

现在返回图2和图3，并且继续参考图1，还将描述如何收集、计算、共享和作用数据的各种其他方面。实现本文中所描述的子空间投影/对准技术的机器人50和计算设备55两者(称为诊断设备)可以相对于彼此本地定位，但这样的配置并非必要条件。在一个形式中，与机器人的操作(例如，经由传感器62) 相关的数据可以被直接传输到诊断设备，无论定位在本地还是彼此远离。例如，可以经由可以采用任何类型的数据格式(例如，分组传输、脉冲宽度调制等)的有线和/或无线技术来传输数据。在另一备选和/或附加形式中，来自传感器62的数据可以被递送到要由诊断设备访问的数据云。所传输的数据可以表示由传感器收集的原始数据，但在一些实施例中，该数据可以表示在递送到诊断设备之前已经被预处理(例如，从仪表计数到测量单位等的转换)和/或进一步被计算、处理等的测量结果，数据可以由单个计算设备55处理以确定机器人50的健康，但是在其他形式中，计算设备55可以是分布式计算设备，其中不同的计算/分析/步骤由分散在分布式资源上的各种设备执行。应当理解，诊断设备在一些形式中可以驻留在机器人上，并且在其他形式中可以是远程的。

从分类器计算的数据(例如，回归计算(例如，L2范数)) 在数据集已经被投影到公共子空间之后可以被共享回到机器人的本地区域，它可以被用于检查的数据库中、和/或它可以被存储以用于稍后的评估以及其他潜在用途。本文的技术可以利用可用于识别机器人故障的标准。仅为了阐述一个非限制性示例，由 L2范数计算的距离的绝对值可以用于定义标准，该标准定义不健康机器人。在其它形式中，由L2范数计算的相对值也可以用作标准，仅为了阐述一些非限制性示例，诸如从诸如平均值的值的偏移。可以针对其他分类器进行其他类似或不同的确定。

如果从分类器计算的数据超过标准，则可以设置指示(例如，如果距离(例如L2范数)的绝对值/相对值/等超过标准，则可以设置指示)。这样的指示可以包括进入到日志中的文本警告、计算机屏幕上的可视警告、机器人的本地区域中的可听警告、警告灯等，这样的指示可以是总体检查机器人的一般警告，而其他指示可以关于替换或修复特定机器人部件是特定。简而言之，任何数目的被动和主动的技术都可以被用于自动标记机器人的不健康状态。

本申请的一个方面包括一种装置，包括：机器人，具有被构造成在机器人的操作期间经受相对机械移动的部件；传感器，与该机器人耦合，被配置成检测部件的操作状况；诊断设备，被配置成从传感器接收测量结果并且包括具有训练数据的存储器，诊断设备被配置为在机器人的健康变化与机器人的操作变化之间进行区分，并且具有基于计算机的指令，该诊断设备被构造为：从传感器计算对测量结果的主成分分析以提供操作数据，确定训练数据与操作数据之间的公共子空间，以及在公共子空间中利用在训练数据上训练并且应用于操作数据的分类器。

本申请的特征提供其中诊断设备包括计算机处理设备和计算机存储器，其中存储器包括基于计算机的指令，该基于计算机的指令在由计算机处理设备执行时操作以提供指示公共子空间中的训练数据与操作数据之间的距离的输出信号，输出信号对机器人的健康变化具有更大的灵敏度，并且对机器人的操作变化具有更小的灵敏度。

本申请的另一特征提供其中诊断设备还被构造成经由无监督域适应来确定公共子空间。

本申请的又一特征提供其中诊断设备还被构造成经由无监督域适应来确定公共子空间。

本申请的又一特征提供其中使用流形对准来执行无监督域适应。

本申请的又一特征提供其中使用低秩对准来执行流形对准。

本申请的又一特征提供其中在机器人的操作移动期间传感器的测量结果与机器人的相对机械移动相关，并且其中诊断设备与被配置为从传感器接收测量结果的收发器进行信息通信

本申请的又一特征提供其中使用L2范数测量来计算距离，并且其中可以通过将L2范数计算的距离与标准的比较来确定机器人的退化的健康状况。

本申请的另一方面提供了一种装置，包括：机器人诊断设备，该机器人诊断设备包括至少一个输入和一个输出，并且被配置为通过区分机器人的操作变化与机器人的健康变化来帮助确定具有移动的机械部件的机器人的健康，机器人诊断设备被构造为将训练数据的数据特征和操作数据的数据特征在公共子空间中对准，以及利用在训练数据上训练并且应用于操作数据的公共子空间内的分类器，其中操作数据包括与机器人的机械移动相关的特征，机械移动以健康评估为目标，并且训练数据包括与操作数据将被比较的参考机械移动相关的特征。

本申请的特征提供其中机器人诊断设备包括计算机处理设备和计算机存储器，其中存储器包括指令，该指令在由计算机处理设备执行时操作以提供指示机器人的健康变化的输出信号，并且其中机器人诊断设备被构造成计算距离，使得该距离响应于机器人的健康变化并且对机器人的操作变化不敏感。

本申请的另一特征提供其中分类器是支持向量机。

本申请的又一特征提供其中机器人诊断设备被构造成使用域适应来将训练数据的特征和操作数据的特征在共同子空间中对准。

本申请的又一特征提供其中机器人诊断设备被构造成使用无监督转移学习。

本申请的又一特征提供其中训练数据与操作数据之间在公共子空间内的距离使用L2范数来计算。

本申请的又一特征还包括与机器人诊断设备耦合的机器人，机器人具有可移动部件和传感器，该传感器被构造成获取与可移动部件的移动相关的数据，并且其中机器人诊断设备被配置成当距离超过健康标准时设置指示。

本申请的又一方面提供了一种方法，包括：实现第一机器人可移动构件相对于第二机器人可移动构件的相对移动；收集与相对移动相关的数据；提取数据的移动特征，使得移动特征可以和训练特征进行比较；将移动特征和训练特征中的至少一个投影到包括移动特征和训练特征两者的共同子空间上，以形成评估移动特征和评估训练特征；以及利用在所投影的训练特征上训练并且应用于所投影的移动特征的分类器。

本申请的特征还包括将距离与健康标准进行比较，并且在距离超过健康标准的情况下设置指示。

本申请的另一特征提供其中确定包括计算评估移动特征与评估训练特征之间的L2范数。

本申请的又一特征提供了利用分类器包括使用支持向量机。

本申请的又一特征提供其中投影包括移动特征和训练特征的无监督对准。

本申请的又一特征还包括当距离超过阈值时设置指示。

尽管在附图和前面的描述中已经对本发明进行了详细的图示和描述，但本发明被认为是说明性的而不是限制性的，应当理解，仅示出和描述了优选实施例，并且落在本发明精神内所有改变和修改都希望受到保护。应当理解，虽然在上面的描述中使用诸如优选的、优选地、优选或更优选之类的词语来表示这样描述的特征可能是更理想的，但这些特征可能不是必需的，并且缺少这些特征的实施例可以被认为在本发明的范围内，该范围由所附权利要求限定。在阅读权利要求时，当使用诸如“一”、“一个”、“至少一个”或“至少一部分”这样的词语时，无意将权利要求限于仅一个项目，除非在权利要求中明确地另有相反说明。当使用“至少一部分”和/或“一部分”这样的用语时，除非明确地另有相反说明，否则该项目可以包括一部分和/或整个项目。除非另有规定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变型被广泛地使用，并且包括直接和间接安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合。