具体实施方式

出于促进对本申请的原理的理解的目的，现在将参考附图中所示的实施例，并且将使用特定语言来描述该实施例。然而，将理解的是，本申请的范围不由此而旨在受到限制。对所描述的实施例的任何变更和进一步修改，以及如本文所述的本申请的原理的任何进一步应用被考虑为本申请所涉及的领域的技术人员通常会想到的情况。

结构光系统可以用于使得计算机化的控制系统能够测量三维(3D)对象的形状和位置。结构光系统包括光源和图案生成器。相机可以测量被投射到对象上的光图案的外观和光图案变化。周期性光图案的所观察的相位与被照射对象的形貌或深度有关。光图案中的变化可以包括所投射的光的形状、阴影、强度、颜色、波长和/或频率的变化。

随着机器人学领域的不断发展，越来越多的关注被置于允许机器人较快地完成任务、并且具有较少的计算需求的技术的发展。通常，结构光被投射到视觉系统的整个视场上或跨视觉系统的整个视场而投射，以辅助机器人系统确定视场内的一个或多个对象的位置和深度。如果多个立体相机的视场恰好重叠，则结构光干扰可能是有问题的。此外，基于对整个视场的图像分析来计算深度是计算密集型的。由于这些原因，实时3D相机应用通常依赖于快速、较低准确的算法该算法要求较高的功耗和较昂贵的计算机系统。本公开提供了一种方法，用以减少计算时间、减少视觉系统内光反射干扰的机会、以及减少由于光投射的宽的到达阵列而导致眼睛受伤的可能性。

现在参考图1，例示性的机器人系统10在示例性工作环境或工业场景中示出。应该理解的是，本文所示的机器人系统本质上是示例性的，并且机器人和/或工业场景中的变化在本文被设想。机器人系统10可以包括具有视觉系统36的机器人12，视觉系统36具有一个或多个相机38。在一种形式中，相机38中的一个或多个相机可以被安装在机器人12的可移动臂16a、16b中的一个可移动臂上。在其它形式中，一个或多个相机38可以被定位为远离机器人12。控制系统14包括具有CPU、存储器和输入/输出系统的电子控制器，控制系统14被可操作地耦合到机器人12和视觉系统36。控制系统14可操作以用于接收和分析由视觉系统36捕获的图像、以及用于机器人12的操作的其他传感器数据。在一些形式中，控制系统14被限定在机器人12的一部分内。

机器人12可以包括可移动基座20、以及与可移动基座连接的多个可移动部分。可移动部分可以在任何期望的方向上平移或旋转。通过示例而非限制，由箭头18、26、28、30、32和34所示的可移动部分可以由示例性机器人12采用。用于保持工件或其他对象42的箱40可以构成示例性工业场景的至少一部分，工件或其他对象42将由机器人12取回和/或在其上工作。端部操纵器(end effector)24(诸如夹持或抓取机构)可以被附接到可移动臂16a，并且用于抓取对象42和/或根据需要在对象42上执行其它工作任务。应该理解的是，术语“箱”本质是示例性的，并且如本文所使用的，意指但不限于能够接纳和/或保持工件、部件或其他对象的任何容器、箱子、盒、托盘或其他结构。附加部件44可以与视觉系统36相关联。这些部件44可以包括光系统、(多个)反射器、(多个)折射器、(多个)衍射元件和(多个)束扩展器等。

现在参考图2，其示出了根据现有技术实施例的机器人场景48，其中工作箱40可以是工业机器人场景48的一部分、或工业机器人场景48的整体。光源50(诸如激光器或其他已知照明源)可以将结构光投射到工业机器人场景48中，使得相机38的整体或完整视场54充满结构光52，结构光52在示例性实施例中图示为虚线的平行线。相机38的视场54可以包括整个工业机器人场景48的一部分或整个工业机器人场景48，然而，分析视场54内的所有对象42的计算时间延迟是耗时的，并且在实时机器人工作过程中可能是挑战性的。

现在参考图3，其示出了用于减少控制系统14分析视场54内的对象42所需的计算时间的系统。控制系统14可操作以用于确定感兴趣区域56，感兴趣区域56由盒形图案所图示，且仅覆盖被定位于整个视场54内的对象42的一部分。如图4中所示，一旦感兴趣区域56由控制系统14确定，结构光58就可以从光源50投射到感兴趣区域56中。控制系统14仅需要分析由视场54的一部分限定的感兴趣区域56中的一个或多个对象42。由线性线段示出的、由结构光58照射的感兴趣区域56可以由视觉系统36的相机38捕获。然后，控制系统14分析所捕获的(多个)图像并确定感兴趣区域56内的一个或多个对象42的位置和深度。以这种方式，针对控制系统14的计算分析要求可减少，并且因此机器人系统10在感兴趣区域56内的对象42上执行工作任务的速度将增加。

在一种形式中，结构光系统可以将光的图案投射到感兴趣区域56上，并且控制系统14可以将所捕获的图像中的图案的某些特征与参考图像中的特征的位置进行比较，以确定可以用于确定每个位置处的深度的差异(disparity)。感兴趣区域56可以由图案的时间复用序列来照射。通常，两个或多个图案用于重建具有足够高分辨率的3D图像。例如，为了获得每秒20的深度帧(fps)，光投射器50需要能够以足够快的速率投射图案——通常大于六十(60)fps。各种光投射器(诸如，例如激光生成器、基于LCD(液晶二极管)、DMD(数字微镜设备)或LED(发光显示器)计算机控制的投射器等)可以被使用。在一种形式中，结构光58可以是具有各种编码的平行条的光图案，并且图像可以包括多个像素，该多个像素与光的多个平行条相对应。其他形式在本文中被设想。

现在参考图5，方法100被公开，用于使用结构光58在对象42上执行工作任务，以辅助确定对象42的位置和深度。在步骤102处，结构光58被关闭。在步骤104处，包括视觉系统36的控制系统14标识对象42并计算视场54内的感兴趣区域56。然后，在步骤106处，光源50将结构光58投射到感兴趣区域56上。在步骤108处，控制系统14将仅使用由包围盒界定的像素，计算在感兴趣区域56内的对象42的位置和深度，包围盒限定感兴趣区域56。在步骤110处，机器人12在感兴趣区域56内的对象42上执行机器人任务。机器人任务可以包括但不限于抓取、移动、组装或在对象42上执行其他工作操作。应该理解的是，当本文使用机器人、机器人任务、机器人系统等术语时，系统不限于单个机器人，而是相反地可以包括在工业场景中操作的多个机器人。

在一方面，本公开包括一种系统，该系统包括：机器人，被配置为执行机器人任务；视觉系统，包括相机，该相机被可操作地连接到机器人，该相机可操作以捕获视场内的图像；控制器，可操作以用于分析图像并确定视场内的感兴趣区域；光系统，被配置为将结构光投射到感兴趣区域上；并且其中控制系统被配置为确定感兴趣区域内工件(workpiece)的深度。

在改进方面，其中感兴趣区域具有比相机的视场小的面积，其中控制系统确定感兴趣区域内多个工件的深度，其中结构光由多个图案、形状、阴影、强度、颜色、波长和/或频率中的至少一项来限定，其中视觉系统包括一个或多个3D相机，其中光系统包括被投射到感兴趣区域的一个或多个激光束，该系统进一步包括被定位于激光束中的至少一个激光束的路径中的反射器，进一步包括被定位于激光束中的至少一个激光束的路径中的折射器，进一步包括被定位于激光束中的至少一个激光束的路径中的衍射元件，其中控制系统基于感兴趣区域内工件的经扫描的图像引导机器人的移动，并且其中结构光的至少一部分从机器人投射。

本公开的另一方面包括一种方法，该方法包括：利用具有视场的至少一个图像传感器扫描工业机器人场景；将来自图像传感器的图像数据存储在存储器中；分析图像数据；确定图像数据内的感兴趣区域，其中感兴趣区域具有比视场的面积小的面积；将结构光投射到感兴趣区域上；基于对由结构光照射的对象的分析，确定位于感兴趣区域内的对象的深度；将深度信息传送到控制器，该控制器被可操作地耦合到机器人；以及利用机器人在对象上执行任务。

在改进方面，该方法包括：其中至少一个图像传感器是相机，其中相机是3D摄像机，其中结构光的投射包括激光束投射，其中结构光以不同的图案、形状、阴影、强度、颜色、波长和/或频率投射在感兴趣区域上，并且其中任务包括利用机器人夹持器夹持对象。

本发明的另一方面包括一种系统，该系统包括：工业场景，该工业场景限定机器人的工作区；视觉系统，具有在工业场景中的视场；控制系统，被可操作地耦合到机器人，控制系统被配置为接收和分析从视觉系统传送的数据；用于利用控制系统确定视场的一部分内的感兴趣区域的装置；光系统，被配置为将结构光导向到感兴趣区域上；以及用于利用控制系统确定感兴趣区域内的对象相对于机器人的位置和深度的装置。

在改进方面，其中控制系统向机器人提供操作命令，其中光系统包括激光器，其中结构光包括可变输出，可变输出包括光图案变化、光形状变化、光阴影变化、光强度变化、光颜色变化、光波长变化和/或光频率变化中的一项，其中视觉系统包括3D相机，其中视觉系统和光系统的部分被安装在机器人上，并且其中机器人基于对结构光被投射在其上的对象的控制器分析，而在对象上执行工作任务。

尽管本申请已经在附图和前述描述中详细地说明和描述，但是其将被视为说明性的而不是限制性的，应该理解的是，仅示出和描述了优选实施例，并且在本申请的精神内所有的变更和修改都需要受到保护。应该理解的是，尽管在上述描述中使用诸如优选的、优选地、优选或较优选的词语表示如此描述的特征可能更可取，然而这些特征可能不是必需的，并且缺少这些特征的实施例可以在本申请的范围内被设想，范围由所跟随的权利要求书限定。在阅读权利要求书时，当使用诸如“一”、“一个”、“至少一个”或“至少一部分”之类的词语时，除非在权利要求书中特别相反地陈述，否则不旨在将权利要求仅限于一项。当使用“至少一部分”和/或“一部分”语言时，除非特别相反地陈述，否则项目可以包括一部分和/或整个项目。

除非另有指定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被宽泛地使用，并且涵盖直接和间接的安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理或机械连接或耦合。