阅读说明：本技术 用于检测可见光和投影图案的成像器 (Imager for detecting visible light and projected patterns ) 是由 K.科诺里奇 于 2016-03-30 设计创作，主要内容包括：提供了用于深度感测的方法和系统。一种系统包括第一和第二光学传感器,每个光学传感器包括被配置为捕获可见光的第一多个光电检测器,所述第一多个光电检测器穿插有被配置为捕获特定红外波段内的红外光的第二多个光电检测器。该系统还包括计算设备,该计算设备被配置为：(i)识别在第一光学传感器所捕获的第一可见光图像和第二光学传感器所捕获的第二可见光图像之间的环境的第一对应特征；(ii)识别在第一光学传感器所捕获的第一红外光图像和第二光学传感器所捕获的第二红外光图像之间的环境的第二对应特征；以及(iii)基于第一对应特征和第二对应特征来确定对环境中至少一个表面的深度估计。(Methods and systems for depth sensing are provided. A system includes first and second optical sensors, each optical sensor including a first plurality of photodetectors configured to capture visible light interspersed with a second plurality of photodetectors configured to capture infrared light within a particular infrared band. The system also includes a computing device configured to: (i) identifying a first corresponding feature of the environment between a first visible light image captured by the first optical sensor and a second visible light image captured by the second optical sensor; (ii) identifying a second corresponding feature of the environment between the first infrared light image captured by the first optical sensor and the second infrared light image captured by the second optical sensor; and (iii) determining a depth estimate for at least one surface in the environment based on the first corresponding feature and the second corresponding feature.)

用于检测可见光和投影图案的成像器

本申请是申请日为2016年3月30日、申请号为201680031541.8、发明 名称为“用于检测可见光和投影图案的成像器”的发明专利申请的分案申请。

相关专利申请的交叉引用

本申请要求于2015年3月30日提交且题目为“Imager for Detecting VisualLight and Projected Patterns”的美国专利申请第14/672,369号的优先权，通过 引用将该申请的全部内容并入本文。

技术领域

本发明构思设计一种用于检测可见光和投影图案的成像器。

背景技术

机器人系统(诸如包含夹持部件的机器人操作臂)可以被用于涉及拾取 或移动物体的应用。例如，机器人设备可以被用来用物体填充集装箱、创建 物体的堆叠、或从卡车厢卸载物体。在一些情况下，所有这些物体可以是相 同的类型。在其他情况下，集装箱或卡车可以包含不同类型的物体(诸如箱 装物品、罐、轮胎或其他可堆叠物体)的混合。这样的机器人系统可以基于 物体在环境中什么地方的预先确定的知识来引导机器人操作臂拾取物体。

在一些示例中，机器人系统可以使用计算机视觉技术来确定三维 (three-dimensional，3D)场景几何结构的表示。通过举例的方式，机器人系 统可以三角测量从场景中观察到的信息以确定到场景中的一个或多个表面的 深度。深度感测的一种方法是使用立体图像处理。根据这种方法，使用具有 已知彼此的物理关系的两个光学传感器来捕获场景的两个图像。通过找到两 个图像内对应像素值的映射并计算这些共同区域在像素空间中距离多远，计 算设备就能够使用三角测量来确定深度图或图像。深度图或深度图像可以包 含与场景中的物体的表面的距离相关的信息。

可以采用使用结构化光处理的深度感测的另一种方法。结构化光感测的 主要思想是将已知的照明图案投影到场景上，并且捕获包括投影图案的场景 的图像。例如，如图1中所示，投影仪102可以将已知的纹理图案投影到物 体104上，并且光学传感器106(例如，相机)可以捕获物体104的图像108。 然后计算设备可以确定图像中的区域和投影图案的特定部分之间的对应性。 给定投影仪102的位置、光学传感器106的位置和与图像108内的图案的特 定部分相对应的区域的位置，计算设备就可以使用三角测量来估计到物体104 的表面的深度。

通常，投影仪102和光学传感器106沿基线水平地移开，并且投影仪102 和光学传感器106被校准。校准过程可以将光学传感器106中的像素映射到 投影仪102中的像素的一维曲线。如果传感器图像和投影仪图像被纠正，则 该曲线可以采取水平线的形式。在这种情况下，搜索与投影纹理图案的匹配 可以沿此线来进行，使得该过程更加有效。

发明内容

使用能够感测投影图案和可见光两者的成像器能够改善具有明亮和昏暗 部分的环境中的深度感测。如本文所述，一对成像器可以捕获投影图案的一 个或多个红外光图像和环境的一对可见光图像。计算设备可以使用结构化光 处理从红外光图像中的至少一个确定对场景中的表面的第一深度估计。该计 算设备还可以使用立体图像处理从一对立体图像确定对场景中的表面的第二 深度估计。然后该计算设备可以组合第一和第二深度估计来确定对环境中的 一个或多个表面的组合深度估计。

在一个示例中，提供了包括第一光学传感器、第二光学传感器、光源和 计算设备的系统。每个光学传感器包括被配置为捕获可见光的第一多个光电 检测器，所述第一多个光电检测器穿插有被配置为捕获特定红外波段内的红 外光的第二多个光电检测器。该光源被配置为将特定红外波段内的波长的红 外光投影到环境上。该计算设备被配置为识别第一光学传感器所捕获的第一 可见光图像和第二光学传感器所捕获的第二可见光图像之间的环境的第一对 应特征。该计算设备还被配置为识别第一光学传感器所捕获的第一红外光图 像和第二光学传感器所捕获的第二红外光图像之间的环境的第二对应特征。 该计算设备还被配置为基于第一对应特征和第二对应特征来确定对环境中的 至少一个表面的深度估计。

在另一示例中，提供了包括光电检测器的平面阵列、滤光器阵列和控制 电路的光学传感器。该光电检测器的平面阵列包括第一多个光电检测器和第 二多个光电检测器。每个光电检测器被配置为基于入射在光电检测器上的光 的强度生成电荷。该滤光器阵列被耦合到光电检测器的平面阵列。该滤光器 阵列包括被配置为使可见光通过而到第一多个光电检测器上的第一多个滤光 器、以及被配置为使特定红外波段内的红外光通过而到第二多个光电检测器 上的第二多个滤光器。第一多个滤光器穿插有第二多个滤光器。该控制电路 被配置为基于来自第一多个光电检测器的电荷生成可见光图像。该控制电路 还被配置为基于来自第二多个光电检测器的电荷生成红外光图像。

在另一示例中，提供了一种方法，其包括从第一光学传感器的第一多个 光电检测器接收如从第一视点感知到的环境的第一可见光图像。该方法还包 括从第二光学传感器的第一多个光电检测器接收如从第二视点感知到的环境 的第二可见光图像。该方法还包括从第一光学传感器的第二多个光电检测器 接收如从第一视点感知到的环境的第一红外光图像。该第一光学传感器的第 二多个光电检测器被配置为捕获特定红外波段内的红外光。此外，该方法包 括从第二光学传感器的第二多个光电检测器接收如从第二视点感知到的环境 的第二红外光图像。该第二光学传感器的第二多个光电检测器被配置为捕获 特定红外波段内的红外光。另外，该方法包括通过计算设备识别第一可见光 图像和第二可见光图像之间的环境的第一对应特征。该方法还包括通过计算 设备识别第一红外光图像和第二红外光图像之间的环境的第二对应特征。该 方法还包括通过计算设备基于第一对应特征和第二对应特征，来确定对环境 中的至少一个表面的深度估计。

在另一示例中，提供了一种系统，其包括用于从第一光学传感器的第一 多个光电检测器接收如从第一视点感知到的环境的第一可见光图像的装置。 该系统还包括用于从第二光学传感器的第一多个光电检测器接收如从第二视 点感知到的环境的第二可见光图像的装置。该系统还包括用于从第一光学传 感器的第二多个光电检测器接收如从第一视点感知到的环境的第一红外光图 像的装置。该第一光学传感器的第二多个光电检测器被配置为捕获特定红外 波段内的红外光。此外，该系统包括用于从第二光学传感器的第二多个光电 检测器接收如从第二视点感知到的环境的第二红外光图像的装置。该第二光 学传感器的第二多个光电检测器被配置为捕获特定红外波段内的红外光。另 外，该系统包括用于通过计算设备识别第一可见光图像和第二可见光图像之 间的环境的第一对应特征的装置。该系统还包括用于通过计算设备识别第一 红外光图像和第二红外光图像之间的环境的第二对应特征的装置。该系统还 包括用于通过计算设备基于第一对应特征和第二对应特征，来确定对环境中 至少一个表面的深度估计的装置。

在一个示例中，提供了一种光学传感器，包括：光电检测器的平面阵列， 包括第一多个光电检测器和第二多个光电检测器，其中，每个光电检测器被 配置为基于入射在所述光电检测器上的光的强度生成电荷；滤光器阵列，被 耦合到所述光电检测器的平面阵列，所述滤光器阵列包括被配置为使可见光 通过而到第一多个光电检测器上的第一多个滤光器以及被配置为使特定红外 波段内的红外光通过而到第二多个光电检测器上的第二多个滤光器，其中， 第一多个滤光器中的滤光器穿插有第二多个滤光器中的滤光器以形成多个马 赛克，其中，每个马赛克包括布置成棋盘配置的第一多个滤光器中的两个滤 光器以及第二多个滤光器中的两个滤光器；以及控制电路，被配置为：基于 来自第一多个光电检测器的电荷生成可见光图像，其中，所述可见光图像中 的每个像素表示所述多个马赛克中的相应的马赛克中的第一多个光电检测器 中的两个光电检测器生成的电荷的平均；以及基于来自第二多个光电检测器 的电荷生成红外光图像，其中，所述红外光图像中的每个像素表示所述多个 马赛克中的相应的马赛克中的第二多个光电检测器中的两个光电检测器生成 的电荷的平均，以及其中，所述可见光图像与所述红外光图像分离。

在一个示例中，提供了一种系统，包括：光电检测器的平面阵列，包括 被配置为捕获可见光的第一多个光电检测器和被配置为捕获特定红外波段内 的红外光的第二多个光电检测器，其中，每个光电检测器被配置为基于入射 在所述光电检测器上的光的强度生成电荷，以及其中，所述第一多个光电检 测器和第二多个光电检测器沿行和列两者交替以形成棋盘图案；滤光器阵列， 被耦合到所述光电检测器的平面阵列，所述滤光器阵列包括被配置为使可见 光通过而到第一多个光电检测器上的第一多个滤光器以及被配置为使特定红 外波段内的红外光通过而到第二多个光电检测器上的第二多个滤光器，其中， 所述光电检测器的平面阵列和滤光器阵列被布置为形成多个马赛克，其中， 每个马赛克包括根据棋盘图案布置的第一多个滤光器中的两个滤光器以及第 二多个滤光器中的两个滤光器；以及计算设备，被配置为：基于来自第一多 个光电检测器的电荷生成可见光图像，其中，所述可见光图像中的每个像素 表示所述多个马赛克中的相应的马赛克中的第一多个光电检测器中的两个光 电检测器生成的电荷的平均；以及基于来自第二多个光电检测器的电荷生成 红外光图像，其中，所述红外光图像中的每个像素表示所述多个马赛克中的 相应的马赛克中的第二多个光电检测器中的两个光电检测器生成的电荷的平 均，以及其中，所述可见光图像与所述红外光图像分离。

在一个示例中，提供了一种方法，包括：在计算系统处接收基于入射在 第一多个光电检测器上的光的相应强度生成的第一组电荷；基于第一组电荷 生成可见光图像；在计算系统处接收基于入射在第二多个光电检测器上的光 的相应强度生成的第二组电荷，其中，所述第一多个光电检测器和第二多个 光电检测器沿行和列两者交替以形成布置成多个马赛克的棋盘图案，其中， 每个马赛克包括根据棋盘图案布置的第一多个光电检测器中的两个光电检测 器以及第二多个光电检测器中的两个光电检测器；以及基于第二组电荷生成 红外光图像，其中，所述可见光图像中的每个像素表示所述多个马赛克中的 相应的马赛克中的第一多个光电检测器中的两个光电检测器生成的电荷的平 均；其中，所述红外光图像中的每个像素表示所述多个马赛克中的相应的马 赛克中的第二多个光电检测器中的两个光电检测器生成的电荷的平均，以及 其中，所述可见光图像与所述红外光图像分离。

前述的发明内容仅是示意性的而没有意图以任何方式进行限制。除了如 上所述的示意性方面、实施例和特征之外，通过参考附图和下面的详细描述 以及附图，其他方面、实施例和特征将会变得显而易见。

附图说明

图1是对结构化光处理的示例性方法的概念图。

图2A示出了根据示例性实施例的安装在可移动车(cart)上的机器人手 臂。

图2B是根据示例性实施例的示意了机器人设备的功能框图。

图3A示出了根据示例性实施例的机器人手臂和箱的堆叠。

图3B示出了根据示例性实施例的通过安装在机器人手臂上的传感器对 来自图3A中的箱的堆叠进行扫描。

图3C示出了根据示例性实施例的来自图3A中的机器人手臂移动箱。

图4是根据示例性实施例的示例性光学传感器的功能的概念图。

图5A是根据示例性实施例的对示例性光学传感器上的光电检测器的示 例性布置的概念图。

图5B是根据示例性实施例的示例性光学传感器上的光电检测器的另一 示例布置的概念图。

图6是根据示例性实施例的示例性立体成像系统的概念图。

图7是根据示例性实施例的可以由计算设备执行的示例性功能的框图。

图8A是根据示例性实施例的用于确定相关表面的示例性配置的概念图。

图8B是根据示例性实施例的相关表面的示例性图。

图8C是根据示例性实施例的组合相关表面的示例性图。

图9是根据示例性实施例的组合来自多个深度图像的信息的概念图。

图10A是根据示例性实施例的示例性环境的概念图。

图10B是根据示例性实施例的从多个深度图像确定深度的示例性图。

图11A是根据示例性实施例的场景的示例性图像。

图11B是根据示例性实施例的图11A中所示的场景的示例性深度图像。

图11C是根据示例性实施例的具有投影图案的场景的示例性图像。

图11D是根据示例性实施例的图11C中所示的场景的示例性深度图像。

具体实施方式

本文描述了示例性方法和系统。本文描述的任何示例性实施例或特征不 一定被解释为优选的或优于其他实施例或特征。本文描述的示例性实施例并 不意味着限制。将容易理解的是，能够以多种多样的不同配置来布置和组合 所公开的系统和方法的某些方面，所有这些都在本文考虑到。

另外，图中示出的特定布置不应该被视作进行限制。应该理解的是，其 他实施例可以包括给定图中示出的或多或少的每个元件。另外，可以组合或 省略示出的元件中的一些。另外，示例性实施例可以包括在附图中未示出的 元件。

本文提供了可以改善具有宽照度范围的环境中的深度感测的方法、光学 传感器和机器人系统。配备有计算机视觉系统的机器人系统可以在具有变化 的照明水平的各种不同环境内进行操作。某些环境(诸如白天期间的室外环 境以及照明条件好的室内环境)可能很适合于使用立体图像处理进行深度感 测。当环境中的物体被明亮地照明时，感测从这些物体反射出的光的成像器 能够捕获这些物体的特征的相当多的细节(例如，形状、颜色、轮廓、边缘 等)。然而，在其他环境(诸如具有昏暗的人工照明的室内环境和夜间环境)中，可以从物体发射出较少的光，使得较难以辨别这些物体的特征。另外， 因为基于立体图像的深度感测主要取决于识别从不同的视角拍摄的两个图像 之间的共同特征，所以可能难以确定具有很少可检测特征(诸如没有许多颜 色变化、边缘、轮廓或其他制品的那些可检测特征)的物体(例如，大的单 一颜色的平坦表面)的深度。

在较昏暗环境和/或有具有很少可检测特征的物体的环境中，结构化光的 方法能够通过将图案化的光投影到场景上并捕获具有投影图案的场景的图像 来改善深度感测。投影图案将人工特征照射到物体和表面上，这些物体或表 面可能原本对于准确的深度感测来说具有过于少的特征或过于昏暗的光线。 因而，通过将结构化光处理利用于捕获具有投影图案的环境的图像，可以实 现对于原本过于黑暗或具有过于少的特征的环境中的表面的准确深度感测。 在一些实施方式中，投影图案可以是具有特定红外波段内的波长的光。虽然 这种结构化光的技术在较黑暗和一些室内环境中可能是有用的，但是投影图 案可能被不同的光源(诸如日光)冲淡或压制。

在操作过程中，机器人系统可以在明亮和黑暗环境之间转换和/或从室内 转换到室外环境。在一些情况下，机器人系统可能遇到具有明亮部分和黑暗 部分的组合的环境。例如，部分室内和部分室外的场景可能具有与黑暗阴影 形成对比的明亮的日照表面。在这些情景中，机器人系统可以受益于使用立 体图像处理和结构化光处理的组合的深度感测。

本申请的光学传感器可以有能力检测一个或多个波段(例如，可见光波 段和/或红外光波段)中的光。根据各种实施例，光学传感器包括穿插有红外 感测光电检测器的可见光感测光电检测器的组合。可见光感测和红外感测光 电检测器能够以本文讨论的各种不同方式进行布置。光学传感器的控制电路 可以使用可见光感测光电检测器生成可见光图像并使用红外感测光电检测器 生成红外光图像。作为结果，一个这样的光学传感器可以捕获在光的两个不 同波段中的图像。

能够捕获可见光图像和红外光图像两者的单一光学传感器可以相比于每 个均独立地捕获可见光图像或红外光图像的两个单独的光学传感器来说更加 有资源效率。当空间资源受限时，诸如在小机器人系统上，可能希望减少光 学传感器的数量。另外，单一光学传感器可以需要较少能量来操作并且可以 通过减少易于发生故障的传感器的数量来增加机器人系统的可靠性。

除了上述益处之外，使可见光感测光电检测器和红外感测光电检测器两 者混合的单一光学传感器减少了系统误差的影响，所述系统误差如果使用两 个单独的光学传感器则会出现。另外，可以利用可见光感测光电检测器和红 外感测光电检测器的某些穿插布置来避免或进一步减少系统误差的影响。因 而，使用单一光学传感器避免了对执行通常与使用两个不同的光学传感器相 关联的易于出错的校准技术的需要。

根据各种实施例，一种成像系统包括被配置为从不同视点捕获环境的图 像的两个或多个上述光学传感器(其在本文中也可称为“成像器”)。该成像 系统可以在多个波段中对环境或场景立体成像。然后，计算设备可以使用立 体图像处理以基于每个波段中来自不同视点的多对图像来生成环境的多个深 度图(例如，表面的深度信息)。通过将从多个波段得到的深度信息组合到单 一深度图中，计算设备可以生成具有宽照度范围的环境的更完整和准确的深 度图。

根据各种实施例，一种成像系统可以包括彼此分离已知距离上述的光学 传感器中的两个，并且所述每一个光学传感器均被配置为捕获可见光波段和 特定红外(IR)光波段两者中的图像。该成像系统还可以包括纹理投影仪， 所述纹理投影仪将已知的结构化光的图案投影到特定IR光带内的环境上。虽 然这个IR图像将特征投影到改善了深度确定的表面上(特别是在可能难以在 可见光谱中辨别物体的特征的弱光环境中)，但是投影图案可能会被来自其他 源(诸如人工照明和/或日光)的强烈红外光克服或冲淡。作为结果，一些特 征(诸如颜色差异、物体的边缘和/或投影图案的部分可能仅在可见光波段或 特定IR光波段中才能被感知到。

在一个示例中，计算设备可以基于由成像系统捕获的一对可见光图像之 间的对应特征来确定环境的深度信息。通过举例的方式，该计算设备可以确 定两个可见光图像内的对应像素值的映射，并且基于两个光学传感器之间的 物理关系，计算设备能够使用三角测量确定深度信息。在具有宽照度范围的 环境中，基于可见光的深度信息可以提供环境的照明良好的部分的深度。该 计算设备还可以基于由成像系统捕获的一对红外光图像之间的对应特征来确 定环境的深度信息。基于IR光的深度信息可以提供环境的光线昏暗的部分的 深度。然后，该计算设备可以将从可见光图像和IR光图像两者导出的深度信 息组合以确定对环境中的表面的更全面和准确的深度图。

以下描述了各种附加示例，因此以上的示例并不意味着进行限制。现在 将详细参考各种实施例，各种实施例的示例在附图中示出。在下面的详细描 述中，阐述了众多具体细节以便提供对本公开和所描述的实施方式的充分的 理解。然而，本公开可以在没有这些具体细节的情况下实践。在其他实例中， 没有详细描述公知的方法、程序、部件和电路，以免不必要地模糊实施例。

此外，虽然本公开的一些部分涉及实施所描述的方法和装置以便于对箱 和/或其他物体的操作(例如，装载和/或卸载)，但是也可以在其他环境中实 施该方法和装置。例如，可以在任何环境中普遍地实施该方法和装置以确定 环境的3D几何形状或环境中的物体的3D几何形状。通过举例的方式，可以 实施该方法和装置以帮助确定房屋中的房间或建筑中的办公室的3D几何形 状，或竞技场、会议中心或商场的一部分的3D几何结构。类似地，还可以 在室外环境中利用该方法和装置。

根据各种实施例，本文描述了用于自动装载和/或卸载箱和/或其他物体 (诸如自动装载和/或卸载到存储集装箱或从车辆自动装载和/或卸载)的方法 和系统。在一些示例性实施例中，可以自动将箱或物体整理并放置到托盘上 (托盘化)或自动将箱或物体从托盘上移除(去托盘化)。在示例内，使装载 /卸载卡车的过程和/或使物体托盘化/去托盘化的过程可以带来许多工业和商 业的优势。

根据各种实施例，自动化装载/卸载卡车的过程和/或使物体托盘化/去托 盘化的过程可以包括并入一个或多个机器人设备来移动物体或执行其他功 能。在一些实施方式中，能够通过将机器人设备与带有轮的基座、完整基座 (holonomic base)(例如，能够在任何方向上移动的基座)或天花板、墙壁 或地板上的轨道耦合来将机器人设备制成可移动的。在一些实施方式中，基 座能够是高架(elevated)基座。

在一些示例中，描述了包括一个或多个传感器、一个或多个计算机和一 个或多个机器人手臂的系统。传感器可以扫描包含一个或多个物体的环境以 便捕获视觉数据和/或3D深度信息。然后可以将来自扫描的数据整合到较大 区域的表示中以便提供数字环境重构。在另外的示例中，可以随后使用经重 构的环境用于识别要拾取的物体、确定物体的拾取位置和/或为一个或多个机 器人手臂和/或移动基座规划无碰撞轨迹。

如本文所使用的，术语“箱(box)”将指代能够被放置到托盘上或装载 到卡车或集装箱上或从卡车或集装箱卸载的任何物体或物件。例如，除了矩 形实体之外，“箱”可以指罐、圆桶、轮胎或其他“简单”形状的几何形状物 件。此外，“装载”和“卸载”能够各自被用来暗含另一个。例如，如果一个 示例描述了用于装载卡车的方法，则要理解大致相同的方法也能够用于卸载 卡车。如本文所使用的，“托盘化”指将箱装载到托盘上并且以一种方式将堆 叠或布置箱，所述方式为使得托盘上的箱能够被存储或在托盘上被运输，而 术语“去托盘化”指代从托盘移除箱。另外，“托盘化”和“去托盘化”能够 各自被用来暗含另一个。

根据各种实施例，机器人操作臂可以被安装在完整车(holonomic cart) (例如，具有允许车在任何方向上移动的轮的车)上。图2A描绘了包含机 器人操作臂的示例性完整车。在一些实施例中，可移动车212可以包括安装 在车212上的机器人手臂202。机器人手臂202可以包含用于夹持环境内的 物体的夹持部件204。所述车可以包括一个或多个轮214，轮214可以是用两 个自由度进行操作的完整轮(holonomic wheel)。在其他实施例中，环绕式前 传送带210可以包括在完整的车212上。在一些示例中，环绕式前输送带210 可以允许机器人在从卡车集装箱或托盘卸载箱或将箱装载到卡车集装箱或托 盘时不必将其夹持器旋转到左侧或右侧。

在其他示例中，所述机器人操作臂可以被安装在不同类型的可移动装置 上，或可以根本不被安装在移动基座上。例如，所述机器人操作臂可以被安 装在工厂设置内的固定位置处。在其他示例性实施例中，一个或多个机器人 操作臂可以被安装在卡车或集装箱的轨道上。在这样的示例中，机器人操作 臂可以被用来装载或卸载卡车或集装箱。

图2B是示出根据示例性实施例的机器人设备200的功能框图。机器人 设备200可以包括各种子系统，例如，机械系统220、感测系统230、控制系 统240以及电力供应250。机器人设备200可以包括更多或更少的子系统， 并且每个子系统可以包括多个元件。另外，机器人设备200的子系统和元件 中的每一个可以互连。因此，机器人设备200的描述的功能中的一个或多个 可以划分到附加的功能或物理部件中，或者可以组合成较少的功能或物理部 件。在一些示例中，附加的功能和/或物理部件可以被添加到图2A和2B示出 的示例。

机械系统220可以包括关于图2A的以上描述的部件，包括机器人手臂 202、夹持器204、输送带210、(可移动或完整的)车212和一个或多个轮 214。机械系统220可以另外包括发动机222，发动机222可以是由电力供以 电力的电动机，或者可以由多种不同的能量源(诸如基于气体的燃料或太阳 能)供以电力。此外，发动机222可以被配置为从电力供应250接收电力。 电力供应250可以给机器人设备200的各种部件提供电力，并且可以表示例 如可再充电锂离子或铅酸电池。在示例性实施例中，这样的电池的一个或多 个组可以被配置为提供电力。其他电力供应材料和类型也是可能的。

感测系统230可以使用附接到机器人手臂202的一个或多个传感器，诸 如传感器206和传感器208，传感器可以是在机器人手臂202移动时感测关 于环境的信息的2D传感器和/或3D深度传感器。感测系统可以确定能够被 控制系统240(例如，运行运动规划软件的计算机)使用来高效地拾取并移 动箱的关于环境的信息。控制系统240可以位于设备上或可以与设备远程通 信。在其他示例中，可以结合从安装在移动基座上的一个或多个2D或3D传 感器(诸如前导航传感器2016和后导航传感器218)和安装在机器人手臂上 的一个或多个传感器(诸如传感器206和传感器208)的扫描以构建包括卡 车或其他集装箱的侧面、底板、天花板和/或前壁的环境的数字模型。使用该 信息，控制系统240可以使移动基座导航到进行卸载或装载的位置。

在另外的示例中，可以从3D传感器提取平面表面信息以对壁、底板/天 花板和/或箱面建模。在对底板建模之后，将物体投影到底板平面上可以实现 对障碍物和/或目标物体(诸如箱)的分割。底板平面投影还可以被用来对集 装箱或卡车的波状侧面建模，集装箱或卡车的波状侧面可能不能准确地被建 模为平面。在另外的示例中，侧壁角、底板平面横滚和府仰(roll and pitch) 和/或距侧壁的距离可以被用来将移动基座在不碰撞的情况下调动到集装箱 中。使用扩展的3D信息而不是单线扫描可以有助于使得导航信息的提取稳 健。例如，侧壁可以具有被3D传感器捕获的垂直范围。如果使用深度信息 的单线的扫描系统垂直地进行扫描和/或因为它们捕获较少信息而较不稳健 则它们可能较慢。在另外的示例中，前平面建模可以确定到卡车卸载中要拾 取的下一组物体的距离。

在其他示例中，机器人手臂202可以配备有夹持器204，诸如数字吸式 栅格夹持器。在这样的实施例中，夹持器可以包括一个或多个吸入阀，一个 或多个吸入阀可以通过远程感测或单点距离测量、和/或通过检测是否实现吸 入来接通或关断。在另外的示例中，数字吸式栅格夹持器可以包括铰接延展 部。在一些实施例中，用流变液或粉末来致动吸式夹持器的潜能可以实现在 具有高曲率的物体上的额外夹持。

在一些实施例中，夹持器可以潜在地跨越几个箱或物体并且为所覆盖的 物体的一些或所有接通吸入。在一些实施方式中，吸入或粘附设备可以是“数 字”栅格，使得机器人设备能够接通将适合感测以抓取的箱的任何数量的吸 入设备。在一些实施方式中，系统可以注意到箱中的接缝(相邻箱之间的间 隔)使得可以在接缝的两侧启用吸入设备以一次拾取两个箱，从而使吞吐量 加倍。在一些实施例中，吸入设备能够在某个量的时间之后感测它们是否成 功地夹持表面，在此之后它们可以自动关闭。在其他实施例中，吸入设备的部分能够向下折叠以抓取箱的顶部。例如，夹持器能够最初以完全延展开始 并且然后顺应被夹持的表面。

在其他示例中，机器人手臂能够实施扭动(wiggle)移动以改进吸入夹 持。在附加实施例中，机器人手臂能够使箱侧对侧地扭动以帮助将箱从其周 围分割出来。在其他实施例中，手臂能够在拾取箱时扭动以避免推撞其他物 体。在这样的实施例中，当尝试粘附到物体以便使用吸入将其拾取时，机器 人手臂可以利用扭动移动以便对物体进行牢固密封。在其他示例中，机器人 手臂可以在机器人手臂正拾取物体时扭动物体，使得箱能够更轻柔地打破摩 擦力或与其他物件重叠接触。这可以有助于避免这种情况：向上拉动物体太 直接或太快速使得其他物件被投掷到空中。

根据各种实施例，纸板箱可能具有凹、凸或其他起皱的面，这些面使得 难以使吸入设备粘附到其上。因此，在吸入设备进行吸入接触时使吸入设备 扭动可以实现在纸板箱和其他非平面物体上更可靠的夹持。在其他示例中， 当首先抓取箱时，几个中央吸入设备能够被接通并且在手臂开始将箱推出时 手臂能够来回扭动。这可以打破与其他箱的表面粘附并有助于开始将箱推出。 一旦箱被至少部分地推出，该箱就可以更容易地从其他箱分割出来。在一些 实施例中，当拾取杂物中的物体时扭动可以从被拾取的物体移除其他物体， 从而防止不必要的拾取周围物体。

根据各种实施例，物件的分割对于成功抓取来说可能是必要的。在一些 实施例中，光滑的曲面片可以属于两个单独的物体。在这样的实例中，与物 体交互的操作器可以被用来打乱从而更好地使物体相互分割。对于运动分离， 可以通过光流(optical flow)、视差或时延视图来跟踪物体在输送器上、在滑 道上、在搬运物中移动和/或在搬运物内的主动挤压的自然或受迫移动，以计 算立体深度从而增强物体分割。

在其他示例中，感测系统所使用的传感器中的一个或多个可以是RGBaD (RGB+主动深度)彩色或单色相机，该彩色或单色相机被配准为使用主动视 觉技术(诸如将图案投影到现场中)以实现相机或多个相机与已知的偏移图 案投影仪之间的深度三角测量的深度感测设备。该类型的传感器数据可以帮 助实现稳健的分割。根据各种实施例，还可以使用诸如条形码、纹理相干 (texture coherence)、彩色、3D表面性质、表面上印制的文字的线索来识别 物体和/或发现其摆位以便知道将物体放置在什么地方/如何放置物体(例如，将物体装配到固定置物容器中)。在一些实施例中，还可以利用阴影或纹理差 来分割物体。

能够由控制系统240来控制机器人设备200的许多或全部功能。控制系 统240可以包括执行存储在非暂时计算机可读介质(诸如存储器246)中的 指令244的至少一个处理器242(其能够包括至少一个微处理器)。控制系统 240还可以表示可以用于以分布式方式控制机器人设备200的各个部件或子 系统的多个计算设备。

在一些实施例中，存储器246可以包含可被处理器242执行以执行机器 人设备200的各种功能的指令244(例如，程序逻辑)，包括有关图2A-图2B 中的以上描述的功能。存储器246还可以包含附加指令，包括将数据传输到 机械系统220、传感器系统230和/或控制系统240中的一个或多个、从机械 系统220、传感器系统230和/或控制系统240中的一个或多个接收数据和/或 控制机械系统220、传感器系统230和/或控制系统240中的一个或多个的指 令。

根据各种实施例，描述了感知引导的机器人。例如，机器人设备可以利 用感知和规划的组合来引导机器人手臂拾取箱并将箱放置到其需要前往的地 方。图3A示出了根据示例性实施例的图2A的机器人设备的一部分和箱的堆 叠。如图所示，机器人设备可以包括机器人手臂202，其具有如上所述的夹 持部件204、传感器206和208、以及输送器210。在一些示例中，机器人设 备可以被安装在关于图2A描述的完整的车上、可以被安装在不同类型的可 移动装置上、可以被安装在轨道或履带上或可以是静止的。机器人设备可以 被控制以从箱的堆叠320拾取箱，箱的堆叠320包括错综混合的形状和大小 的箱。

在示例内，可以确定包括2D和/或3D中的物体的模型的虚拟环境，并 使用其来开发用于拾取箱的规划或策略。在一些示例中，机器人可以使用一 个或多个传感器来扫描包含物体的环境，如图3B中所示。随着机器人手臂 202移动，手臂上的传感器206可以捕获关于箱的堆叠320的传感器数据以 便确定各个箱的形状和/或位置。在另外的示例中，可以通过整合来自各个(例 如，3D)扫描的信息而构建3D环境的较大图片。执行这些扫描的传感器可 以被放置在固定位置、在机器人手臂上和/或在其他位置中。根据各种实施例， 可以根据多个不同技术中的任一种或全部来构造和使用扫描。

在一些示例中，可以通过移动在其上安装有一个或多个3D传感器的机 器人手臂来进行扫描。来自手臂位置的反馈可以提供关于传感器定位在什么 地方的摆位信息，并且可以被用来帮助整合。替代地或另外地，可以使用一 个或多个2D传感器，例如通过利用运动并且跟踪环境中的关键点，来进行 扫描。在其他示例中，扫描可以来自具有覆盖给定场地的视场(fields of view， FOV)的固定安装的相机。在另外的示例中，可以在视觉上配准扫描以帮助 精细的摆位估计，潜在地给出更好的整合结果。

在其他示例中，可以使用3D体积的或表面模型以整合信息(例如，来 自不同传感器)来构建虚拟环境。这可以允许系统在较大的环境内进行操作， 诸如在一个传感器可能不足以覆盖大的环境的情况下。这样的技术还可以增 加捕获的细节的水平，其可以有助于机器人设备执行各种任务。特别地，相 比于仅来自单一扫描的信息，使信息整合能够产生更精细的细节(例如，通 过降低噪声水平)。这可以实现更好的物体检测、表面拾取和其他应用。

在其他示例中，通过感测环境并且将该信息提取到简单数学3D几何结 构形式的简化几何结构模型(例如，平面、圆柱体、圆锥体、半球等)中来 执行广角环境重建。在一些实例中，这样的技术可以使得运动规划更容易和/ 或可以使得更容易检测对模型的破坏(例如，碰撞)。替代地或另外地，这样 的技术可以允许参数描述以扩展环境。例如，地面可以被视为在遮挡其的物 体的后面延展的平面。

在另外的示例中，可以在3D中提取环境中的平面或其他数学表面。可 以将这些已知的“理想”表面检测组合到环境的更准确的模型中。例如，平 面可以被用来确定壁(或其的数学描述)的全范围和其他障碍物以避免碰撞 并检测感兴趣的物体的位置。另外，物体的数学表示可以被用来查找异常情 况，诸如人进入环境。这样的事件可能破坏理想模型，其可以使得对它们的 检测更容易。

在其他示例中，诸如箱的某些物体可能具有简单的平面形式。例如，金 属罐可能具有圆柱体的几何结构形式，而轮胎可能具有圆环体的几何结构形 式。示例性系统可以利用某些物体的这种特点以便对物体进行建模和/或确定 如何物体的运动规划。例如，某些形状的已知模板能够被用来提炼环境内的 看上去匹配特定形状的物体的检测到的特征。

在一些示例中，可以至少部分地经由一个或多个立面(facade)表示2D 和3D信息。立面可以被定义为包含一组物体的***面的构造，其表示为深 度图(例如，具有作为第三维的距离的2D图)。立面的示例可以包括卡车中 的箱的壁、包含箱或其他物体的托盘堆叠的顶部或杂乱物体的桶的顶部。

在其他示例中，可以从箱构造立面，例如来规划拾取箱的顺序。例如， 如图3C中所示，箱322可以被机器人设备识别为要拾取的下一个箱。箱322 可以在表示箱的堆叠320的前壁的立面内被识别，所述立面基于一个或多个 传感器(诸如传感器206和208)所收集的传感器数据而构造。控制系统于 是可以确定箱322是要拾取的下一个箱，这可能基于其形状和大小、其在箱 的堆叠320的顶部上的位置和/或基于箱的目标集装箱或位置的特性。机器人 手臂202于是可以被控制来使用夹持器204拾取箱322并将箱322放置到输 送带210上(例如，将箱322输送到存储区域中)。

在另外的示例中，立面可以表示为3D表面信息的正交投影。这种表示 可以允许解析立面以确定特定应用的感兴趣区域。例如，在卡车卸载中，可 以基于立面表示来确定要拾取的下一个箱的左上角。在其他示例中，所整合 的3D环境的正交投影可以被确定为给出广FOV的、容易解析的表示，用以 执行与应用相关的任务。一个这样的任务可以是找到要拾取的箱的角或多个 角(例如，左上角)。另一个这样的任务可以涉及找到良好表面(例如，相对 平坦和大的表面)用以将物体从桶中拾取出来。

在其他示例中，可以构造箱的堆叠的3D模型并且将其用作帮助规划和 跟踪用于将箱装载到堆叠或托盘或从堆叠或托盘卸载箱的过程的模型。立面 的任一个实际的相机视图可能受到视点遮挡和透视变形的影响。因此，可以 将经由机器人手臂移动的多个RGBD视图和/或来自车基座或固定位置的不 同视图组合以创建要被拾取的箱的单一立面。

在其他示例中，3D模型可以被用于碰撞避免。在示例内，规划无碰撞的 轨迹可以涉及确定环境中的物体和表面的3D位置。轨迹优化器可以使用通 过环境重构提供的3D信息以优化存在障碍物的情况下的路径。在其他示例 中，优化器可以实时工作并且可以接受许多种类的约束。作为这样的约束的 示例，优化器可以尝试保持整个轨迹的末端执行机构(the end effector)的水 平。

在另外的示例中，可以将环境捕获为3D点的网格或集合。可以将机器 人手臂表示为平面段的凸包(convex hull)用以进行快速碰撞检查。环境的不 断的或频繁的更新可以允许机器人手臂快速响应改变。在其他示例中，优化 器可以在其整个路径上执行频繁的连续的碰撞检查。优化器可以接受以代价 形式的任意约束，诸如为了保持距离物体某距离或从给定角度接近目标位置。 此外，优化器可以通过在关节空间中工作、保持终结(windup)的跟踪并从 多个逆运动学解决方案当中选择目标位置来避免机器人故障状况。运动规划的一种策略可以涉及向前看几次移动来看出选择的目标关节位置对于下一次 移动将是否可接受。

在一些实施例中，路径约束(诸如对于机器人手臂、相机、电缆和/或其 他部件的碰撞避免)可以被输入到基于约束的规划求解器中并且被求解以产 生移动臂进行感知的最佳路径。此外，在一些实施例中，求解器可以确定用 于拾取、移动和放置物体的最佳路径。

根据各种实施例，可以校准3D和/或视觉传感器以确定其关于工作空间 的摆位。在固定传感器的情况下，校准可以确定其在工作空间中的固定摆位。 在臂上传感器的情况下，校准可以确定传感器距其被附接到的臂连杆的偏移 摆位。

在示例内，校准技术可以允许对工作空间中任意数量的传感器校准。校 准可以涉及确定多种参数和系数中的一些或全部。例如，校准可以对一个或 多个固有参数(诸如焦距和图像中心)求解。作为另一示例，校准可以确定 一个或多个变形系数，诸如径向和切向变形的模型。作为再一示例，校准可 以对定义现场中的物体相对于图案或识别现场中相同图案的其他传感器的位 置的一个或多个外部参数求解。

在一些示例中，可以至少部分通过使用校准图案来执行校准，其可以是 2D或3D中已知的一组特征。例如，可以使用点的已知图案，其中已知每个 点和其他点之间的距离。可以至少部分通过收集物体的多个不同视图来执行 校准。在其他示例中，在不同位置中捕获校准图案的多个视图可以允许(1) 校准相机的一个或多个系数和/或(2)知道相机相对于校准图案被固定的位 置所建立的坐标系的位置。在特定实施例中，现场中的相机可以识别机器人 手臂上的校准图案，而臂上的相机同时识别现场中的校准图案。

在另外的示例中，校准可以涉及固定在现场中的相机。在这种情况下， 校准图案可以被放置在机器人手臂上。机器人手臂可以被配置为随着机器人 手臂上的校准图案的多个视图被收集，来移动穿过现场。这可以有助于校准 相机和/或对将相机的坐标系与机器人的坐标系相关有用。另外，每个设备与 其他设备的关系可以在机器人手臂移动时由每个设备确定。

在某些示例中，校准可以涉及位于机器人手臂上的相机。可以将校准图 案安装在壁或桌上。然后，可以四处移动相机，从不同机器人或机器人手臂 位置收集校准图案的多个视图。当收集到不同的3D或2D视图(例如，2个、 20个或200个)时，这些视图能够被用来对校准关系求解。在校准之后，当 臂上的相机移动时，系统能够确定相机相对于基于校准图案在现场中的位置 而设置的坐标系的位置。在特定实施例中，校准图案和相机都可以被移动。 例如，校准图案可以位于其中机器人手臂可以被配置为将箱放置在的输送带 上。在校准之后，系统可以确定相机相对于输送带上的该地点的位置。

在其他示例中，可以在两阶段的过程中执行非线性优化用以对3D传感 器校准的稳健估计。在一个阶段中，可以从目标和传感器的相对摆位偏移得 到初始化。在另一个阶段中，给定初始化，批束调整(batch bundle adjustment) 可以被用来找到相机的最佳摆位和目标点。可以将校准扩展到对机器人参数 (诸如关节长度和关节角度偏移)的估计。

在其他示例中，在校准图案上方的相机的已知、精确的机器人运动或在 相机上方的校准图案可以被用来改善校准结果。例如，关于相机如何移动的 精确的信息可以被用来获得更准确的相机校准。也就是说，如果相机向右移 动50mm，则可以检测到从校准物体的对应的(透视投影)移动量。该信息 可以被用来联合地或单独地优化校准和跟踪参数。

在另外的示例中，机器人能够查看其正在进行的校准并且以最大化信息 这样的方式移动用以更好的校准。例如，其能够检测到一些视图区域没有被 看到并且走向这些视图。

在其他示例中，呈现了用于一般从零乱的收集区域到定义的桶对杂乱的、 分类的物件的实际操作的系统。在一些实施例中，包含物件的拾取位置可以 对精确的(多个)物件方向不敏感，并且物件可以混合在一起。在另外的示 例中，物件的放置位置可以对物体方向敏感或可以对物体方向不敏感。在一 些示例中，拾取和放置区域可以被定义为可接收具有一些容差来进行拾取或 放置物体的3D区域。拾取和放置区域可能因为相似和/或不同的物体而高度 地零乱。在其他实施例中，物件可以来自于固定装置或被放入固定装置(诸 如将分类的物件保持在特定方向上的金属或塑料卡扣)中。

在另外的示例中，对拾取和放置位置两者的环境建模可以被用于智能抓 取位置和移动以及事件报告(例如，当放置区域已满或拾取区域为空时)。在 一些示例中，可以计算物体包围盒(bounding volume)和/或可以找到对象的 区别特征(例如纹理、颜色、条形码或OCR)。在一些实施例中，可以通过 对由物体类型或物体ID编索引的位置分配的数据库进行匹配来将物体分类 到分配的目的地位置。例如，可以通过读取条形码、考虑物体的大小和/或通 过识别特定种类的物体来导出对象的位置。

在一些示例中，可以为机器人设备确定规划，以便实现在物体的目标位 置内的物体的某些配置。例如，装载/卸载或托盘化/去托盘化的目标可以是为 了实现：(1)具有箱之间的最小气隙的密集打包和/或(2)将不容易倒塌的 稳定装箱。在一些实施例中，稳定性可能通常要求重物体在底部，而轻物体 在顶部。在其他示例中，可以创建托盘以便避免非交错的列堆叠、列倾斜或 不良堆叠的其他特性。

在另外的例子中，可以装载托盘或卡车/集装箱使得人类操作者在随后卸 载过程中的工作被最小化。例如，在一些实施例中，物件可以以后进先出的 顺序放置，使得在拆包时，首先需要的物件在顶部，次要需要的物件是下一 层等等。在其他示例中，托盘的装载可以独立于物件如何流向打包单元。因 此，根据一些实施例，系统能够处理以随机顺序或以预先已知的顺序发送的 包。此外，在一些实施例中，系统可以实时地适应物件的流的变化。在另外 的示例中，可以通过将箱保持在临时存储区域中来记录并缓冲一个或多个箱， 在临时存储区域中能够沿途改变箱的顺序。

根据各种实施例，2D模拟器和/或3D模拟器可以被利用于卡车或集装箱 装载/卸载或被利用于托盘装载/卸载。在一些示例中，可以在物理世界中捕获 箱的堆叠的状态并将其输入到模拟器中。在一些实施例中，模拟器可以使用 从一个至所有箱的箱的可变大小的队列来找到要拾取的下一个箱。例如，模 拟器可以考虑2个箱或4个箱或10个箱的队列。

在另外的示例中，模拟器可以通过启发式算法和/或通过蛮力或多分辨率 搜索来搜索队列中的箱以找到最佳的箱放置位。在一些实施例中，系统可以 随着在先前较粗糙的级别中找到的最佳地点的周围越来越精细地放置箱子而 增值(increment)。在一些实施例中，一旦确定了特定的下一个箱的放置位， 物理规划器就可以被用于运动规划，以便将箱高效地移动到所确定的位置。 在另外的例子中，物理和模拟的堆叠可以就堆叠的质量(例如，密度、稳定 性和/或顺序放置位)被连续监测。在一些示例中，可以重复该过程，直到所有箱已经被放置或者目标集装箱不能再放入另一个箱。

图4是示例性光学传感器402的功能的概念图。光学传感器402包括光 电检测器(诸如光电检测器404)的阵列。阵列中的一些光电检测器被配置 为当暴露于波长在可见光谱(例如，380nm至750nm)内的入射光束时生成 电荷。阵列中的其它光电检测器配置为当暴露于波长在红外光谱(例如， 750nm至3000nm)内的入射光束时生成电荷。在一些实施例中，红外感测光 电检测器被配置为捕获窄带的红外光(例如，825nm至875nm)。在结构化光 的实施例中，红外纹理投影仪可以在红外光的这样的窄带内投影图案化的光。

可见光感测光电检测器和红外感测光电检测器可以以各种不同方式布 置。在一些实施例中，可见光感测光电检测器可以穿插有红外感测光电检测 器，使得在光电检测器阵列上存在每种类型的光电检测器的基本均匀的混合。 本文设想了布置可见光感测光电检测器和红外感测光电检测器的各种方式， 并在下面进一步更详细地讨论。

在一些实施方案中，光电检测器的阵列可以被耦合到滤光器的阵列。滤 光器可以覆盖在光电检测器的顶部上，使得入射在特定光电检测器上的光首 先通过相应的滤光器。每个滤光器可以充当使波长在特定带内的光通过，同 时阻挡或衰减波长在该特定带之外的光的带通滤波器。如本文所述，“被配置 为”捕获或检测某一波长的光的光电检测器可以被实施为耦合到如上所述的 这样的滤光器的光电检测器。

在操作期间，入射在光学传感器402上的可见光406和红外(IR)光408 可以分别被光学传感器的可见光感测光电检测器和红外感测光电检测器捕 获。光学传感器可以包括被配置为从光电检测器中的电荷生成可见光图像410 和IR光图像412的控制电路和/或处理设备。然后可以将这些图像提供给计 算设备，以用在立体图像处理和深度感测以及其它可能的用途中。

要注意的是，可见光光电检测器和红外光光电检测器捕获光使用的特定 波段可以根据特定实施方式而变化。此外，这些波段的边缘处的降斜率(rate of drop off)也可以根据具体实施方式而变化。应当理解，可见光带和红外光 带的边界在各种实施方式当中可以不同。

还要注意的是，在本文中所描述的“可见光图像”在某些情况下可以指 的是全色图像(例如，对可见光谱中的光的颜色敏感的灰度图像)。在其他情 况下，可以提供光电检测器来单独感测红色、绿色和蓝色可见光。在这样的 情况下，光学传感器的控制电路可以执行去马赛克或其它图像处理，以便构 建彩色图像。本文所述的“可见光图像”可以指全色图像或彩色图像。

图5A是根据示例性实施例的示例性光学传感器上的光电检测器的示例 性布置500的概念图。图5中描绘的示例性布置500可以是用于本申请的光 学传感器(诸如图4中所示的光学传感器402)的光电检测器的一个示例性 布置。图5中所示的示例性布置500是棋盘图案，其中可见光感测光电检测 器和红外感测光电检测器在行方向上和列方向上交替。然而，应当理解，根 据特定的实施方式，可以在特定光学传感器上使用各种不同的其它光电检测 器图案。

在操作期间，光学传感器可以使用其可见光感测光电检测器捕获可见光 图像并使用其红外感测光电检测器捕获红外光图像。如本文所述，这些图像 可以被用在立体图像处理中以确定环境中的表面的深度。这样的立体图像处 理可以涉及确定来自一个视角(例如，来自第一光学传感器)的图像内的特 征的像素位置，并且将其与来自不同的视角(例如，来自第二光学传感器) 的图像内的该特征的像素位置进行比较。使用三角测量，可以基于两个不同 视角之间的已知距离(例如，第一和第二光学传感器之间的距离)和该特征 在两个图像中的相对像素位置来确定该特征的深度。

本申请的深度感测技术涉及用两种不同类型的光(红外光和可见光)来 执行这样的立体图像处理，以确定在光的两个不同带(例如，波段或频带) 中的深度估计。然后，这些深度估计可以被组合以形成对环境中的至少一个 表面的组合深度估计。然而，因为可见光感测光电检测器和红外感测光电检 测器在光电检测器上不占据完全相同的位置，而是穿插在平面阵列中，所以 当组合两个单独的深度估计时可能存在一定量的不准确性。

作为一个示例，可见光图像可以包括由可见光感测光电检测器504捕获 的特征，而红外光图像可以包括由红外感测光电检测器506捕获的该相同特 征。该特征可能看起来在可见光图像和红外光图像中占据相同的像素，虽然 捕获该特征的各个光电检测器的物理位置不同(在本示例中，是光电检测器 504和光电检测器506之间的距离)。这种轻微的不准确性可能根据穿插有可 见光感测光电检测器和红外感测光电检测器的特定图案而变化。图5中所示 的棋盘图案是减少这样的不准确性的光电检测器的一个示例性布置。

除了减少这样的不准确性之外，图5中所示的棋盘图案提供了减少的系 统误差。考虑光电检测器的不同布置，其中可见光感测光电检测器列与红外 感测光电检测器列交替。利用两个这样的列交替光学传感器的成像系统可能 遭受增加的系统误差。如果两个光学传感器校准不良，则捕获的图像内的相 对像素位置可能偏移，导致系统误差。该偏移可能影响光电检测器的全部列 的像素位置的准确性。通过沿着行和列两者交替光电检测器类型(例如，棋 盘图案)，可以避免这种系统偏差或大大降低其影响。

在一些实施例中，可以使用基于光电检测器的已知布置的软件和/或技术 来补偿或校正该不准确性。将图5中的光电检测器布置500考虑为整个光学 传感器，其由16个光电检测器(8可见光感测光电检测器和8个红外感测光 电检测器)组成。在示例性实施例中，8个可见光感测光电检测器可以被用 来从可见光谱中的光生成2×2全色图像，而8个红外感测光电检测器可以被 用来从窄带红外光谱中的光生成2×2图像。在该示例中，每个马赛克(诸如 马赛克502)可以对应于图像中的单一像素；即，两个可见光感测光电检测 器对应于可见光图像中的像素，而两个红外感测光电检测器对应于红外光图 像中的像素。当生成图像的像素时，可以对马赛克内相同类型的两个光电检 测器所生成的电荷进行平均。虽然所得的图像的分辨率降低(因为两个光电 检测器贡献于单一像素)，但是减小了系统偏差；来自特定马赛克所捕获的特 征的光被表示在可见光图像和红外光图像中的相同像素位置处。

在其他实施例中，可见光感测光电检测器可以与红外感测光电检测器以 交替图案布置。作为一个示例，阵列中的每行可以在可见光感测和红外感测 光电检测器之间交替。作为另一示例，阵列中的每列可在可见光感测和红外 感测光电检测器之间交替。在附加实施例中，光学传感器可以将可见光感测 和红外感测光电检测器布置成重复图案或马赛克。例如，可以组合马赛克内 的任何数量的可见光感测和红外感测光电检测器实施各种正方形镶嵌图案。 给定的马赛克可以包括任何数量的光电检测器。不管光电检测器的具体布置 如何，光学传感器都可以具有使光学传感器能够捕获可见光图像和红外光图 像两者的可见光感测光电检测器和红外感测光电检测器的某种组合。

在一些实施方式中，利用可见光和红外光感测光学传感器的机器人系统 可以在给定时刻知道、检测其当前处于的环境或以其他方式对该环境进行分 类。这样的机器人系统可以基于在其中机器人系统当前正主管的所确定的环 境来更改光学传感器的一个或多个光电检测器的操作。光学传感器的控制电 路可以在操作期间被配置以改变光学传感器的各种操作方面和参数，包括施 加给每个光学传感器的电荷的增益的量和将光电检测器暴露于光下的时间的 长度(曝光时间)以及其他可能的操作方面。在一些实施方式中，可以为可 见光感测光电检测器和红外感测光电检测器设置不同的增益值和曝光时间。

作为一个示例，机器人系统可以确定其正在白天室外环境中操作并且响 应地减少光电检测器的曝光时间和/或增益值。在一些情况下，机器人系统可 以减少或以其他方式设置可见光感测光电检测器的曝光时间，同时不减少或 以其他方式改变红外感测光电检测器的曝光时间。如果该机器人系统移动进 入黑暗的室内环境，则机器人系统可以响应地增加可见光感测光电检测器和/ 或红外感测光电检测器的曝光时间和/或增益值。机器人系统可能遇到可能需 要改变可见光感测光电检测器、红外感测光电检测器或两者的增益值和/或曝 光时间的其他情景。

在一些情况下，机器人系统可以设计为在特定环境内操作，并且预期不 会经历照明的剧烈变化。例如，机器人系统可以被设计为仅在具有与人工照 明相对一致的很少的窗户的室内环境中操作。然而，虽然预期照度范围小于 其他混合的室内和室外环境中的照度范围，但是这样的环境可能仍然包含光 线充足的表面和阴影表面。在这样的环境中的机器人系统可以采用一个或多 个光学传感器，每个光学传感器包含比红外感测光电检测器更多的可见光感 测光电检测器。

例如，每个红外感测光电检测器可能对红外投影图案更敏感，而每个可 见光感测光电检测器可能对环境中的环境光相对较不敏感。因此，取决于其 预期用途，某些光学传感器可以被设计为包括与另一种类型的光电检测器相 比更多的一种类型的光电检测器。而且，可见光感测光电检测器和红外感测 光电检测器的布置方式可以根据每种类型的光电检测器的数量和光学传感器 的预期目的而变化。应当理解，可以根据实施方式、预期用途和/或机器人系 统预期要遇到的各种环境来实现组合以各种方式布置的任意数量的可见光感 测光电检测器和红外感测光电检测器的各种光电检测器。

要注意的是，虽然16个光电检测器以4×4阵列描绘，但是本申请的光学 传感器可以包括布置成各种不同尺寸的任何数量的光电检测器。还要注意的 是，本文所指的术语“马赛克”是指光电检测器的重复分组。

在一些实施例中，可见光感测光电检测器可以包括用于分别捕获红色、 绿色和蓝色(RGB)可见光的光电检测器。图5B是红色感测光电检测器、 绿色感测光电检测器、蓝色感测光电检测器和红外感测光电检测器的布置510 的概念图。不同于图5A中所示的示例性光学传感器，其中可见光感测光电 检测器捕获宽带上的所有可见光，图5B中所示的可见光感测光电检测器捕获 红色、绿色和蓝色可见光的较小、分离的带中的可见光。

在一些实施例中，除了执行立体深度感测之外，可能希望捕获环境的彩 色图像。可以使用具有像图5B中的光电检测器那样布置的光电检测器的光学 传感器，以便提供这样的彩色图像。这样的光学传感器的控制电路可以组合 从RGB光电检测器检测到的光，以便生成彩色图像。在某些情况下，彩色图 像可以通过使得能够检测可能难以从全色图像中辨别的细微颜色变化来增强 从可见光图像中的特征检测。

应当理解，“可见光感测光电检测器”在本文中可以指从所有颜色的可见 光捕获全色图像的宽带可见光光电检测器或检测可见光光谱内的较小带(例 如，红光、绿光和蓝光)用以捕获彩色图像的光电检测器的组合。

图6是示例性立体成像系统600的概念图，立体成像系统600包括纹理 投影仪602、第一光学传感器604和第二光学传感器606。在图6中，第一光 学传感器604被示出为与纹理投影仪602分离距离D1并且第二光学传感器606被示出与纹理投影仪602分离距离D2。第一光学传感器604被示出为与 第二光学传感器606分离距离D3。在图6的立体成像系统600中，第一光学 传感器604和第二光学传感器606可以从不同的角度(例如，从不同的视角) 观察环境608。因此，第一光学传感器604可以被用来从第一视点捕获环境 608的图像，而第二光学传感器606可以被用来从第二视点捕获环境608的 图像。

第一光学传感器604和第二光学传感器606可以被配置为捕获可见光图 像和红外光图像。在一些实施例中，第一光学传感器604和第二光学传感器 606与光学传感器402类似或相同，并且可以具有以上述方式(包括图5中 所示的布置500)布置的光电检测器。

环境608可以至少部分地被可见光610照亮。该可见光源可以是日光或 可见光谱人工照明(例如，来自白炽灯泡、荧光灯泡、发光二极管等)、以及 其他可能的可见光源。可见光610可以明亮地照亮环境608内的某些部分、 物体或表面，而环境608内的其它部分、物体或表面则被遮蔽或光线昏暗。

环境608也可以被来自纹理投影仪602的红外投影图案部分地照亮。纹 理投影仪602可以是红外光发射器或红外投影仪。例如，纹理投影仪可以包 括光源、投影光学系统以及液晶显示器(liquid crystal display，LCD)或其他 用图案中断光的方法。投影的图案可以是网格、点、条纹、斑点、水平条和/ 或垂直条的已知组合以及其他形状。

在一些情况下，当投影的图案从环境608内被遮蔽或光线昏暗的部分、 物体或表面反射时，才可以被检测到。除了发射可见光之外，某些可见光源 可以发射冲淡或压制红外投影图案的红外光。

在一些实施例中，投影的图案可以为已知或以其他方式预定的图案，其 为形状的独特组合。当图案被预定时，该图案的独特部分可以位于捕获的红 外图像内并且提供用于三角测量的参考点。例如，一旦从捕获的图像中识别 出预定图案的独特部分，就能够使用预定图案的该独特部分的特性(诸如其 大小和位置)作为确定在其上投影该独特部分的表面的深度的基础。在采用 已知或预定的投影图案的实施方式中，结构化光深度感测可以仅需要一个红 外图像和光学传感器和纹理投影仪的相对位置来生成深度图。然而，从不同视点捕获的多个红外光图像可以提供能够被用来改善或验证三角测量的准确 性的附加信息。

在其他实施例中，投影的图案可以随机生成。在一些实施方式中，可以 捕获变化的随机生成的投影图案的多个红外光图像。采用结构化光处理的计 算设备可以导出每个红外光图像的深度信息。然后能够组合与每个不同图案 相对应的深度信息以生成更准确或完整的深度图。

在操作期间，第一光学传感器604可以从环境608反射出的可见光610 中捕获可见光图像并且从环境608反射出的红外投影图案中捕获红外光图 像。从不同的视点，第二光学传感器606可以从环境608反射出的可见光610 中捕获可见光图像并且从环境608反射出的红外投影图案中捕获红外光图 像。根据光学传感器的曝光时间，环境的黑暗部分可能看起来是黑色的或非 常黑暗，而环境608的光线明亮部分可以在可见光图像中显示被照亮表面的 细节和特征。相反，根据光学传感器的曝光时间，环境608的光线明亮部分 可能看起来是白色的或被冲淡，而环境608的黑暗部分可以在红外光图像中 显示投影出的红外图案。

计算设备可以基于第一光学传感器604和第二光学传感器606所捕获的 两个可见光图像来生成深度图像。这可以涉及找到两个可见光图像内对应的 像素值(例如，特定特征的像素值)的映射，并计算这些公共区域在像素空 间中距离多远，并且使用三角测量(基于例如，两个光学传感器之间的距离 D3)来确定深度图或图像。该深度图或深度图像可以包含基于从反射的可见 光检测到的特征的、与环境608中的物体的表面的距离相关的信息。然而， 在环境608的阴影或光线昏暗的部分中的物体的表面可能不会反射足够的可 见光来准确地确定这些表面的距离；因此，从可见光图像产生的深度图可以 准确地表示环境608中的一些表面的深度。

类似地，计算设备可以基于第一光学传感器604和第二光学传感器606 所捕获的两个红外光图像来生成深度图像。可以以与针对可见光图像类似的 方式来生成针对红外光图像的深度图像或深度图。该深度图或深度图像可以 包含基于从反射的红外光(包括红外投影图案)检测到的特征的、与环境608 中的物体的表面的距离相关的信息。然而，环境608的明亮照明部分中的物 体的表面可能反射太多的红外光，从而冲淡原本可检测到的特征并使得确定 这些表面的距离变得困难；因此，从红外光图像生成的深度图可以准确地表示环境608中的一些表面的深度。

计算设备可以组合来自根据可见光图像生成的深度图和根据红外光图像 生成的深度图的信息，以确定环境608的组合深度图。因为每个深度图表示 在不同光谱中检测到的深度，因此组合深度图可以为整个环境608提供更全 面和/或准确的深度图。

在一些实施例中，可以基于第一光学传感器604或第二光学传感器606 所捕获的单一红外光图像来确定深度图。例如，计算设备可以采用基于纹理 投影仪602和第一光学传感器604之间的已知距离的三角测量技术以及第一 光学传感器604捕获的投影到环境608上的投影图案的红外图像以确定深度 图。已知距离D1、D2和D3与第一光学传感器604和/或第二光学传感器606 所捕获的一个或多个红外图像的任意组合可以被用来确定深度图。

在一些情况下，根据可见光图像确定的深度图和根据红外光图像确定的 另一深度图可以包含重叠的深度信息。当生成组合深度图时，计算设备可以 从两个深度图之一中选择深度信息，以用在组合深度图中。在一些实施方式 中，计算设备可以对来自重叠的深度信息存在于的两个深度图的深度信息进 行平均。

虽然根据可见光图像确定的深度图需要从两个不同视点捕获的至少两个 可见光图像，但是从红外光图像确定的深度图可以仅需要从这些视点之一捕 获的单一红外光图像。如上所述，可以基于纹理投影仪602和捕获红外光图 像的光学传感器之间的已知距离使用三角测量来确定基于红外的深度图。因 此，在其他示例性立体成像系统中，第一光学传感器604和第二光学传感器 606中只有一个需要捕获红外图像的能力，以便实现基于本申请的可见光和 红外光的组合的深度图的技术。

图7是用于确定环境的虚拟表示的示例性方法700的框图。图7中所示 的方法700呈现了能够由图2B的机器人设备200，例如，或更一般地，由任 何计算设备的一个或多个部件使用或实施的方法的实施例。方法700可以包 括由框702-714中的一个或多个所示的一个或多个操作、功能或动作。虽然 按依次顺序示出了框，但这些框也可以并行地执行，和/或以与本文所描述的 顺序不同的顺序执行。并且，各种框可以基于期望的实施方式组合成较少的 框、被划分为附加框和/或被移除。

此外，对于方法700和本文公开的其他过程和方法，框图示出了本实施 例的一个可能实施方式的功能和操作。在这方面，每个框可以表示模块、段 或程序代码的一部分，其包括可由处理器或计算设备执行的一个或多个指令， 用以实施过程中的特定逻辑功能或步骤。程序代码可以被存储在任何类型的 计算机可读介质上，例如，诸如包括盘或硬盘驱动器的存储设备。计算机可 读介质可以包括非暂时性计算机可读介质，例如，诸如短时期存储数据的计 算机可读介质，比如寄存器存储器、处理器高速缓冲存储器和随机存取存储器(RAM)。计算机可读介质还可以包括例如，非暂时性计算机可读介质(诸 如辅助或持久性长期存储装置)，比如只读存储器(ROM)、光盘或磁盘，紧 凑式盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其它易失性或 非易失性存储系统。计算机可读介质可以被认为例如是计算机可读存储介质 或有形存储设备。

此外，对于方法700和本文公开的其他过程和方法，图7中的每个框可 以表示被连线以执行过程中特定逻辑功能的电路。

在一个实施例中，方法700的功能可以由诸如图2B的控制系统240的控 制系统来执行。在其他实施例中，方法700的功能可以跨多个控制系统分布， 这些控制系统被配置为使用立体图像处理的输出来确定环境中表面的深度。

框702、704和706与从可见光图像的深度感知相关联。框708、710和 712与从红外光图像的深度感知相关联。虽然这两组框被描绘为并行地执行， 但是图7中所示的方法700的框702-714中的每一个可以以任何顺序执行。 方法700的操作的布置意图促进对方法700的理解，而不应被误解为限制于 可以执行框702-714的操作的顺序。

在框702处，方法700涉及从第一光学传感器的第一多个光电检测器接 收作为从第一视点感知的环境的第一可见光图像。类似于上面关于图4描述 的光学传感器402，第一光学传感器可以包括可见光感测光电检测器和红外 感测光电检测器的组合。光电检测器可以以各种不同方式布置，诸如关于图 5所述的棋盘图案，以及其他可能的布置。第一光学传感器也可以类似于图6 所示的第一光学传感器604。

可见光谱内的光可以使第一多个光电检测器生成电荷。由特定光电检测 器生成的电荷可以与入射到该特定光电检测器上的光的强度或照度成比例。 第一光学传感器可以包括被配置为读取由第一多个光电检测器生成的电荷并 且基于这些电荷生成图像的控制电路。在一些实施例中，图像是人可见波长 光谱内的全色的(例如，灰度)。在其他实施例中，第一多个光电检测器包括 分别捕获红色、绿色和蓝色可见光的光电检测器，并且控制电路可以被配置 为组合(例如，去马赛克)这些电荷以形成彩色图像。

在框704处，方法700涉及从第二光学传感器的第一多个光电检测器接 收作为从第二视点感知的环境的第二可见光图像。第一光学传感器可以位于 距第二光学传感器的已知距离处。在一些实施例中，第一和第二光学传感器 的相对角度也是已知的。计算设备可以使用第一和第二光学传感器之间的相 应距离和角度来估计环境中至少一个表面的深度。

在框706处，方法700涉及在第一可见光图像和第二可见光图像之间识 别环境的第一对应特征。环境中可能有许多在环境内形成表面的物体。这些 物体可能具有某些视觉上可辨认的特征，诸如边缘、颜色变化和轮廓以及其 他可能的特征，其能够在第一和第二可见光图像中被共同识别。计算设备可 以识别环境的给定特征，并且确定该特征在第一可见光图像内的第一像素位 置和该特征在第二可见光图像内的第二像素位置。基于第一和第二像素位置 之间的差异以及第一和第二光学传感器的相对位置，可以使用三角测量和/或 立体图像处理来确定该特征的深度(例如，光学传感器与该特征之间的距离)。 对于环境内任何数量的识别出的特征，可以重复这样的特征深度确定。

在框708处，方法700涉及从第一光学传感器的第二多个光电检测器接 收作为从第一视点感知的环境的第一红外光图像。在方法700中描述的红外 光可以是红外光的特定带内的光(例如，825nm至875nm以及其它可能的IR 带)。环境的第一红外光图像可以捕获来自各种光源的该特定带内的残余红外 光。在一些实施例中，第一红外光图像还可以捕获纹理投影仪投影到环境上 的红外图案。

在框710处，方法700涉及从第二光学传感器的第二多个光电检测器接 收如从第二视点感知的环境的第二红外光图像。与第一红外光图像一样，第 二红外光图像可以捕获纹理投影仪投影到环境上的红外图案。

在框712处，方法700涉及在第一红外光图像和第二红外光图像之间识 别环境的第二对应特征。特定红外波段内的残余红外光可能提供足够的照明 来检测环境内物体或表面的某些特征。此外，投影到环境上的红外图案在环 境中的原本光线昏暗或无特征的表面上生成可检测的特征。如关于框706所 描述的，计算设备可以识别环境中的特征(自然存在和/或人工投影的特征)， 确定两个红外光图像之间这些识别出的特征的相对像素位置，并且使用三角 测量和/或立体图像处理确定这些特征的深度。

在框714处，方法700涉及基于第一对应特征和第二对应特征来确定环 境中至少一个表面的深度估计。在单一表面的背景中，计算设备可以基于第 一对应特征确定该表面的第一深度估计并基于第二对应特征确定该表面的第 二深度估计。计算设备可以采用立体图像处理和/或三角测量技术以便确定第 一和第二深度估计。在一些实施例中，计算设备可以通过对第一和第二深度 估计进行平均来确定组合深度估计。

给定表面的特定特征可以仅在可见光图像或红外光图像中被识别。在这 种情况下，确定深度估计可以涉及基于可以从其识别该特定特征的这对图像 来确定深度估计。

在整个环境(或包含多个表面的环境的一部分)的背景中，计算设备可 以基于在可见光图像之间识别的对应特征来生成环境中各种表面的基于可见 光的深度图并且基于红外光图像之间识别的对应特征来生成环境中各种表面 的基于红外光的深度图。基于可见光的深度图可能缺乏对于环境的光线昏暗 部分的深度信息，而基于红外光的深度图可能缺乏对于环境的光线明亮部分 的深度信息。在一些实施方式中，计算设备可以通过将两个深度图中的一个 选择为“基本”深度图，然后包括来自另一深度图的所选择深度图中缺少的 深度信息，来确定组合的深度图。

在其他实施方式中，计算设备可以通过包括来自任一深度图的独特深度 信息并且在对于给定表面的深度信息存在于两个深度图中的情况下对来自两 个深度图的该特定表面的深度信息进行平均来确定组合深度图。例如，计算 设备可以确定哪些深度信息对于基于可见光的深度图是独特的，哪些深度信 息对于基于红外光的深度图是独特的，以及在两个深度图中存在哪些深度信 息。首先，计算设备可以将来自每个深度图的独特深度信息拼接或以其他方 式连接在一起。然后，计算设备可以对其深度存在于两个深度图中的表面的 深度信息进行平均，或者将该平均的深度信息与独特的深度信息拼接或其他 方式组合，以形成组合的深度图。

注意的是，“深度图”和“深度图像”可以指环境中表面的空间深度信息。 下面的图11B和图11D中描绘了深度图的示例表示。

在一些情况下，计算设备可以重复方法700中的一个或多个框以确定对 环境的多个深度估计。例如，计算设备可以使用方法700来确定指示环境中 一个或多个表面的深度的深度图。

在各种实施例中，确定深度图或深度图像可以涉及自一个视角从图像中 识别特征，并且从不同的视角在另一图像内定位该相同特征。可以将两个图 像之间该特征的相对像素位置用作通过三角测量来确定深度(例如，与光学 传感器的距离)的基础。在各种实施方式中，识别这些对应特征可以涉及确 定一个或多个相关表面。在本文中使用的“相关表面”涉及指示一个图像内 的像素及其邻域(例如，与该像素相邻或在该像素附近的其他像素)和不同 图像内的两个或更多个像素(例如，像素及它们的邻域)之间相似程度的数 值估计的组合。图8A、图8B和图8C示出了在识别两个图像之间的对应特 征的各种实施方式中可以使用相关表面的方式。在各种情况下，当确定相关 表面时，可以将左图像中的给定像素(诸如像素X_L)及其“邻域”与右图像中 的一个或多个像素进行比较。考虑在本示例中当可以执行确定相关表面时给 定像素X_L周围的邻域。此外，应当理解，可以翻转该过程，使得右图像中的 像素可以与左图像中的两个或多个像素进行比较。

图8A是根据示例性实施例的用于确定相关表面的示例性配置的概念图 800。该配置包括布置成提供环境的不同视点的左光学传感器802和右光学传 感器804。关于图8A、图8B和图8C讨论的以下示例描述了能够针对像素 X_L确定相关表面的过程。由左光学传感器802捕获的图像的像素X_L可以是 具有在图像内的x值和y值坐标位置的左视点图像内的像素。

当确定像素X_L的相关表面时，计算设备可以将左图像中的像素X_L的各 个方面(例如，亮度、光度、颜色等)与右图像中的一个或多个像素(诸如 像素X_R、(X+1)_R、(X+2)_R、(X-1)_R和(X-2)_R)的各个方面进行比较。计算 设备可以确定左像素X_L和这些右图像像素中的一个或多个的相似程度。表示 两个像素之间相似程度的数值在本文中可以称为“相关值”，使得一组相关值 充当相关表面的基础。在本示例中，较小的相关值指示两个像素之间较高的相似度，而较大的相关值指示两个像素之间较小的相似度。因此，任何“下降 (dip)”、“谷”或局部最小值可以被解释为两个像素与其他周围像素相比具 有最高的相对相似度，其在某些情况下可以表示“匹配”(例如，对应特征)。

作为示例操作，计算设备通过首先将像素X_L与像素X_R、(X+1)_R、(X+ 2)_R、(X-1)_R和(X-2)_R中的每一个进行比较来确定X_L的相关表面。可以在执 行这些比较之后生成相关表面810。如图8B中所示，相关表面810包含与像 素(X+1)_R相对应的点p4处的局部最小值，如相关表面810中的“谷”812所 指示。在该示例中，计算设备可以因此确定X_L中的特征与(X+1)_R中的特征 相对应。在识别对应特征的相对像素位置时，计算设备可以使用三角测量来 确定X_L中的特征的深度等于从左光学传感器802到点p4的距离。这样的三 角测量技术可以涉及确定X_L的投影线806与(X+1)_R的投影线808的交点。 可以基于左光学传感器的焦点F_L确定X_L的投影线806，并且可以基于右光学 传感器的焦点F_R来确定(X+1)_R的投影线808。

注意的是，在该示例中，随着右图像上的“x”像素增加(例如，进一步 向右的“x”像素)，对应点p的深度减小；相反，随着右图像上的“x”像素减小 (例如，进一步向左的“x”像素)，对应点p的深度增加。因此，在从相关表 面识别对应特征的相对像素位置之后，计算设备还可以估计该特征的深度。

还要注意的是，上面关于图8A和图8B描述的示例讨论了计算相对于彼 此水平彼此相邻的一组右图像像素的左图像像素X_L相关表面的过程。然而， 各种实施例可以涉及通过将左图像像素X_L与彼此垂直相邻的一组右图像像 素、构成像素的二维阵列的一组右图像像素、或在给定右图像像素的预定半 径内的一组右图像像素、以及其他可能的右图像像素组进行比较，来计算相 关表面。对于给定的左图像像素确定相关表面的方式可以取决于多种不同因 素，包括给定系统中两个光学传感器的相对位置或用于确定相关系统的计算设备的处理速度以及其他可能的因素。

如本文所述的相关表面可以指代离散的相关值的集合。提供相关表面的 任何曲线拟合或连续表示用于说明目的；各种实施例可以或可以不确定函数 表达式(例如，多项式方程或其他内插函数)。

在一些实施例中，可以对应于从不同波长的光捕获的图像确定多个相关 表面。例如，两个光学传感器可以捕获一对可见光图像和一对红外光图像。 在示例过程中，计算设备可以根据该对可见光图像确定一个相关表面并且根 据该对红外光图像的确定另一相关表面。然后，计算设备可以组合两个相关 表面以确定组合的相关表面。该示例过程的示例性说明在图8C中示出。

在示例性情景中，特征可以仅在光的一个波段内可检测。例如，环境的 黑暗部分中的表面的某些特征对于可见光图像可能太暗，以致不能从其确定 可区分的特征。然而，红外光投影器可以照亮原本是黑暗的表面，并且允许 在红外光谱中检测特征。

在图8C中，从可见光图像确定的像素X_L的相关表面830不包含任何下 降、谷或局部最小值。然而，根据红外光图像确定的像素X_L的相关表面840 在点p4处具有局部最小值。计算设备可以将相关表面830和相关表面840相 加以确定组合的相关表面850。通过相加两个相关表面830和840之间的对 应p值，在相关表面850中保持了局部最小值。因此，通过简单地将两个相 关表面相加在一起，这两个相关表面分别根据不同的光波长而确定，所得到的组合的相关表面850可以保留来自两个分离的相关表面的局部最小值。然 后，计算设备可以从组合的相关表面850识别这些局部最小值，识别这些局 部最小值中哪些表示具有给定像素值的对应特征，并且确定该给定像素值中 的特征的深度，如上所述。

识别局部最小值可以使用各种不同技术来实现。在一些实施方式中，计 算设备可以确定给定相关表面中的相关值是否小于阈值相关值。在其他实施 方式中，计算设备可以确定给定相关表面中的最小相关值是否小于下一个最 小相关值。可以使用各种不同的其他技术来识别相关表面中的局部最小值。

图9是组合来自多个深度图像的信息以形成组合的输出深度图像的概念 图900。计算设备可以对可见光图像A和可见光图像B采用立体图像处理来 确定第一深度图像902。第一深度图像可以是从一个或多个光学传感器到环 境中的至少一个表面的距离的映射。计算设备还可以对IR光图像A和IR光 图像B采用立体图像处理，以确定第二深度图像904。与第一深度图像相同， 第二深度图像可以是从一个或多个光学传感器到在环境中的至少一个表面的 距离的映射。计算设备可以组合第一深度图像902和第二深度图像904，以 便确定输出深度图像906。

图10A是根据示例性实施例的示例性环境的概念图1000。示例性环境包 括壁1008和位于相对于纹理投影仪1002的壁的前面的箱1010。纹理投影仪 1002可以被放置在距壁1008和箱1010一定距离处，并且被配置为投影红外 投影图案，类似于关于图6所述的纹理投影仪602或与关于图6所述的纹理 投影仪602相同。另外，可以存在第一光学传感器1004和第二光学传感器 1006，并且第一光学传感器1004和第二光学传感器1006捕获示例性环境的 可见光图像和红外光图像。纹理投影仪1002、第一光学传感器1004和第二 光学传感器1006可以以与关于图6所述的纹理投影仪602、第一光学传感器 604和第二光学传感器606类似的方式来配置。

图10A中所示的示例性环境被明亮光源部分地点亮，使得环境具有明亮 区域1014(使用点状图案示出)和黑暗区域1012。明亮区域1014可以由人 工光源(例如，灯泡)和/或阳光照亮。黑暗区域1012可以通过从物体投影 到环境上的阴影而产生，或者是由于缺乏照亮环境的该部分的光源而产生。 壁1008和箱1010都包括黑暗部和明亮部分，如图10A中所示。纹理投影仪 1002可以将图案投影到整个环境上；然而，光学传感器可以仅感知黑暗区域 1012上的红外投影图案。因此，描绘了黑暗区域1012，其具有投影在其上的 红外图案。

在操作期间，光学传感器1004和1006从不同的视点捕获可见光图像和 红外光图像。在图10B中描绘并在下面描述根据这些捕获的图像确定深度信 息的过程。

注意的是，示意1000使用点描绘明亮区域，并且将黑暗区域描绘为具有 视觉上可感知的投影图案。为了说明的目的而提供这些示意的图案，并且这 些图案并不一定对应于光学传感器的感知或人眼对环境的感知。还要注意的 是，虽然黑暗区域1012和明亮区域1014之间的边界在图10A的示意1000 中是清楚的，但是在其他环境中黑暗区域和明亮区域之间的边界可能更多的 是梯度变化曲线。

图10B是根据多个深度图像确定深度的示例性示意。图10B的左侧描绘 了根据由红外线投影图案照亮的黑暗区域来确定深度估计。环境的示意1020 上的阴影区域表示在其上能够通过红外光图像来检测投影的图案的、环境的 部分，并用来确定环境中表面的深度的部分。为了说明的目的，讨论了估计 横跨水平段1022的表面深度。使用结构化光处理，计算设备可以根据由红外 投影图案照明的环境的黑暗区域的红外光图像来确定深度信息。所得到的深 度估计在曲线图1024中描绘。从左到右移动，检测到远壁的深度，然后随着箱被检测到而减小深度直到黑暗区域停止(由点表示)。注意的是，在该示例 中，不能基于红外光图像确定明亮区域的深度信息；这是因为亮光压制了红 外投影图案，从而使得在明亮区域上的特征的辨别变得困难。

图10B的右侧描绘了根据明亮区域确定深度估计。环境的示意1030上的 阴影区域表示由亮光照亮的环境的部分，其允许从可见光图像中对特征的视 觉检测并用来确定环境中的表面的深度。使用立体图像处理，计算设备可以 根据环境的明亮区域的可见光图像确定深度信息。所得到的深度估计在曲线 图1034中描绘。从左到右移动，沿着黑暗区域不能确定深度信息直到到达明 亮区域。这是因为在可见光光谱中，黑暗区域不能提供足够的光来辨别用来 感测深度的特征。在明亮和黑暗区域之间的边界处(由图1034中的点表示)，检测到箱的深度，然后检测到壁的深度。

曲线图1040描绘了根据曲线图1024和曲线图1034中所示的深度估计的 组合的深度估计。虽然环境具有宽照度范围，采用本申请的深度感测技术产 生了环境的明亮和黑暗区域两者的深度估计。如图10A和9中所示，给定的 表面可以具有明亮部分和黑暗部分两者，所述明亮部分和黑暗部分使用典型 的立体成像技术，将提供关于该表面的不足或不准确的深度信息。然而，通 过检测在可见光谱中的、环境中的光和在特定红外波段内的投影到环境上的 投影图案，可以检测环境中的表面的全面且准确的深度信息。本申请的技术可以在阳光照射的环境、较暗的室内环境以及亮和暗环境的组合中提供改进 的深度感测。

图11A是根据示例性实施例的场景的示例性图像1100。图11A中所示的 场景包括打开的车库或舱门，阳光通过该车库或舱门(bay door)照亮地面的 一部分。与阳光的照度相比，地面的其他部分和内壁光线昏暗。典型的立体 图像处理可以生成如图11B中所示的场景的深度图1110。在图11B中，环境 的黑色部分指示缺少深度信息，而环境的白色或灰色部分指示确定的深度信 息(其中浅灰色指示较小的深度而深灰色指示较大的深度)。如图11B中所示， 可能不能为场景的阴影部分的大部分确定深度信息。

图11C是根据示例性实施例的具有投影图案的场景的示例性图像1120。 图像1120示出了照亮地面的日光和照亮环境的阴影部分的投影图案两者。注 意的是，图像1120可以表示宽范围的光波长，并且为了解释的目的，可以同 时描绘所捕获的可见光和/或红外光。通过执行本申请的组合的红外和可见光 深度感测，计算设备可以生成如图11D中所示的场景的深度图1130。不同于 图11B中所示的深度图1110，图11D中所示的深度图1130包括来自场景的 阴影部分的深度信息(其可以已经使用结构光处理从红外光图像得出)。与深 度图1110相比，根据组合的可见光和红外光深度感测而确定的深度图1130 提供了更全面的深度信息。

应当理解，本文描述的布置仅仅是为了示例的目的。因此，本领域技术 人员将理解，可以替代地使用其他布置和其他元件(例如，机器、接口、功 能、顺序和功能的分组等)，并且可以根据期望结果将一些元件完全省略。此 外，所描述的许多元件是可以以任何合适的组合和位置被实现为离散或分布 式组件或与其它组件结合的功能实体。

虽然本文已经公开了各个方面和实施例，但是其他方面和实施例对于本 领域技术人员将是显而易见的。本文公开的各个方面和实施例是为了说明的 目的，而不是限制性的，其真实范围由所附权利要求以及这些权利要求所赋 予的等价物的全部范围所指示。还应当理解，本文使用的术语仅用于描述特 定实施例的目的，而不是限制性的。

由于可以对所描述的示例在细节上进行许多修改、变化和更改，所以意 图是在前面的描述中并在附图中示出的所有内容都应当被解释为是说明性的 而不是限制性的。此外，还应该理解所附权利要求进一步描述本说明书的一 些方面。