具体实施方式

概述

对于具有精细距离分辨率的深度映射，需要ToF的精细时间分辨率。为此，已经开发出求平均和多测量技术，诸如时间相关单光子计数(TCSPC)。在该技术中，每个测量周期以开始信号或同步信号开始，并且以在该周期中第一光子到达时由SPAD提供的停止信号结束(假设光子在下一周期开始之前到达)。通常在这种类型的许多周期上构建到达时间的直方图，然后处理以定位统计峰值。

这些能力可在处理电路阵列中使用，该处理电路阵列耦接到感测元件阵列并且包括存储器，该存储器记录每个采集周期中入射在每个感测元件上的光子的入射时间。为此，耦接到每个SPAD感测元件的处理电路可包括相应的时间-数字转换器(TDC)，其在存储器中使在多个不同的时间柱条中感测元件上光子的相应入射时间的计数递增。在每个帧结束时，控制器处理存储在像素存储器中的相应计数的直方图，以便推导和输出对应感测元件的相应到达时间值。

以这种方式，基于ToF的深度映射器能够在变化的环境光条件下测量大的距离范围上的目标景深。然而，现有的这种深度映射器经受高噪声和低分辨率影响。可通过增大构建ToF直方图的暴露时间来改善信号/噪声比和分辨率，这意味着直方图在照明目标场景的该一个或多个束的更大数量的脉冲上累积。

然而，增加暴露时间也增大了深度测量对运动伪影的易感性。这些伪影可能是由于目标场景中对象与深度映射装置之间的各种类型的相对运动而出现，包括场景中对象的移动和深度映射装置自身的移动两者。虽然可通过在该场景中的不同时间和位置处构建的直方图之间进行比较来推断和校正一些运动伪影，但该方法在计算上是低效的，并且可能无法区分某些类型的运动伪影和场景中产生类似直方图特征的特征。

本文所述的本发明的实施方案在检测目标场景中的对象与深度映射装置之间的相对运动中利用辅助信息，即，来自除ToF感测元件之外的源的信息。在一些实施方案中，通过处理场景的附加图像诸如彩色视频图像来提供该辅助信息，该附加图像由与装置相关联的图像传感器捕获。附加图像也可例如利用基于图案或立体景深感测来提供深度信息，其可指示三维运动。除此之外或另选地，辅助信息可由装置中的惯性传感器提供，该惯性传感器指示装置是否已移动，并且如果已移动，则指示沿什么方向移动。这种对图像和惯性信号的组合处理被称为“视觉惯性测距”。

因此，本发明的实施方案提供了成像装置，该成像装置包括：辐射源，该辐射源朝向目标场景发射光学辐射的脉冲束；以及感测元件阵列，该感测元件阵列输出指示感测元件上光子的相应入射时间的信号；以及物镜光学器件，用于将目标场景成像到所述阵列上。处理和控制电路基于来自感测元件的信号来构建感测元件上光子的入射时间(也称为光子的“到达时间”)的直方图。

附加图像传感器捕获其自己的目标场景图像。在一些实施方案中，该处理和控制电路处理后一图像，以检测目标场景中至少一个对象与该装置之间的相对运动。该处理和控制电路基于所检测到的运动(或没有检测到运动)调节直方图，并且基于所调节的直方图生成目标场景的深度图。如果以这种方式检测到该装置或场景中的对象的移动，则该处理和控制电路可过滤直方图以补偿该移动，并且因此可消除或至少减少深度图中的对应运动伪影。另一方面，当检测到不存在相对运动(这意味着该装置和目标场景两者都是静止的)时，处理和控制电路可延长累积直方图的暴露时间，从而增强深度图的信号/噪声比和精度。

在其他实施方案中，该处理和控制电路处理附加图像以便估计目标场景中对象的深度范围，并且在对光子入射时间的直方图的时间范围进行门控时使用所估计的深度范围。因此，可以更高的分辨率构建直方图，同时忽略落在门控范围之外的伪影。被优化以产生有界错误(而不是使平均误差最小化)的引导过滤器(诸如交叉双边和导向过滤器)可在本上下文中用于给出对每个帧中的每个点的估计深度的预测。这些估计可用于滤除其中真实信号无法证实的直方图的部分，从而给出更高的检测速率。

系统描述

图1是根据本发明的实施方案的深度映射系统20的示意性图示说明。在所描绘的场景中，成像设备22生成设备的视场26内的目标场景24的深度图。在该示例中，目标场景24包含移动对象诸如人类身影28，以及静止对象，包括椅子30、墙壁32、图片34、窗36和地毯38。虽然成像设备22在图1中被图示成桌面单元，但是该成像设备可另选地是移动设备或手持设备，并且因此也可在采集深度图期间移动。

成像设备22通过将光学辐射的束朝向目标场景24中的点引导并测量从每个点反射的光子的到达时间来测量深度值。为方便起见，将设备22的前平面取为X-Y平面，并且沿Z轴测量目标场景中的点的深度坐标。因此，成像设备22所生成的深度图将目标场景24表示为X-Y平面中的点的网格，具有指示到每个点的测量距离的深度坐标。

图2是根据本发明的实施方案的系统20的示意性侧视图，示出成像设备22的细节。为了简洁和清楚起见，这些细节以举例的方式示出，以有助于理解本发明在生成深度图中的操作原理，并且具体地讲，在生成此类深度图中对辅助的运动相关信息的使用。另选地，这些原理可应用于具有合适的深度映射和成像能力的其他类型的系统。

成像设备22包括辐射源40，该辐射源朝向目标场景24发射光学辐射的多个脉冲束42。术语“光学辐射”在本说明书和权利要求书中用于指代任何可见、红外和紫外范围内的电磁辐射，并且在该上下文中可与术语“光”互换使用。在本示例中，辐射源40包括垂直腔面发射激光器(VCSEL)的二维阵列44，这些垂直腔面发射激光器被驱动以发射光学辐射的短脉冲序列。衍射光学元件(DOE)46可任选地用于复制阵列44中的VCSEL所发射的实际光束，以相对于辐射源40以不同的相应角度输出更大数量的束42(例如，大约500个束)。准直透镜48将束42朝向目标场景24投射。

成像设备中的接收器50(也称为“深度相机”)包括感测元件(诸如SPAD或雪崩光电二极管(APD))的二维阵列52，这些感测元件输出信号，该信号指示感测元件上光子的相应入射时间。物镜光学器件54在阵列52上形成目标场景24的图像。处理单元56耦接到多组相互相邻的感测元件(其在本文中被称为“超像素”)，并且一起处理来自每个超像素中的感测元件的信号，以便在束42的每个脉冲之后生成该组中感测元件上光子的到达时间的量度。为了解释清楚起见，处理单元56在图2中被图示成与阵列52分开，但是在一些具体实施中，处理单元和阵列集成在单个集成电路设备中。另选地，每个感测元件可具有其自己的专用处理单元。

处理单元56包括感测和记录由SPAD(或其他感测元件)输出的脉冲的硬件放大和逻辑电路。因此，处理单元56测量产生由SPAD输出的脉冲的光子的到达时间，并且可能测量入射在阵列52上的反射激光脉冲的强度。处理单元56可包括例如时间-数字转换器(TDC)以及数字电路，该数字电路用于在由阵列44中的VCSEL发射的多个脉冲上构建入射在相应感测元件(或感测元件的超像素组)上的光子的到达时间的直方图。处理单元56因此输出指示与场景24中相应点的距离的值，并且还可输出信号强度的指示。

另选地或除此之外，处理单元56的一些或所有部件可与阵列52分开，并且可例如与控制处理器58集成。为了一般性起见，控制处理器58和处理单元56在本文中统称为“处理和控制电路”。

基于处理单元56所构建的直方图，控制处理器58计算每个束42中光子的飞行时间，并且因此生成深度图，该深度图包括对应于与目标场景24中对应点的距离的深度坐标。这个映射基于辐射源40发射束42的定时和处理单元56所测量的到达时间(即，反射光子的入射时间)。控制处理器58将深度坐标存储在存储器60中，并且可输出对应的深度图以用于显示和/或进一步处理。

除了上述深度感测功能之外，成像设备22还包括二维成像相机62。本示例中的相机62包括图像传感器64，诸如RGB颜色传感器，如本领域中所公知的。成像透镜66在图像传感器64上形成目标场景24的图像，其因此输出目标场景的电子图像。因为相机62相对于接收器50以固定的空间和光学关系安装，所以相机62所输出的电子图像通常将与阵列52上的物镜光学器件54所形成的图像对准。控制处理器58接收相机62所输出的图像数据，并在检测目标场景24中的对象与成像设备22之间的相对运动中、以及在响应于所检测到的相对运动来调节处理单元56所构建的直方图中使用，如下文进一步所述。

在图示实施方案中，成像设备22还包括惯性传感器68，诸如大多数智能电话和其他种类的移动设备中存在的固态加速度计的种类。惯性传感器68感测并输出成像设备22的移动的指示，如本领域中所公知的。控制处理器58在调节由处理单元所构建的直方图以补偿成像设备的移动中通常结合相机62所提供的图像数据来应用这个指示。通过结合相机62所输出的图像来处理惯性传感器的输出，如下文进一步解释的，控制处理器58能够更精确地对成像设备的移动对深度图的影响进行建模，以及区分成像设备22的移动的影响和目标场景中对象的移动的影响。

控制处理器58通常包括可编程处理器，该可编程处理器以软件和/或固件编程来执行本文所述的功能。另选地或除此之外，控制器26包括执行控制处理器的至少一些功能的硬连线和/或可编程硬件逻辑电路。虽然为了简单起见，控制处理器58在图2中被图示成单个单片功能块，但在实施过程中，控制处理器可包括单个芯片或者一组两个或更多个芯片，其具有用于接收和输出信号的合适的接口，该信号在图中示出并且在本文中描述。

操作方法

图3是根据本发明的实施方案的示意性地示出用于处理ToF信息的方法的流程图。为了清楚和简洁起见，这里参考系统20的元件和成像设备22描述该方法，如图1和图2所示。另选地，本方法的原理可以必要的变更应用于其他种类的基于ToF的深度映射系统。虽然图3的方法的步骤以某种顺序示出，但在实施过程中，这些步骤可并行执行。除此之外或另选地，可省略这些步骤中的一个或多个，并且剩余的步骤可单独地或以各种不同的子组合来执行。所有这些另选具体实施被视为在本发明的范围内。

控制处理器58周期性地启动图3的方法，例如在接收器(深度相机)50采集的直方图数据的每个帧之后启动。控制处理器检查惯性传感器68的输出并处理相机62所输出的图像，以便确定在当前帧期间是否已存在成像设备22与场景24中的对象之间的任何相对运动。例如，控制处理器58可将当前帧中对象的位置与前一帧中的相同对象进行比较以便确定其位置是否已改变，并且如果已改变，则可将对象运动与惯性传感器68所指示的相机运动进行比较以确定对象位置的改变是由于对象的运动还是相机的运动。另选地，该步骤可仅基于对来自相机62的图像的处理以及发现相对于在前一帧中捕获的图像没有变化。

当在该步骤中根本未检测到运动时，控制处理器58可决定延长累积直方图的暴露时间。例如，控制处理器58可指示处理单元56继续在附加的一个或多个帧上累积光子到达时间并构建相应的直方图。另选地，控制处理器58可读出存储器60中的连续直方图并对其求和。在任一种情况下，所得直方图的信号/噪声比通常将随着暴露时间的平方根而增大，从而提高可从直方图中提取的深度坐标的准确性。

否则，控制处理器58检查在相机62所输出的图像中检测到的运动是由于成像设备22的运动还是场景24中的运动。就这一点而言，来自惯性传感器68的信号提供可靠的指示器。除此之外或另选地，控制处理器58可利用本领域已知的用于此目的的图像处理技术来计算其从相机62接收的场景24的图像或图像序列上的光流场。整个场上一致的平移和/或旋转流通常将指示成像设备22的移动，而局部流将限定正在移动的一个或多个对象。此类移动对ToF直方图的影响在以下附图中示出。

在发现成像设备22已相对于场景24移动时，控制处理器58可对处理单元56所构建的直方图过滤以补偿这个移动。例如，Z方向上(在图1和图2中所定义的坐标系中，朝向或远离场景24)的突然移动可产生在不同飞行时间具有多个峰的直方图，而逐渐移动将导致直方图峰的加宽。(这些效果在图5A/B和图7A/B中示出。)在此类情况下，控制处理器58可以能够滤除无效数据或折叠多个峰或加宽峰以给出正确的深度值。

另一方面，当控制处理器58标识已在目标场景24中移动的对象时，其可对直方图过滤以补偿该对象的移动。例如，控制处理器可处理相机62所输出的图像或可能处理此类图像的序列，以便提取对象的移动的轨迹，然后对于阵列52中该轨迹被物镜光学器件成像到其上的那些感测元件校正直方图。例如，对象在Z方向上(朝向或远离成像设备22)移动将产生在连续帧中的不同深度处的直方图峰的序列。对象横向地、即在X-Y平面中(平行于图像传感器64的平面，如图2所示)移动将产生在某个深度坐标处的直方图峰，该直方图峰将在连续帧中跨深度图移位。一旦控制处理器58已标识移动对象，其可滤除或合并不同Z坐标或X-Y坐标处的峰，以便校正所考虑的帧序列。关于是滤除还是合并直方图数据的决定取决于应用要求和数据的质量。

现在参见图4A和图4B，其示意性地示出了根据本发明的实施方案的由成像设备22映射的场景70中的边缘72的处理的效果和模式。图4A是成像设备22和场景70的示意性顶视图，而图4B是成像设备22在场景70中的边缘72的位置处捕获的ToF直方图。由于成像设备22所生成的深度图中像素的有限宽度，边缘72在这个直方图中表现为双峰。(像素包括从边缘72的两侧反射的光子；因此，图4A中从边缘的上侧上的表面反射的光子将在较短距离处产生一个峰，而从下侧上的表面反射的那些光子将在较长距离处产生另一峰。)控制处理器58可标识直方图中的此类边缘、连同它们在相机62所输出的图像中的对应边缘，并在检测和校正场景中的对象与成像设备22之间的相对运动中使用。

图5A和图5B示意性地示出了根据本发明的实施方案的成像设备22相对于在成像设备所生成的深度图中捕获的场景74的突然运动的效果。图5A是示意性顶视图，示出了成像设备22在位置76和78之间的移动。图5B是成像设备所捕获的ToF直方图，其中两个峰对应于成像设备的这两个位置。尽管图5B中的直方图与图4B中的直方图非常相似，但控制处理器58能够基于场景70中出现在相机62所捕获的图像中的边缘以及惯性传感器68所输出的信号来区分这两种情况。例如，如果边缘出现在相机62所捕获的图像中，而惯性传感器68没有检测到任何移动，则控制处理器58可以推断直方图中的双峰是由于深度图中的实际边缘。另一方面，当惯性传感器检测到成像设备的移动和/或未能检测到图像中的对应边缘时，该控制处理器将推断双峰是伪的。然后控制处理器58将相应地校正图5B的直方图，例如通过消除这两个峰中的一个或将这两个峰合并成单个峰，其中调节从位置76到位置78的移动。

图6A/B和图7A/B示出了根据本发明的另一实施方案的类似种类的比较。图6A是在生成渐变深度的场景80的深度图的过程中的成像设备22的示意性顶视图，而图6B是在这种情况下由成像设备22捕获的ToF直方图。在这种情况下，成像设备22是静止的，但是图6B中的直方图中的峰由于深度图中对应像素所涵盖的深度值的范围而被加宽。

另一方面，在图7A的示意性顶视图中，成像设备22在Z方向上在范围82内逐渐移动，从而类似地产生加宽的峰，如图7B的ToF直方图所示。再次，控制处理器58能够基于惯性传感器68的输出和/或由相机62捕获的图像的分析来检测成像设备22的运动，并且因此能够例如通过缩窄直方图的扩展以补偿所检测到的运动并计算更精确的深度值来调节和校正直方图。

尽管上述实施方案涉及设备22的特定物理配置，但是本发明的原理可类似地应用于其他种类的基于ToF的深度映射设备。例如，虽然设备22，但可应用上述技术来提高准确度。应当理解，上述实施方案以举例的方式引用，并且本发明不限于上文具体示出和描述的内容。相反，本发明的范围包括上文所述的各种特征，以及本领域的技术人员在阅读以上描述之后会想到的在现有技术中没有公开的其变型形式和修改形式的组合和子组合。