发明内容

本发明提供了一种利用使用幅度调制的连续光的飞行时间相机来进行深度测量的方法。本文中的深度测量当然是指测量距相机的距离，以便得到3D图像。使用幅度调制的连续光的飞行时间(TOF)相机的原理是众所周知的，并且已经在上文进行了解释。虽然术语“光”可以指可见光，但是应当理解也可以使用红外光或紫外光。

在第一步骤中，该方法包括：针对相机的传感器阵列的多个像素中的每个像素，以高于幅度调制的连续光的调制频率的采样频率获取至少一个样本序列，样本序列包括至少四个幅度样本。像素具体而言可以是锁定像素。传感器阵列包括多个(通常在几百到几千之间)像素，通常以二维图案布置，但也可以设想一维布置。样本序列包括至少四个幅度样本，该幅度样本以高于幅度调制的连续光的调制频率的采样频率而被采样。特别地，采样频率可以是调制频率的整数倍。幅度样本通常与发射信号和接收信号之间的相关函数的幅度相对应。对于与静止对象的表面相对应的像素，相关函数应该是正弦的，即它应该对应于具有正常非零相移的正弦函数(或为余弦函数，分别地)。

在该方法的另一个步骤中，针对每个像素的每个样本序列确定置信度值，该置信度值指示幅度样本与幅度的正弦时间演变的对应程度。确定置信度值的方法有多种，下面将讨论其中的一些方法。通常，置信度被如下定义，使得高对应度的置信度高，而低对应度的置信度低。该方法步骤基于以下假设：对于静止对象，幅度样本应对应于正弦函数。根据诸如测量误差等各种因素，幅度样本通常不会与正弦时间演变完全对应，而仅在一定程度上对应。然而，如果对象在运动并且一些幅度样本实际上对应于从对象的表面接收到的信号，而另一些对应于从背景接收到的信号，则幅度样本和任何正弦函数之间通常会有很大的差异。换句话说，幅度样本将根本不会对应于正弦时间演变，这会影响置信度值。需要说明的是，一般至少需要4个幅度样本来确定对应程度。正弦函数可以用4个参数来描述，即幅度、偏移、相位和频率。由于在当前情况下正弦函数的频率是已知的，因此保留3个参数。因此，总是有可能找到针对3个(或更少)幅度样本的“拟合”正弦函数。另一方面，如果有4个或更多幅度样本，则可以确定与正弦时间演变的任何偏差。

在该方法的另一个步骤中，针对多个分箱区域中的每个分箱区域，每个分箱区域包括多个像素，基于来自分箱区域的像素的样本序列的幅度样本来确定分箱的深度值，其中，样本序列对分箱的深度值的贡献取决于其置信度值。该方法步骤可以被描述为“分箱步骤”。这样的分箱在本领域中是已知的，但是本发明的方法应用可以被称为“智能分箱”等的先前未知的变体。定义多个分箱区域，其中每个分箱区域包括多个像素。每个分箱区域可以是矩形的，例如包括m x n像素或n x n像素。也可以将分箱区域称为像素组。通常，每个分箱区域是相干的，即它对应于传感器阵列的相干区域。可以想象，两个分箱区域重叠，使得给定的像素属于多于一个分箱区域。但是，通常情况下，不同的分箱区域是分开的。在这种情况下，分箱区域共同可以被视为低分辨率图像的单位或“像素”，而传感器阵列的像素对应于高分辨率图像。来自分箱区域的像素样本序列的幅度样本对该分箱区域的分箱的深度值有贡献。也可以说对来自分箱区域的像素的样本序列的幅度样本的信息进行组合以获得分箱的深度值。如何计算分箱的深度值有多种可能性，其中一些将在下面进一步讨论。

如果针对单个像素(和单个样本序列)确定深度值，这将通过确定正弦函数的相对相位来完成，该相位将对应于深度值。然而，如上所述，由于正弦函数的相位是根据幅度样本确定的，如果一些幅度样本对应于对象而一些对应于其背景，则相位信息会受到影响。从具有这种幅度样本的样本序列得出的任何深度信息大多是无用的。然而，根据本发明的方法，针对每个像素的每个样本序列确定置信度值，由此可以评估相位信息的可靠性。然后，当使用来自给定像素的幅度样本的信息来确定分箱的深度值时，并非分箱区域中的所有像素的样本序列都被同等对待(如本领域已知的分箱方法)，而是样本序列对分箱的深度值的贡献取决于其置信度值。定性地，具有高置信度值的样本序列的贡献通常大于具有低置信度值的样本序列的贡献。后者的贡献甚至可能为零，即这个样本序列可以被完全忽略。

本发明的概念允许增加分箱的深度值的可靠性，因为幅度样本的“被破坏的”序列被较少考虑或甚至根本不考虑。此外，置信度值可以单独基于各个像素的信息来确定，即不需要考虑其他像素。正如下面将变得明显的那样，也可以用最少的处理功率和存储器来计算置信度值。这也意味着即使通过简单、低成本的处理单元也可以实时进行计算。

优选地，该方法包括：以比幅度调制的连续光的调制频率高四倍的采样频率获取四个幅度样本。这对应于公知的4抽头方法。幅度为A且相位为φ的正弦波调制接收信号可以用二维向量表示：

r(A,φ)＝(A·cosφ,A·sinφ)＝(d₁₃,d₀₂) (公式1)

其中，d₀₂＝A₀-A₂，以下称为第一差，以及d₁₃＝A₁-A₃，以下称为第二差，它们分别是两个幅度样本A_k、k＝0…3的两两差值。其中第一幅度样本A₀对应于0°的相位角，第二幅度样本A₁对应于90°的相位角，第三幅度样本A₂对应于180°的相位角，而第四幅度样本A₃对应于270°的相位角。因此，接收到的信号的幅度和相位可以计算为

φ＝atan2(d₀₂,d₁₃) (公式2)

虽然信号的幅度A与接收到的光子数量成比例，但相位φ与由相对应的像素看到的对象的深度D成比例。

其中D是测量的距离相机的对象深度，c是光速，而f_mod是信号的调制频率。

因此，深度可以计算为

关于可以如何定义置信度值有多种选择。置信度值C的一种可能定义如下：

其中幅度A根据公式3计算，但可以近似为

在一个简单的实施例中，针对每个像素仅获取一个样本序列，因此对于置信度值并且对于分箱的深度值，可以仅考虑该样本序列的幅度样本。在这样的实施例中，还可以说针对每个像素确定了(单个)置信度值，因为每个像素对应于单个样本序列。在另一实施例中，该方法包括：针对至少一个像素，获取多个样本序列。这些也可以被称为多次曝光。一方面，必须按顺序执行的多次曝光增加了某些像素受对象的移动影响的可能性。另一方面，考虑多个样本序列可以有助于减少噪声或其他测量误差的影响。具体而言，可以针对不同的样本序列执行抽头测量以用于获取具有不同积分时间的幅度样本，即每个样本序列对应于不同的积分时间。除了更改曝光时间外，还可以更改其他参数，例如调制频率。

即使针对给定的像素获取多个样本序列，每个置信度值也可以通过个体样本序列的幅度样本彼此之间的关系来确定。换言之，在不考虑其他样本序列(如果存在)的幅度样本的情况下考虑样本序列的幅度样本。公式6是这种实施例的示例。在大多数情况下，这种方式是可靠的，因为单个样本序列的幅度样本不受例如不同的曝光时间的影响。但是应该注意，如果已经确定了多个样本序列，则应该针对每个样本序列确定单独的置信度值，例如因为针对给定像素的一个样本序列可能不受对象运动的影响，而另一个样本序列受到影响，因此产生不可靠的数据。

对于不同的样本序列可以如何基于它们各自的置信度值对分箱的深度值做出贡献存在多种可能性。例如，可以存在连续范围的贡献或加权因子。另一种可能性可以被称为“二进制”分类。在这种情况下，该方法包括：如果置信度值满足预定义标准则将每个样本序列分类为有效，否则分类为无效。换句话说，每个样本序列只能为有效或无效。在这种情况下，该方法还包括：仅当像素有效时，才使用样本序列的幅度样本来确定分箱的深度值。换句话说，如果样本序列被认为是无效的，则该样本序列的幅度样本将被完全忽略，并且不影响分箱的深度值。如果针对每个像素只考虑一个样本序列，也可以说每个像素分别被分类为有效或无效。如果仅单独考虑特定曝光的样本序列，情况也是如此。

具体而言，可以基于置信度值与第一阈值的关系来对样本序列进行分类。换言之，确定置信度值是高于还是低于第一阈值，并取决于结果将样本序列分类为有效或无效。通常，对于置信度是程度高的，则置信度值高，并且如果置信度值高于第一阈值，则样本序列被分类为有效。第一阈值(也可以被称为运动参数)通常是预定义的。其可以被估计、计算或可以通过校准来确定，例如在没有移动对象的情况下使用静止的风景。从图形上讲，这种方式可以用置信度掩码来描述，该置信度掩码掩蔽了具有的置信度值低于第一阈值的所有像素。

根据一个实施例，分箱的深度值是基于来自分箱区域的像素的样本序列的幅度样本的线性组合确定的，其中，每个样本序列对线性组合的贡献取决于各个样本序列的置信度值。换句话说，在线性组合中，向每个幅度样本分配系数，该系数取决于相应样本序列的置信度值。一般来说，当然，对于高置信度值，系数会较高，而对于低置信度值，系数会较低。具体而言，如果置信度值高于第一阈值，则系数可以是1，而如果置信度值低于第一阈值，则系数可以为零。在这种情况下，线性组合对应于所有有效样本序列的总和，而忽略所有无效样本序列。例如，可以针对每个有效样本序列定义上述第一和第二差值，并且然后定义与所有有效样本序列的各个差值之和相对应的“分箱的”第一和第二差值。可以理解，这等效于首先取幅度样本的总和来确定“分箱的”幅度样本，而然后计算分箱的第一和第二差值。当已确定分箱的插值时，可根据公式2来计算“分箱的”相位。对差值进行求和也可以看作是向量加法，第一差值和第二差值是向量的分量，这个向量加法得到分箱的向量。因此，这种方式也可以被称为“向量分箱”或“加权的向量分箱”。

根据另一实施例，分箱的深度值D_b是通过对来自分箱区域的像素的样本序列的像素深度值进行平均来确定的，其中，每个像素深度值的权重取决于相应像素的相应样本序列的置信度值，并且其中，像素深度值是基于像素的样本序列的幅度样本来确定的。换言之，像素深度值D是针对分箱区域中像素的每个样本序列单独确定的，或者可能仅针对分箱区域中像素的有效样本序列而确定。可以确定这些像素深度值D，例如使用公式2和公式5来确定。然后，对像素深度值进行平均以确定分箱的深度值D_b，但以加权的方式，使得权重取决于相应像素的相应样本序列的置信度值。这种方式也可以被称为“深度分箱”或“加权的深度分箱”。同样，对于高置信度值，像素深度值的权重较高，而对于低置信度值，像素深度值的权重较低。具体而言，如果置信度值低于第一阈值，即仅考虑针对有效样本序列的像素深度值，则像素深度值的权重可以为零。如果针对每个像素只存在一个样本序列，计算可以如下进行：

在这样的实施例中，分箱的深度值与所有有效像素(即具有有效样本序列的像素)的像素深度值的(算术)平均值相对应。如果针对每个像素获取多个样本序列，则分别针对每个样本序列确定像素深度值，并且必须修改公式8以对所有像素的所有有效样本序列(或所有积分时间的所有有效像素)求平均。

在一个实施例中，该方法包括：确定像素的样本序列的第一幅度样本和第三幅度样本之间的第一差值，并且向第一组分配具有正第一差值的样本序列，以及向第二组分配具有负第一差值的样本序列。具体而言，这可以仅指有效样本序列，而无效样本序列不包括在上述两组中的任一组中。已经在上文提到了第一差值d₀₂＝A₀-A₂。当将第一差值和第二差值视为向量的分量时，具有正第一差值的任意两个向量的相位差小于180°，而具有负第一差值的任意两个向量的相位差小于180°。当来自第一组(或第二组，分别地)的两个向量相加时，所得向量的相位介于相加向量的相位之间。相应地，根据公式5，与结果向量相对应的深度也在与两个相加向量相对应的深度之间。需要说明的是，一般而言，可能所有样本序列都具有正的第一差值，或者也可以是所有样本序列分别具有负的第一差值。如果是这种情况，当然没有必要将样本序列划分成组。

此外，该方法可以包括：定义向量，其具有第二幅度样本和第四幅度样本之间的第二差值作为第一分量，以及具有第一差值作为第二分量。上文已经解释了第二差值d₁₃＝A₁-A₃。此外，该方法可以包括：定义第一组向量r_P＝[x_P,y_P]，它是第一组中的向量基于相应样本序列的置信度值的线性组合，以及第二组向量r_M＝[x_M,y_M]，它是第二组中的向量基于相应样本序列的置信度值的线性组合。在第一组向量中，基于各个样本序列的置信度值对第一组中的向量进行线性组合。换句话说，向量的系数或权重取决于置信度值。具体而言，如果置信度值低于第一阈值，则权重可以为零，并且如果置信度值高于第一阈值，则权重可以为一，在这种情况下，仅添加有效样本序列。这同样适用于第二组中的向量的线性组合。更具体地，每个组向量可以是相应组中所有向量的总和，在这种情况下，第一和第二组向量r_P,r_M的分量计算如下，其中，多个积分时间的总和是可选的：

在这里，每个样本序列对应单独的积分时间。在公式9a-公式9d中，假设针对每个像素有相同数量的样本序列(或积分时间，分别地)。“有效像素”的总和应理解为具有有效第It(It＝0…n)个样本序列的所有像素的总和。替换地，可以对所有像素和相应像素的所有有效样本序列求和。类似于公式2，组向量的相位计算如下：

以及

如上所述，与第一组向量相对应的相位(因此深度)在第一组的各个向量的区间内。并且，与第二组向量相对应的相位在第二组的各个向量的区间内。在另一步骤中，该方法包括：基于第二组向量和第一组向量之间的相位差来确定分箱的深度值。换句话说，确定第二组向量和第一组向量之间的相位差(或取决于相位差的量)以及分箱的深度值的确定(或计算)取决于该相位差。通常，假设两个相位都在0°和360°之间。

根据一个实施例，该方法还包括：如果相位差低于第二阈值，则基于第一组向量和第二组向量二者来确定分箱的深度值；以及如果相位差高于第二阈值，则仅基于第一组向量和第二组向量中的一个来确定分箱的深度值。与第一阈值一样，也可以通过使用静止场景的校准来估计、计算或确定第二阈值。如果相位差低于第二阈值，这通常对应于所有(或大多数)第一差值具有相对较低的绝对值的情况，其中，第一差值中的一些为正，并且一些为负，而第二差值大部分为负。在这种情况下，可以假设第一组向量和第二组向量仅在较小程度上不同，并且可以将第一组向量与第二组向量相加，

r_b＝r_P+r_M (公式10)

之后，可以再次使用公式5，基于得到的分箱的向量来确定分箱的深度值。另一方面，如果相位差高于第二阈值，则这表明第一组向量和第二组向量可以对应于不同的深度，例如前景对象和背景的深度。在这种情况下，完全丢弃一个组向量并仅基于另一个向量来确定分箱的深度值更为合适。

根据一个实施例，第二阈值为180°。这可以看作是用于避免在由第一组向量和第二组向量给定的区间之外的不切实际的深度值的最小条件。然而，第二阈值可以更小，例如小于90°或小于60°。如果第二阈值为180°，则不必明确计算相位差。相反，可以示出在以下条件下相位差低于180°：

x_My_P<x_Py_M

测试该条件只需要两次乘法，而因此可以节省处理功率。替换地，也可以基于第一组向量和第二组向量的相位来明确地计算相位差。

如果相位差高于第二阈值，则存在多种可能的标准来确定第一和第二组向量中的哪一个被认为更可靠。一般来说，可以合理假设：如果一个组向量基于更多数量的有效样本序列，则该组向量是更可靠的。因此，如果相位差高于第二阈值，则分箱的深度值可以是基于具有更多有效样本序列的组的组向量来确定的。换句话说，如果第一组具有的有效样本序列比第二组具有的更多，则基于第一组向量来确定分箱的深度值，反之亦然：

其中，N_P,N_M分别是第一组和第二组中有效样本序列的数量。

根据另一个实施例，该方法包括：如果两个组向量的第一分量x_P,x_M都为负，则基于第一组向量和第二组向量二者来确定分箱的深度值；以及如果至少一个第一分量为正，则仅基于第一组向量和第二组向量中的一个来确定分箱的深度值。如果第一组向量的第一分量和第二组向量的第一分量都为负，则意味着：组向量位于第二和第三象限中，对应于接近180°的相位和接近模糊深度一半的对象深度。但是，如果至少一个第一分量为正，则向量要么位于相反的象限(分别为第一和第三象限或第二和第四象限)中，要么位于第一和第四象限中，其中，一个向量对应于接近360°的相位或接近模糊深度的深度。