飞行时间相机
阅读说明：本技术 飞行时间相机 (Time-of-flight camera ) 是由 Z·徐 于 2018-12-28 设计创作，主要内容包括：一种确定到场景中的特征的距离的方法,该方法包括：发射以调制频率调制的结构光,以利用结构化照明图案照明场景；以及对于采样相移ψk和扰动相移λ<Sub>n</Sub>的每个组合,以发射光的调制频率调制光电传感器的灵敏度,但是相对于发射光的相位相移了一相位θ<Sub>k,n</Sub>＝(ψk+λ<Sub>n</Sub>)；以及对于θ<Sub>k,n</Sub>以360o求模得到的每个值,在不同曝光期间记录由场景中的特征反射的光,并使用所记录的光来提供场景的范围图像。(A method of determining distances to features in a scene, the method comprising: emitting structured light modulated at a modulation frequency to illuminate a scene with a structured illumination pattern; and for sample phase shift ψ k and perturbation phase shift λ n Modulates the sensitivity of the photosensor at the modulation frequency of the emitted light, but is phase-shifted by a phase θ relative to the phase of the emitted light k,n ＝(ψk+λ n ) (ii) a And for theta k,n Light reflected by features in the scene is recorded during different exposures, each value modulo 360 °, and the recorded light is used to provide a range image of the scene.)
背景
“连续波”飞行时间(TOF)相机(CW-TOF)发射电磁辐射的“连续波”(可选地为红外(IR)光)，其具有被周期性地调制以照明该相机成像的场景的强度。所发射的光经场景中给定特征反射的光作为反射光的波到达相机，该反射光具有与所发射的光相同的调制，但在相位上延迟了传播相位延迟其为光从相机传播至该给定特征并传播回相机的往返时间tR的函数，且由此是距该特征的距离“d”的函数。相机在多个曝光时段中的每个曝光时段内将由给定特征反射的光成像在光电传感器的像素上以累积电荷，即成像光在该曝光时段期间在像素中生成的“光电荷”。对于每一个曝光时段，光电传感器对光的灵敏度以相对于相机发射的光的调制相位不同的采样相移来被调制。对于给定的采样相移，所累积的光电荷量与同采样相移相关联的曝光时段和反射光的卷积成比例，并且是传播相位延迟
概述
本公开的实施例的一方面涉及提供一种CW-TOF相机，该CW-TOF相机对由多路径干扰(MPI)生成的在该相机确定的距该相机成像的场景中的给定特征的相位延迟和距离d方面的误差具有降低的敏感性。
在一实施例中，CW-TOF相机用结构光照明相机成像的场景，该结构光在场景中产生不同照明区域，这些不同照明区域通过入射在该场景在不同区域中的特征上的结构光的特性差异来区分。对于CW-TOF相机用来确定传播相位延迟并由此确定至场景中的特征的距离的每个采样相移，相机在不同曝光时段期间对不同照明区域中的场景和特征成像，对于该不同曝光时段，采样相移通过多个“扰动相移”中的一不同扰动相移来被修改。在每个曝光时段期间，相机响应于特征从照明场景的结构光反射的光而累积光电荷。相机提供并处理表示针对不同扰动相移和可任选地不同照明区域的累积光电荷的电压，以使得MP光对为场景中的特征所累积的光电荷和采样相移的贡献基本上与采样相移无关。作为结果，CW-TOF相机由以下来表征：对由MPI生成的在针对场景中特征的传播相位延迟
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。
具体实施方式
下面将参考在此所附的在此段落之后列出的附图来描述本公开的实施例的非限制性示例。在多于一幅附图中出现的相同特征通常在其出现的所有附图中都以相同的标号来标记。在附图中标记表示本公开的实施例的给定特征的图标的标号可被用来引用该给定特征。附图中所示的特征的尺寸是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1A示意性地示出了CW-TOF相机在没有多路径干扰(MPI)的情况下确定至场景中的特征的距离；
图1B示意性地示出了图1A中所示的CW-TOF相机在存在MPI的情况下确定至场景中的特征的距离；以及
图2示出了根据本公开的一实施例的CW-TOF相机，其被配置成表现出对确定至图1A和1B所示的场景中的特征的距离方面的MPI误差的增强的抵抗。
详细描述
CW-TOF相机在光电传感器像素上成像的来自场景中的给定特征的反射光不限于直接从相机光源传播至该给定特征并传播回相机的“直接光”。来自给定特征的反射光在被该给定特征反射至CW-TOF相机之前可能已经从场景中的另一特征“反弹”至该给定特征。来自该另一特征的反弹光相比直射光行进了至相机的更长路径，即“多路径”，并因此具有与直射光不同的且更大的传播相位延迟。因此，由入射在像素上的多路径(MP)光生成的光电荷会污染由入射在像素上的直接光生成的光电荷，并且归因于MPI而在相机确定的距给定特征的相位延迟
在下面的讨论中，参考图1A讨论CW-TOF相机的操作，图1A解说了CW-TOF相机对场景进行成像以获取场景的范围图像(range image)，该范围图像在没有MPI的情况下提供至场景的特征的距离。参考图1B讨论MPI及其对确定距场景中的特征的传播相位延迟
在讨论中，除非另有说明，否则修改本公开的实施例的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”之类的形容词应被理解成意指该条件或特性被限定在对该实施例所意图的应用而言可接受的该实施例的操作的容差内。除非另外指示，否则本说明书和权利要求书中的词语“或”被认为是包含性“或”而不是排他性或，并且指示其连结的各项中的至少一项或不止一项的任何组合。
图1A示意性地示出了用于确定至场景30中的特征的距离的CW-TOF相机20，该场景30可任选地具有对象31和32。CW-TOF相机20(其被非常示意性地表示)包括由透镜21表示的光学系统和光电传感器22，该光电传感器22具有像素23的行和列的阵列，光学系统21在像素23上成像场景30的特征。光电传感器22中的给定像素23可被指定为p(i,j)，其中“i”和“j”是分别指示光电传感器22的其中像素所位于的行和列的索引。CW-TOF相机20在像素p(i,j)上成像的场景30中的特征可被称为特征f(i,j)、和/或通过参考标号来引用。CW-TOF相机20可包括光源24、振荡器26、移相器27、以及控制被包括在CW-TOF相机中的组件的控制器25。
为了获取场景30的范围图像，控制器25控制CW-TOF相机20每次以多个K个采样相移(1≤k≤K)中的一不同采样相移ψk来获取场景30的多个K个图像，其中ψk等于2π(k-1)/K，其中k和K是整数。对于该K个图像的第k个图像，控制器25控制振荡器26提供具有角频率ωk的频率信号，并控制光源24发射在振荡器所提供的角频率处被连续地调制的光。由光源24发射的光由波浪线40示意性地表示，该波浪线40具有指示发射光的传播方向的箭头。在用光40照明场景30时，控制器25开启光电传感器22达曝光时段“Exk”，以记录场景30中的特征从发射光40反射回相机20的以及光学系统21在光电传感器22的像素23上成像的光。在曝光时段期间，控制器25在振荡器26所提供的角频率ωk处调制光电传感器22的灵敏度，但是控制移相器27将光电传感器的调制相位移位相对于发射光40的调制相位的采样相移ψk。可任选地，角频率ωk对于k的所有值都是相同的，并且在下文中为了方便呈现起见而被假定等于角频率“ω”。
光电传感器22中的像素23记录从场景30中的特征反射的的光，该光是由光学系统21在曝光时段Exk期间通过在该曝光时段期间累积该光在像素中生成的光电荷成像在该像素上的。作为示例，图1A示意性地示出了分别将来自光40的光反射回CW-TOF相机20的对象31和32的特征131和132。来自特征131的反射光由波浪线41示意性地表示，该波浪线41具有指示光的传播方向的箭头，光学系统21在一像素23p(i,j)上成像该反射光，该像素被指定为光电传感器22中的像素231。像素231累积的光电荷量同反射光41与灵敏度曝光时段Exk的卷积成比例。该卷积是采样相移ψk和由光从光源24行进至特征131并返回CW-TOF相机20的往返时间tR所导致的传播延迟
在每个曝光时段Exk结束时，控制器25读取光电传感器22以获取光电传感器的用于采样相移ψk的帧。该帧包括表示由光电传感器22中的像素23在曝光时段Exk期间针对场景30中分别被成像在像素上的特征所记录的累积光电荷和对应的反射光量的电压。控制器25可针对所有K个采样相移ψk(1≤k≤K)来处理由该帧提供的电压，以提取像素23的相应像素p(i,j)的传播相位延迟
发射光40、反射光(诸如由特征131和132从发射光40反射的光41和42)、以及在曝光时段Exk期间光电传感器22中的像素的经调制灵敏度是周期函数，并且可各自被有利地表示为傅立叶余弦级数。在曝光时段Exk期间作为时间的函数的发射光40的强度可因此被表示为
并且，由CW-TOF相机20在曝光时段Exk期间在像素23的给定像素p(i,j)上所成像的场景30中的特征f(i,j)从光40反射的光的强度可被表示为
如果在曝光时段Exk期间光电传感器22中的像素23的灵敏度由表示，则像素p(i,j)的Rk(i,j,t)和Sk(t)的卷积CVk(i,j)≡Sk(t)*Rk(i,j,t)可被表示为，
于是，如果
其中α是比例系数。
对于由单个主导调制频率表征和/或其主导频率的谐波可被有利地忽略的发射光的强度，发射光40可由以下表达式来近似，
并且，来自场景30中被成像在像素p(i,j)上的特征f(i,j)的光有利地由以下表达式来近似，
假定曝光时段Exk期间光电传感器22的灵敏度的调制可被表示为，
由曝光时段Exk和由场景30中的特征f(i,j)反射并成像在像素23p(i,j)上的光Rk(i,j,t)的卷积变成，
表示曝光时段期间由p(i,j)累积的光电荷的电压，
其可被写成以下形式，
控制器25可根据表达式确定针对成像在像素p(i,j)上的特征f(i,j)的传播相位延迟
并根据下式确定距特征f(i,j)的距离d(i,j)，
作为特定示例，对于CW-TOF相机20在像素231上成像的对象31的特征131，控制器25可确定传播相位延迟
以及至该特征的距离，
上面参考图1A中的特征的讨论假定没有MPI，并因此，由像素23在曝光时段Exk期间累积的光电荷量仅通过由场景30中的特征从直接光(即，到达特征的直接来自光源24的光)反射的光生成。然而，一般而言，由CW-TOF相机中的像素对光电荷的累积通常被MP光所生成的光电荷污染。
作为示例，图1B示意性地示出了在存在MPI的情况下CW-TOF相机20对场景30进行成像。该图解说了MPI可如何影响像素231所累积的光电荷，CW-TOF相机20在光电传感器22的曝光时段Exk期间在该像素231上对来自特征131的反射光进行成像。
图1B示意性地示出了由光源24发射并入射在特征132上的光40中的一些，并且作为示例，示意性地示出了对象32的特征132(1)和132(2)没有被直接反射回CW-TOF相机20以对特征进行成像，而是改为被反射以照明特征131。从特征132、132(1)和132(2)反射以照明特征131的光是MP光，其已从光源24至特征131行进了多个相异路径段，并且分别由虚线波浪线42*、132(1)*和132(2)*来表示。入射在特征131上的一些MP光42*、132(1)*和132(2)*被特征131反射至CW-TOF相机20，并与来自光源24的由该特征反射的直接光一起被成像在像素231上。
由特征131从直接照明特征131的发射光40反射(CW-TOF相机20在像素231上成像)的光在图1B中(如在图1A中一样)由光41来表示。而MP光42*、132(1)*和132(2)*从光源24至特征131行进不同的多路径，并且来自由特征131反射到CW-TOF相机20的每个多路径的光通常随不同传播相位延迟到达像素231，为方便呈现起见，由特征131反射的MP光在图1B中由同一虚线波浪线41*共同地表示。在图1B中，光41*被示为向光41的后方位移，以指示经反射的MP光41*被传播相位延迟所延迟，该传播相位延迟大于表征直接光41的传播相位延迟。
假定场景30中CW-TOF相机20在像素p(i,j)上成像的给定特征f(i,j)接收由该场景中的特征f(i′,j′)(对于该特征，i′≠i,or j′≠j)从发射光40反射的MP光。当特征f(i,j)在曝光时段Exk期间将其接收的MP光反射至CW-TOF相机20时，所反射的MP光对在该曝光时段期间由像素p(i,j)累积的光电荷有贡献，并由此对表示所累积的光电荷的电压有贡献。由于入射在光电传感器像素p(i,j)上的光在该像素中生成的光电荷通常是入射光的线性函数，因此在曝光时段Exk期间由像素p(i,j)累积的光电荷量是由入射在该像素上的经反射的直接光和经反射的MP光所生成的光电荷的总和。作为示例，对于图1B中所示的特征131，在曝光时段Exk期间由入射光在像素231中生成的光电荷可以是由经反射的直接光41和经反射的MP光41*所生成的光电荷的总和。如上所述，反射光41*包括反射自分别从特征132(1)、132(2)和132到达特征131的MP光132(1)*、132(2)*和41*的光。
因此，对于由CW-TOF相机20在像素p(i,j)上成像的特征f(i,j)，表示像素在曝光时段Exk期间累积的光电荷的电压是表示响应于f(i,j)反射且CW-TOF相机20在p(i,j)上成像的直射光而累积的光电荷的电压以及表示响应于f(i,j)反射且该相机在p(i,j)上成像的MP光而累积的光电荷(即“MP光电荷”)的电压Vk(i,j,ψk)mp的总和。电压
在表达式(15)中，由上述表达式(10)给出且可被写成：
电压Vk(i,j,ψk)mp可类似地由以下表达式给出
其中，表达式(17)中针对在曝光时段Exk期间用MP光照明特征f(i,j)的特征f(i′,j′)的索引进行求和。(17)中的相位是来自特征f(i′,j′)的MP光在从CW-TOF相机20传播至f(i′,j′)、从f(i′,j′)传播至f(i,j)、再从f(i,j)传播回CW-TOF相机20时经历的传播相位延迟。
从表达式(17)可容易地看出，经反射的MP光将MP光电荷添加至由来自特征f(i,j)的经反射的直接光生成的光电荷，并且生成在传播相位延迟
图2示意性地示出了根据本公开的一实施例的CW-TOF相机200，其被配置成减少归因于MP光电荷的误差。CW-TOF 200可任选地包括与CW-TOF相机20中所包括的组件类似的组件，但可具有代替CW-TOF 20中所包括的控制器25的控制器225，此外还可具有光学图案生成器28。CW-TOF相机200被示为对图1A和1B中所示的场景30进行成像。
为了提供场景30的范围图像，控制器225操作CW-TOF相机200以在光电传感器22的K个曝光时段Exk(1≤k≤K)中的每个曝光时段期间获取场景的图像，对于每个曝光时段，控制器控制振荡器26和光源24发射以频率ω调制的光40来照明该场景。对于第k个曝光时段Exk，控制器225控制光电传感器22和移相器27以频率ω对像素p(i,j)的灵敏度进行调制但相移了采样相移ψk(其中ψk＝2π(k-1)/K)，该采样相移ψk由N个“扰动相移”的序列λn(1≤n≤N)来修改，其中λn＝2π(n-1)/N，并且n和N为整数。对于采样相移ψk，控制器225可在曝光时段Exk期间针对N个相等的扰动时间段的序列τn(1≤n≤N)来调制光电传感器22的灵敏度，对于该扰动时间段序列，光电传感器22在时段τn内的灵敏度等于，
Sk,n(t)＝[So+S1cos(ωt+ψk+λn)]. (18)
在曝光时段Exk期间，控制器225还控制光学图案生成器28调制发射光40以生成照明场景30并产生该场景中的特征f(i,j)的对应结构化照明图案的结构光400。结构化照明图案包括场景30的多个区域(在下文中也被称为照明区域)。照明区域可以是相同或不同类型。场景30在不同类型的照明区域中的特征f(i,j)在曝光时段Exk期间由结构光400不同地照明。相同照明区域中的特征f(i,j)和相同类型的不同照明区域中的特征f(i,j)在曝光时段期间被类似地照明。照明区域可以是离散照明区域，这些离散照明区域通过在由CW-TOF相机200成像的场景中的相对明确定义的边界来界定和分隔并且跨这些相对明确定义的边界的照明表现出相对突变。照明区域可以是连续照明区域，这些连续照明区域不表现出相对明确定义的边界，跨这些相对明确定义的边界的照明表现出相对突变。场景30中的连续照明区域可例如表现出照明的变化，该变化是由照明的强度或波长中的连续空间梯度来表征的位置的相对渐进函数。梯度可例如通过场景30的不同区域的照明的取决于时间的变化来生成，其是连续的而不是区域位置的离散函数。
不同连续照明区域可由不同参数来表征，诸如时间演变的阶段，其定义表征它们分别从结构光400接收的照明的函数。
结构化照明图案同时包括至少两种不同类型的照明区域。例如，光学图案生成器28提供的结构光400可生成结构化照明图案，该结构化照明图案同时包括两种不同类型的照明区域－明亮照明区域和昏暗照明区域，这些明亮照明区域具有相比昏暗照明区域从图案生成器28接收更多光的特征f(i,j)。明亮和昏暗照明区域可包括彼此交织的照明特征f(i,j)的亮条带与非照明特征f(i,j)的暗条带。明亮和昏暗照明区域可包括特征f(i,j)的更亮和更暗“岛”的斑点图案或更亮和更暗区域的瓦块(tiling)。结构化照明图案可包括不止两个照明区域，并且可例如具有三个照明区域，每个照明区域接收来自图案生成器28的发射光的不同强度或波长。作为示例，在图2中，光学图案生成器28被示为生成产生结构化照明图案29的结构光400，该结构化照明图案29包括离散照明区域，这些离散照明区域分别是亮条带29-1和暗条带29-2。
图案生成器28可以是用于生成结构光的各种设备中的任一种，并且可例如包括微镜阵列、液晶单元阵列、和/或被配置成接收光40并引导所接收的光的各部分以生成用期望的结构化照明图案照明场景30的结构光的光学扫描仪。替代地和/或附加地，光源40可包括独立可控的激光器和/或发光二极管(LED)的阵列，控制器225可对其进行控制以在场景30上生成期望的结构化照明图案。需要注意，尽管将图2中示出的光源24和图案生成器28作为分开的实体来讨论，但是术语光源可被用来一般地指代根据本公开的实施例可操作用于提供结构光以用结构化照明图案照明场景的任何光学装置。
根据一实施例，在曝光时段Exk期间，控制器225控制图案生成器28根据与扰动相移序列λn同步的乘性光学图案修改器(modifier)序列来修改结构光400，以修改给定照明区域中的光照明特征。不同类型的照明区域中的特征可与扰动相移λn同步地以不同的光学图案修改器序列来照明。根据一实施例，光学图案修改器序列可以是不同的，因为它们是相同光学修改器的不同序列或不同光学修改器的序列。光学图案修改器可被视为修改结构光400或修改场景30中接收由光学图案修改器修改的结构光的特征的对应照明。
令光学图案修改器的数目与不同扰动相移的数目相同，并且由Pz(1≤z≤Z)表示，其中Z＝N。具有不同的下标z的光学图案修改器可具有相同函数形式，但是由于它们在不同扰动时段τn期间被使用而被区分。由于光学图案修改器序列Pz对于不同照明区域是不同的，因此哪个光学图案修改器Pz在曝光时段Exk期间与给定扰动相移λn同步取决于照明区域以及扰动相移。场景30中的给定特征f(i,j)在曝光时段期间接收的照明取决于其所位于的照明区域的类型，这是其索引(i,j)的函数。因此，如果I(i,j,n,t)400表示特征f(i,j)在曝光时段Exk的扰动时间段τn期间接收的光强度(对此，光电传感器22的灵敏度调制相移了相位(ψk+λn))，则该强度可被写成：
I(i,j,n,t)400＝Pz(i,j,n)(Io+I1cosωt), (18)
其中下标z的依赖性表示光学图案修改器Pz对索引n和照明区域的依赖性。
由特征f(i,j)从光400反射的直射光(其从光学图案生成器28直接到达该特征并由CW-TOF相机200在曝光时段Exk的时段τn期间在像素p(i,j)上成像)的强度可被写成：
来自特征f(i′,j′)的照明特征f(i,j)(CW-TOF相机200在像素p(i,j)上成像该特征f(i,j))且由特征f(i,j)反射的非直接MP光的光可被写成：
表示响应于来自CW-TOF相机200在像素p(i,j)上成像的特征f(i,j)的直接和MP光的卷积而由像素p(i,j)累积的光电荷的电压(如由表达式(15)给出)是但是其中
并且，用于表示MP光电荷的MP电压Vk(i,j,ψk)mp的表达式(17)被修改为以下表达式，
在一实施例中，光学图案生成器28产生的结构光的空间图案被选择成使得对表达式(23)中的索引i′,j′的求和基本上满足以下约束，
在一实施例中，为了满足约束(24)，控制器225控制光学图案生成器28将结构化光图案400配置成使得对索引i′,j′的求和Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]被“均质化”，并且对于给定p(i,j)基本上等于常数，并且对于场景中用MP光照明特征f(i,j)的特征f(i′,j′)之间的距离而言，与n无关，并且对其而言
在一实施例中，为了提供均质化的光图案，控制器225可控制光学图案生成器28，使得结构光400照明场景30以产生图2中示意性地示出的照明图案29，其包括彼此交织的场景中被照明的“明亮”特征f(i,j)的条带与非照明的“昏暗”特征f(i,j)的条带，并且对其而言，毗邻条带随下标n的变化而在亮与暗之间交替。暗条带和亮条带的间距被确定为使来自将MP光反射至特征f(i,j)的特征f(i′,j′)的MP光“均质化”，使得求和Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]不改变，并且基本上与索引n无关。例如，场景30中的亮条带和暗条带可被成像在光电传感器22中的像素23的对应条带上，这些对应条带有利地是几个像素的宽度。可任选地，作为示例，像素23的条带可小于10个像素的宽度。在一实施例中，条带可以在2个和5个像素宽度之间。可任选地，条带是4个像素的宽度。
对于电压(表达式(15)、(22)和(23)对该电压有效)，
需要注意，如上面关于约束条件(24)所讨论的，即Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]对于给定像素p(i,j)而言与n无关，Σi′,j′Pz(i′,j′,n)[Amp(i,j,i′,j′)]因此也是常数且对于给定像素而言基本上与n无关且可被写成：
Σi′,j′Pz(i′,j′,n)[Amp(i,j,i′,j′)]＝Cmp(i,j). (26)
使用表达式(26)且设
ΣnPz(i,j,n)A(i,j)＝CD(i,j), (27)
用于的表达式(25)可被写成：
其中，如上所述(1≤n≤N)。
令像素p(i,j)的相移ξ(i,j)被定义成使得
ξ(i,j)＝atan(ΣnPz(i,j,n)sin(λn)/ΣnPz(i,j,n)cos(λn)), (29)
于是，表达式28可被写成：
为了方便起见，其可被重写为以下形式
其中
C(i,j)＝CD(i,j)+NCmp(i,j), (32)
以及
B(i,j)*＝B(i,j)[(ΣnPz(i,j,n)sinλn)2+(ΣnPz(i,j,n)cosλn)2]1/2. (33)
相移ξ(i,j)(其还可被称为“图案相位”或“空间相位”)可由对位于给定照明区域中的特征进行成像的像素p(i,j)来生成，对其而言，求和ΣnPz(i,j,n)sin(λn)不等于零。根据一实施例，表达式(29)中所定义的图案相移ξ(i,j)通过与像素p(i,j)相关联的照明区域的由结构化照明图案400生成并在曝光时段Exk期间与全局扰动相移序列λn同步的照明的时间依赖性来产生。如果成像在像素p(i,j)上的特征f(i,j)位于照明区域中，则该照明区域可被视为与该像素相关联，并且像素p(i,j)可被视为“处于”被成像在该像素上的特征f(i,j)的照明区域中。图案相位ξ(i,j)对于不同照明区域可能有所不同，并且可导致不同类型的照明区域中的像素针对场景30中距CW-OF相机200相同距离处的特征累积不同数量的光电荷。不同的光电荷量以及随之发生的不同对应电压
表达式(28)-(31)表明，MP光仅对电压
给定图案相位ξ(i,j)和表达式(31)，传播相位延迟可根据类似于表达式(11)的表达式来被确定：
或者，为了减轻相位卷绕效应，有利地
并且，表达式(33)中的B(i,j)*可根据以下表达式来确定：
控制器225可被配置成控制移相器27和光学图案生成器提供不同的扰动相移集λn(在下文中也被称为抗MPI(AMPI)集)和对应的光学图案修改器Pz(i,j,n)，使得电压
例如，如果对于对第一类型的照明区域中的特征f(i,j)进行成像的像素p(i,j)，CW-TOF相机200将扰动相移序列中的扰动相移λ1、λ2、λ3、λ4与依序为P1、P2、P3、P4的相应光学图案修改器配对，则对于不同的第二类型的照明区域中的像素p(i,j)，相同的扰动相移序列可分别与依序为P4、P1、P2、P3的图案修改器配对。与第二照明区域相关联的图案修改器序列是与第一照明区域相关联的图案修改器序列的循环排列。在下文中，用于光学图案修改器P1(i,j)的自变量(i,j)可被省略，应当理解，光学图案修改器与该图案修改器所关联的照明区域中的像素相关联。
作为示例，在一实施例中，AMPI集可包括N＝2个扰动相移λn(其中λ1＝2π(n-1)/N＝(n-1)360°/N＝0°且λ2＝180°)以及两个光学图案修改器P1和P2(其可以是具有值P1＝1和P2＝0的二元常数)。场景30可包括两种类型的照明区域，对应于图2中所示的明区域29-1和暗区域29-2，并且具有分别等于0°和180°的图案相位ξ(i,j)。令这两种类型的照明区域记为Z1和Z2。在曝光时段Exk期间，照明区域在明和暗之间交替：当Z1为明时，Z2为暗；而当Z1为暗时，Z2为明。这些区域通过与扰动相移序列(λ1,λ2)同步的光学图案修改器序列(P1,P2)来区分。对于具有图案相位0°的Z1，序列(λ1,λ2)可以与序列(P1,P2)同步。匹配序列的组合可方便地由形式[Z1:(λ1,λ2)；(P1,P2)]来表示。***扰动相移和光学图案调制器的值，匹配序列变为[Z1:(0°,180°)；(1,0)]。对于具有图案相位180°的Z2，序列(λ1,λ2)可与光学图案修改器的反转序列(P2,P1)同步，使得[Z2:(λ1,λ2)；(P2,P1)]且[Z2:(0°,180°)；(0,1)]。
对于对位于照明区域类型Z1中的特征f(i,j)进行成像的像素p(i,j)，表达式(28)可针对匹配序列[Z1:(0°,180°)；(1,0)]来评估，以提供CW-TOF相机200针对f(i,j)和采样相移ψk提供的电压
在该表达式中，Z1被添加至电压
需要注意，在表达式(31)和(32)中以上评估中，图案相位0°和180°没有显式地出现，因为它们是通过以下来被计及的：光学图案修改器的反转排序(P1,P2)和(P2,P1)分别与照明区域Z1和Z2的相同扰动相移序列(0°,180°)同步以及表达式中最后一项之前的符号反转。在对扰动相位进行求和之后，由不同照明区域中的像素提供的电压可一般地由
从表达式(31)和(32)可以看出，使用扰动相移以及Z1和Z2的光学图案修改器的匹配序列的CW-TOF相机200针对特征f(i,j)和采样相移ψk提供具有对采样相移和传播相位延迟的相同形式的依赖性的电压如表达式(10)中所示。此外，MPI仅对表达式(31)和(32)中的常数项NCmp(i,j)有贡献。由于如上所述，表达式(10)中的常数对根据表达式(11)所确定的传播相位延迟没有贡献，因此由CW-TOF相机200提供的电压提供基本上没有MPI所生成的误差的传播相位延迟
在一实施例中，AMPI集可包括N＝3个扰动相移λn(具有相应值0°、120°和240°)、三个二元光学图案修改器P1＝1、P2＝0、P3＝0、以及三种类型的照明区域Z1、Z2和Z3(具有相应图案相位0°、120°和240°)。照明区域可由以下来定义：[Z1:(0°,120°,240°)；(1,0,0)],[Z2:(0°,120°,240°)；(0,1,0)],[Z3:(0°,120°,240°)；(0,0,1)]。与以上针对区域Z1和Z2评估表达式(28)类似，针对由CW-TOF相机200为三个区域中的特征f(i,j)提供的电压评估表达式(28)伴随C(i,j)＝CD(i,j)+NCmp(i,j)提供了：
根据一实施例，对于具有四个二元图案修改器、以及四个照明区域Z1,…Z4(对这四个照明区域，[Z1:(0°,90°,180°,270°)；(1,0,0,1)],[Z2:(0°,90°,180°,270°)；(1,1,0,0)],[Z3:(0°,90°,180°,270°)；(0,1,1,0)],[Z4:(0°,90°,180°,270°)；(0,0,1,1)])并且具有正负45°的图案相位的N＝4扰动相位AMPI集，评估表达式(28)提供了
以及
根据一实施例，AMPI集可具有N＝2个扰动相位和两个照明区域，这两个照明区域具有相应图案相位0°、180°，并且由[Z1:(0°,180°)；(1,0.5-E)]和[Z2:(0°,180°)；(0,0.5+E)]来定义，其中0.5是DC电平且E<0.5。AMPI集提供
以及
根据一实施例，AMPI集可具有N>2个扰动相位λn＝(n-1)360°/N,(0≤n≤N)以及两个照明区域，这两个照明区域具有相应图案相位0°、180°且由以下来定义
[Z1:(λ1,λ2,…λN)；(1+cosλ1,1+cosλ2,…,1+cosλN)]以及
[Z2:(λ1,λ2,…λN)；(1-cosλ1,1-cosλ2,…,1-cosλN)].AMPI集提供：
以及
根据一实施例，AMPI集可具有N＝2个扰动相位0°、180°，正弦光学图案修改器Pn、以及两个照明区域，这两个照明区域具有图案相位ξ(i,j)中的差异并且由以下来定义：
[Z1:(0°,180°)；(1+kcos(0°+ξ(i,j))),(1+kcos(180°+ξ(i,j)))]，以及
[Z2:(0°,180°)；(1+kcos(180°+ξ(i,j))),(1+kcos(0°+ξ(i,j)))]
AMPI集提供：
以及
根据一实施例，AMPI集可具有N>2个扰动相位λn＝(n-1)360°/N,(0≤n≤N)、N个正弦光学图案修改器Pn、以及图案相位ξ(i,j)，该图案相位ξ(i,j)是定义结构化照明图案的场景30中的位置的连续函数(其中场景中的特征f(i,j)的照明因变于该特征的位置而连续地改变)。例如，ξ(i,j)可以是索引i和索引j之一的连续函数，其中，在任何给定时间，被成像在光电传感器22中的同一行或列中的像素p(i,j)上的特征f(i,j)具有相同照明强度，并且毗邻行或列中的特征具有不同照明强度，使得场景30的照明看起来具有一维梯度。可任选地，该梯度是由图案相位ξ(i,j)生成的二维梯度，该图案相位是索引i和j两者的连续函数。图案相位ξ(i,j)的每个值可被考虑来定义照明区域。作为示例，光学图案修改器可以是谐波函数，其可任选地定义以下形式的AMPI集
[(λ1,λ2,…λN))；(1+kcos(λ1+ξ(i,j))),(1+kcos(λ2+ξ(i,j))),…,(1+kcos(λN+ξ(i,j)))],
对于在像素23p(i,j)上成像的每个特征f(i,j)，AMPI集提供由以下表达式给出的相对不含MPI的电压
类似地，根据一实施例，AMPI集可具有N>2个扰动相位λn＝(n-1)360°/N,(0≤n≤N)、N个正弦光学图案修改器Pn、以及由以下定义的连续照明区域
[(λ1,λ2,…λN))；(1+cosλ1cosξL),(1+cosλ2cosξL),…,(1+cosλNcosξL)]以及这为特征f(i,j)提供了
需要注意，在以上讨论和示例中，结构光400和该结构光生成的场景30的结构化照明图案在以下意义上被假定为动态的：它们与扰动相移λn中取决于时间的变化同步地根据时间而改变。并且，各实施例的示例指示，针对给定采样相移ψk的电压
例如，为了提供从中将确定距场景30中的特征f(i,j)的距离的电压对于具有扰动相位λn的采样相移ψk和与该扰动相位相关联的光学图案修改器Pz(i,j,n)的每个配对，控制器225可控制CW-TOF相机200为光电传感器22中的像素p(i,j)获取不同的电压帧。
令针对由Exk,n表示的曝光时段(对其而言，采样相移ψk和扰动相位λn在该曝光时段期间是恒定的)期间获取的光电传感器22的电压帧中的由像素p(i,j)提供的电压由来表示。于是，类似于表达式(28)且C(i,j,n)＝CD(i,j,n)+Cmp(i,j)，
并且供在计算传播相位延迟中使用的电压
此外，如上所述，虽然对各实施例的讨论假定对于给定像素p(i,j)，对在该像素上成像的特征f(i,j)的照明是动态的并且与扰动相位λn,的变化同步地改变，但本公开的各实施例的实践不限于动态结构化照明图案。对于动态结构化照明图案，照明中的随λn的变化的变化由对光学图案修改器Pz(i,j,n)的索引n的依赖性来表示，该光学图案修改器Pz(i,j,n)表征场景30中的特征f(i,j)所位于的照明区域的照明。在一实施例中，照明场景的结构光和包括其在场景(诸如场景30)中生成的照明区域的结构化照明图案可以是静止的，不随λn的变化而改变，并且基本上与索引n无关。
假定控制器225操作CW-TOF相机200利用静止照明图案来照明场景30，以获取场景的范围图像。静止照明图案包括Z个不同类型的静止照明区域，分别由不随扰动相位λn的变化而改变的不同光学图案修改器ZPz(1≤z≤Z)来表征和表示。进一步假定控制器225根据K个采样相移ψk(1≤k≤K|K≥3)和N个扰动相位λn(1≤n≤N|N≥2)来控制相机。在一实施例中，控制器225可任选地控制CW-TOF相机225获取光电传感器22的多个帧，该多个帧在数量上足以对场景30进行成像以提供对可被处理以确定距特征f(i,j)的距离的像素p(i,j)的电压
如表达式(49)所指示，在K个采样相移ψk和N个扰动相位λn的假设下，所获取的数据必须足以提供像素p(i,j)的KxN个电压以确定距该像素成像的特征f(i,j)的距离。然而，CW-TOF相机200可***作以获取光电传感器22的KxN个帧以提供KxN个电压，因为如果(ψk+λn)＝(ψk′+λn′)，则针对(ψk+λn)所获取的帧提供与针对(ψk′+λn′)所获取的帧相同的电压，少于KxN的帧数可足以提供电压。例如，对于N＝mK(其中m是整数)的K和N的选择，多个N个帧而不是mK2个帧足以提供电压。作为数值示例，对于m＝1、N＝K＝3，多个N＝3个帧而不是9个帧足以提供电压。另一方面，如果N≠mK，则通常KxN个帧对于提供电压是有利的。
在下面的讨论中，特征f(i,j)所位于的静止照明区域ZPz由ZPz(i,j)来表示。像素p(i,j)针对给定ψk和给定λn提供的照明区域ZPz(i,j)中特征f(i,j)的电压被表示为并且可被表达为：
电压
若控制器225要确定特征f(i,j)的电压
作为结果，所确定的电压通常将无法用来确定
在一实施例中，为了计算对λn的求和(其提供取决于ψk且能用于确定特征f(i,j)的距离的的值)，控制器225使用由对特征f(i′,j′)进行成像的像素p(i′,j′)所提供的至少一个电压，该特征f(i′,j′)位于与由像素p(i,j)成像的特征f(i,j)所位于的静止照明区域ZPz(i,j)的类型不同的一类型的静止照明区域ZPz(i′,j′)中。特征f(i,j)所位于的静止照明区域ZPz(i,j)可被认为是“源(home)”照明区域，而其他至少一个照明区域ZPz(i′,j′)可被认为是“代理(surrogate)”照明区域。控制器将该至少一个代理静止照明区域ZPz(i′,j′)与不同于像素p(i,j)针对其提供电压的扰动相位的扰动相位λn配对。因此，像素p(i′,j′)对不同于像素p(i,j)针对其提供电压以供求和的光学图案修改器和扰动相位λn的求和贡献电压。
若像素p(i,j)位于合适的动态照明区域(对于该动态照明区域，照明随着扰动相位的变化而改变)中，则由像素p(i′,j′)提供的电压是对像素p(i,j)将针对扰动相位和光学图案修改器(针对其，像素p(i′,j′)提供电压)提供的电压的近似。有利地，该至少一个代理照明区域中的每一者是源照明区域的最近邻，其类型不同于该源照明区域的类型。并且，对于给定代理照明区域，有利的是，该代理照明区域中的像素p(i′,j′)是像素p(i,j)在给定代理照明区域中的最近邻像素。
根据本公开的一实施例，与扰动相位配对的代理照明区域的使用提供了在对λn的求和中的光学图案修改器与扰动相位的变化，这是源照明区域由于其是静止的而无法提供的。对代理照明区域的使用因此导致
令由与静止照明区域ZPz(i,j)(控制器225将该静止照明区域ZPz(i,j)与扰动相位λn配对)相关联的像素p(i,j)提供的电压由来表示，其中ZPz(i,j,n)中的索引z中的“n”指示静止照明区域ZPz(i,j)与扰动相位λn的配对。根据本公开的一实施例，使用代理照明区域来确定像素p(i,j)的电压的求和可被表示为：
在表达式(52)中，第一项是像素p(i,j)响应于来自其源照明区域ZPz(i,j,n)中的特征f(i,j)的光而提供的电压，该像素针对ψk和N个扰动相位中的特定扰动相位λn(控制器225将该特定扰动相位λn与源照明区域ZPz(i,j,n)配对)来记录该光。表达式(52)中的第二项是电压对扰动索引n′(n′≠)的总和，其中n是与第一项中的源照明区域配对的扰动相位λn的索引，并且(i′,j′)是像素p(i′,j′)的坐标，如下面所讨论的。电压由像素p(i′,j′)响应于来自位于静止照明区域ZPz′(i′,j′,n′)中特征f(i′,j′)的光而提供。如上所述，p(i′,j′)可有利地是像素p(i,j)的合适最近邻，并且作为结果，传播相位延迟被预计近似等于
需要注意，通常，由索引n′指示的静止照明区域ZPz(i′,j′,n′)是代理照明区域。然而，根据本公开的一实施例，控制器225可通过双射或满射映射将扰动相位配对至静止照明区域，以在表达式(52)中提供
作为示例，假定CW-TOF相机200利用具有Z不同静止照明区域ZPz的静止照明图案来照明场景(诸如场景30)，以针对K个采样相位ψk和N个扰动相位λn来对该场景进行成像。假定Z＝N，控制器225可利用双射映射将扰动相位与静止照明区域配对，以提供供在表达式(52)中使用的以下配对集
(λ1,ZP1,ψk),(λ2,ZP2,ψk),(λ3,ZP3,ψk),(λ4,ZP4,ψk),….(λN,ZPN,ψk). (53)
对于可任选地位于静止照明区域ZP1中的像素p(i,j)，
并且表达式(52)中的总和变为
其中，如上所述，(i′,j′)是像素p(i′,j′)的坐标，其可任选地是像素p(i,j)的合适的最近邻。
作为特定数值示例，假定K＝Z＝N＝3以使得采样相移ψ1、ψ2和ψ3分别取值为0°、120°、240°，扰动相位λ1、λ2和λ3也取值为0°、120°、240°，并且静止照明区域可由光学图案修改器ZP1＝1.5、ZP2＝1.0和ZP3＝0.5来表示，并且可任选地具有这些光学图案修改器。控制器225可使用λn到ZPz的以下双射映射来针对采样相移ψk获取场景30的距离图像：
(λ1＝0°→ZP1＝1.5,ψk),(λ2＝120°→ZP2＝1.0,ψk),(λ3＝240°→ZP3＝0.5,ψk).(56)
并且对于分别具有上述值0°、120°、240°的ψ1、ψ2和ψ3，表达式(56)分别变成：
作为满射映射的数值示例，假定K＝N＝3，并且静止照明图案类似于图2所示的具有Z＝2的交织的暗和亮静止照明区域的图案。可任选地，暗和亮照明区域由光学图案修改器ZP1＝0.5和ZP2＝1.0来表征。控制器225可使用λn到ZPz的以下满射映射来获取场景30的范围图像：
(0°,ZP1＝0.5,ψk),(120°,ZP2＝1.0,ψk),(240°,ZP2＝1.0,ψk).作为另一个数值示例，对于N＝3、K＝2并且ZP1＝1.5且ZP2＝1.0，则有：
(0°,ZP1＝1.5,ψ1＝0°),(180°,ZP2＝1.0,ψ1＝0°),
(0°,ZP1＝1.5,ψ2＝120°),(180°,ZP2＝1.0,ψ2＝120°),
(0°,ZP1＝1.5,ψ3＝240°),(180°,ZP2＝1.0,ψ3＝240°),
其中0°/180°对应于+/-符号运算或微分运算。在一实施例中，可以在类似于以上所示的操作中使用两组或更多组的光学图案修改器以减少误差。例如，使用两组光学图案修改器(ZP1＝1.5、ZP2＝1.0)和(ZP1’＝0.5、ZP2’＝0.1)，则有：
(0°,ZP1＝1.5,0°),(180°,ZP2＝0.5,0°),(0°,ZP1’＝1,0°),(180°,ZP2’＝0.1,0°),
(0°,ZP1＝1.5,120°),(180°,ZP2＝0.5,120o),(0°,ZP1’＝1,120°),(180°,ZP2’＝0.1,120°),
(0°,ZP1＝1.5,240°),(180°,ZP2＝0.5,240°),(0°,ZP1’＝1,240°),(180°,ZP2’＝0.1,240°).
需要注意，在上面的映射中，ψk和λn的各种组合的每一者的总和以360°求模得到到三个总和0°、120°、240°的仅一者。因此，CW-TOF相机200可从以0°、120°和240°的相应相移获取的场景30的三个图像中获取，而不是从该场景的九个图像中获取上述映射示例的表达式(52)中的所有电压。
还应注意，尽管CW-TOF相机200包括控制器225，该控制器225可操作用于控制光学图案生成器28(图2)使光学图案修改器与扰动相位的变化同步，但是根据本发明实施例的利用静止照明图案来获取范围图像的CW-TOF相机不需要对图案生成器的这种控制。除了用于在相机成像的场景上生成至少一个静止照明图案的装置之外，在其最简单的配置中，使用静止照明图案来对场景成像的CW-TOF静止照明图案相机可能不存在用于控制光源的任何装置。
根据本公开的一实施例，提供了一种连续波飞行时间(CW-TOF)相机，该CW-TOF相机可操作用于确定距场景中的特征的距离，该CW-TOF相机包括：可操作用于发射光来照明场景的光源；具有多个像素的光电传感器，该多个像素被配置成记录由场景中的特征从发射光反射的光量；以及控制器，该控制器被配置成：控制光源发射以调制频率调制的结构光，以利用结构化照明图案照明场景；以及对于多个K≥3个不同采样相移的采样相移ψk＝2π(k-1)/K(1≤k≤K)和多个N≥2个不同扰动相移的扰动相移λn＝2π(n-1)/N(1≤n≤N)的每个组合：以发射光的调制频率调制光电传感器的灵敏度，但是相对于发射光的相位相移了一相位θk,n＝(ψk+λn)；对于θk,n以360°求模得到的每个值，开启光电传感器达不同曝光时段以记录由特征反射的光；以及基于由像素记录的光来确定距特征的距离。
可任选地，对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段包括：对于每个采样相移ψk，针对N个不同扰动相移的每个λn来开启光电传感器达不同曝光时段Exk,n。可任选地，控制器被配置成控制光源利用与扰动相移序列同步的光学图案修改器序列来修改结构光。
在一实施例中，确定距成像在光电传感器的由索引(i,j)表示的像素p(i,j)上的特征f(i,j)的距离包括：对表示像素在每个曝光时段Exk,n期间记录的光的电压进行求和，以提供电压
在一实施例中，确定结构化照明图案是包括多个Z个不同类型的静止照明区域ZPz,(1≤z≤Z)的静止照明图案。可任选地，对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段包括：对于每个采样相移ψk，针对N个不同扰动相移的每个λn来开启光电传感器达不同曝光时段Exk,n。对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段可包括：开启光电传感器达小于KxN的曝光时段数。可任选地，小于KxN的曝光时段数等于θk,n以360°求模得到的不同值的数目。
在一实施例中，确定距位于静止照明区域ZPz(i,j)中的成像在像素p(i,j)上的特征f(i,j)的距离包括：对于每个ψk，确定多个电压的求和，每个电压表示由光电传感器中的像素针对不同扰动相位λn所记录的光。可任选地，该多个电压包括表示由像素p(i,j)针对第一扰动阶段λn所记录的光的电压和表示由像素p(i′,j′)所记录的来自位于与静止照明区域的类型ZPz(i,j)不同的一类型的静止照明区域ZPz(i′,j′)中的特征f(i′,j′)的光的电压，其中f(i,j)被定位以供不同于第一扰动阶段的第二扰动阶段λn。可任选地，电压求和包括由对位于静止照明区域ZPz中的特征进行成像的像素提供的与该静止照明区域配对的每个λn的电压。不同静止照明区域ZPz的数目Z可等于扰动阶段λn的数目N，并且控制器使用扰动阶段到静止照明区域的双射映射来将扰动阶段与静止照明区域配对。可任选地，不同静止照明区域ZPz的数目Z小于扰动阶段λn的数目N，并且控制器使用扰动阶段到静止照明区域的满射映射来将扰动阶段与静止照明区域配对。
根据本公开的一实施例，进一步提供一种确定到场景中的特征的距离的方法，该方法包括：发射以调制频率调制的结构光，以利用结构化照明图案照明场景；以及对于多个K≥3个不同采样相移的采样相移ψk＝2π(k-1)/K(1≤k≤K)和多个N≥2个不同扰动相移的扰动相移λn＝2π(n-1)/N(1≤n≤N)的每个组合：以发射光的调制频率调制具有被配置成记录光的像素的光电传感器的灵敏度，但是相对于发射光的相位相移了一相位θk,n＝(ψk+λn)；对于θk,n以360°求模得到的每个值，开启光电传感器达不同曝光时段以记录由场景中的特征反射的光；以及基于由像素记录的光来确定距特征的距离。
可任选地，对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段包括：对于每个采样相移ψk，针对N个不同扰动相移的每个λn来开启光电传感器达不同曝光时段Exk,n。对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段可包括：开启光电传感器达小于KxN的曝光时段数。可任选地，小于KxN的曝光时段数等于θk,n以360°求模得到的不同值的数目。
在一实施例中，利用结构化照明图案照明场景包括：利用包括多个Z个不同类型的静止照明区域ZPz,(1≤z≤Z)的静止照明图案来照明场景。
在一实施例中，利用结构化照明图案照明场景包括：利用动态照明图案照明场景，该动态照明图案包括多个Z个不同类型的动态照明区域，对于这些动态照明区域中的每一者，照明可控制地随时间变化而与其他区域的照明无关。
在本申请的描述和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素或部分的完整列表。
在本申请中作为示例提供了对本公开的各实施例的描述，而不旨在限制本公开的范围。所描述的实施例包括不同的特征，对于所有实施例来说并不是所有的特征都是必需的。一些实施例只利用一些特征或特征的可能组合。所描述的本公开的实施例的变体以及包括在所描述的实施例中提到的特征的不同组合的实施例将被本领域的人员想到。本发明的范围仅由权利要求来限定。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：LIDAR系统和方法