具体实施方式

在下文中，将描述用于实现本技术的实施例(在下文中，被称为实施例)。请注意，将按以下顺序给出描述。

1.距离测量模块的示意性配置示例

2.通过间接ToF方法的距离测量传感器的操作

3.距离测量传感器的详细配置示例

4.深度值计算处理

5.第二实施例

6.第三实施例

7.电子设备的配置示例

8.计算机的配置示例

9.移动对象的应用示例

<1.距离测量模块的示意性配置示例>

图1是示出应用本技术的距离测量模块的第一实施例中的示意性配置示例的框图。

图1所示的距离测量模块11是通过间接ToF方法执行距离测量的距离测量模块，并且包括发光源12、发光控制单元13和距离测量传感器14。

距离测量模块11利用光照射作为被摄体的预定对象，接收通过对象反射光(照射光)而获得的光(反射光)，并且因此测量作为到该对象的距离信息的深度值和置信度，并输出该深度值和置信度。

发光源12例如包括作为光源的红外激光二极管等，在与从发光控制单元13提供的发光控制信号相对应的定时处执行调制的同时发光，并且利用照射光照射对象。

发光控制单元13通过向发光源12提供预定频率(例如，20MHz等)的发光控制信号来控制发光源12。此外，发光控制单元13还向距离测量传感器14提供发光控制信号，以便根据发光源12的发光定时驱动光接收单元21。

尽管稍后将参考图2来详细描述距离测量传感器14，但是二维布置有多个像素31的像素阵列单元32接收来自对象的反射光。然后，距离测量传感器14生成并输出像素阵列单元32的每个像素31的深度值和置信度。

<2.通过间接ToF方法的距离测量传感器的操作>

接下来，将参考图2至图6描述距离测量传感器14的操作。

距离测量传感器14包括图2所示的光接收单元21。

光接收单元21包括像素阵列单元32，其中每个像素31根据接收光的量生成电荷并根据电荷输出信号在行方向和列方向上以矩阵二维布置，以及驱动控制电路33，布置在像素阵列单元32的外围区域中。

驱动控制电路33基于例如从发光控制单元13提供的发光控制信号，输出用于控制像素31的驱动的控制信号(例如，分配信号DIMIX、选择信号ADDRESS DECODE、复位信号RST等，稍后将描述)。

像素31包括光电二极管51、以及检测由光电二极管51光电转换的电荷的第一抽头52A和第二抽头52B。在像素31中，在一个光电二极管51中生成的电荷被分配到第一抽头52A或第二抽头52B。然后，在光电二极管51中生成并分配到第一抽头52A的电荷作为检测信号A从信号线53A输出，并且在光电二极管51中生成并分配到第二抽头52B的电荷作为检测信号B从信号线53B输出。

第一抽头52A包括传输晶体管41A、浮动扩散(FD)单元42A、选择晶体管43A和复位晶体管44A。类似地，第二抽头52B包括传输晶体管41B、FD单元42B、选择晶体管43B和复位晶体管44B。

将描述像素31的操作。

如图3所示，发光源12输出调制的照射光(一个周期＝2T)，以便以照射时间T重复照射的开/关，并且光电二极管51以与到对象的距离相对应的延迟时间ΔT的延迟接收反射光。此外，分配信号DIMIX_A控制传输晶体管41A的导通/截止，分配信号DIMIX_B控制传输晶体管41B的导通/截止。分配信号DIMIX_A是具有与照射光相同相位的信号，分配信号DIMIX_B具有通过将分配信号DIMIX_A的相位反转而获得的相位。

因此，在图2中，当传输晶体管41A根据分配信号DIMIX_A导通时，由光电二极管51接收反射光生成的电荷被传输到FD单元42A，并且当传输晶体管41B根据分配信号DIMIX_B导通时，由光电二极管51接收反射光生成的电荷被传输到FD单元42B。因此，在周期性地执行利用照射时间T的照射光照射的预定周期期间，经由传输晶体管41A传输的电荷被顺序地累积在FD单元42A中，并且经由传输晶体管41B传输的电荷被顺序地累积在FD单元42B中。

然后，如果在累积电荷的周期结束之后根据选择信号ADDRESS DECODE_A导通选择晶体管43A，则经由信号线53A读取在FD单元42A中累积的电荷，并且从光接收单元21输出与电荷量相对应的检测信号A。类似地，如果根据选择信号ADDRESS DECODE_B导通选择晶体管43B，则经由信号线53B读取在FD单元42B中累积的电荷，并且从光接收单元21输出与电荷量相对应的检测信号B。此外，如果复位晶体管44A根据复位信号RST_A导通，则在FD单元42A中累积的电荷被放电，并且如果复位晶体管44B根据复位信号RST_B导通，则在FD单元42B中累积的电荷被放电。

如上所述，像素31根据延迟时间Δt将由光电二极管51接收的反射光生成的电荷分配到第一抽头52A或第二抽头52B，并输出检测信号A和检测信号B。然后，延迟时间ΔT对应于其中从发光源12发射的光飞到对象、被对象反射、然后飞到光接收单元21的时间，即，对应于到对象的距离。因此，距离测量模块11可以基于检测信号A和检测信号B根据延迟时间ΔT获得到对象的距离(深度值)。

然而，在像素阵列单元32中，由于每个像素31中包括的诸如光电二极管51的每个元件和诸如传输晶体管41的像素晶体管的特性的偏差(灵敏度差)，存在对于每个像素31不同地影响检测信号A和检测信号B的情况。因此，在间接ToF方法的距离测量模块11中，采用了通过改变在相同像素31中的相位来获取通过接收反射光而获得的检测信号A和检测信号B来去除每个像素的抽头之间的灵敏度差并提高SN比的技术。

作为通过改变相位并计算深度值来接收反射光的方法，例如，将描述通过使用二相位的检测方法(2相位方法)和通过使用四相位的检测方法(4相位方法)。

如图4所示，光接收单元21在相对于照射光的照射定时偏移了0°、90°、180°和270°的相位的光接收定时处接收反射光。更具体地，光接收单元21通过以时分方式改变相位来接收反射光，使得在特定的帧周期中，相对于照射光的照射定时，在相位设置为0°的情况下接收光，在下一帧周期中，在相位设置为90°的情况下接收光，在下一帧周期中，在相位设置为180°的情况下接收光，以及在下一帧周期中，在相位设置为270°的情况下接收光。

图5是其中布置像素31的第一抽头52A在0°、90°、180°和270°的各个相位中的曝光周期使得可以容易地理解相位差的示图。

如图5所示，在第一抽头52A中，通过接收与照射光在相同相位(相位0°)中的光而获得的检测信号A被称为检测信号A₀，通过接收从照射光偏移90°的相位(相位90°)中的光而获得的检测信号A被称为检测信号A₉₀，通过接收从照射光偏移180°的相位(相位180°)中的光而获得的检测信号A被称为检测信号A₁₈₀，通过接收从照射光偏移270°的相位(相位270°)中的光而获得的检测信号A被称为检测信号A₂₇₀。

此外，即使省略了说明，在第二抽头52B中，通过接收与照射光在相同相位(相位0°)中的光而获得的检测信号B被称为检测信号B₀，通过接收从照射光偏移90°的相位(相位90°)中的光而获得的检测信号B被称为检测信号B₉₀，通过接收从照射光偏移180°的相位(相位180°)中的光而获得的检测信号B被称为检测信号B₁₈₀，通过接收从照射光偏移270°的相位(相位270°)中的光而获得的检测信号B被称为检测信号B₂₇₀。

图6是示出通过使用2相位方法和4相位方法计算深度值和置信度的方法的示图。

在间接ToF方法中，深度值d可以通过以下公式(1)获得。

[数学表达式1]

在公式(1)中，c表示光速，ΔT表示延迟时间，f表示光的调制频率。此外，在公式(1)中的表示反射光的相移量[rad]，通过以下公式(2)表示。

[数学表达式2]

在4相位方法中，使用将相位设置为0°、90°、180°和270°而获得的检测信号A₀至A₂₇₀和检测信号B₀至B₂₇₀通过以下公式(3)计算在公式(2)中的I和Q。I和Q分别是通过假设照射光的亮度改变是cos波，并将cos波的相位从极坐标转换到正交坐标系(IQ平面)而获得的信号。

I＝c₀-c₁₈₀＝(A₀-B₀)-(A₁₈₀-B₁₈₀)

Q＝c₉₀-c₂₇₀＝(A₉₀-B₉₀)-(A₂₇₀-B₂₇₀)………(3)

在4相位方法中，例如，通过采取在相同像素中相反相位的检测信号之间的差，诸如在公式(3)中的“A₀-A₁₈₀”和“A₉₀-A₂₇₀”，可以去除在每个像素中存在的抽头之间的特性变化，即固定模式噪声。

相反，在2相位方法中，可以通过仅使用检测信号A₀至A₂₇₀与通过将相位设置为0°、90°、180°和270°而获得的检测信号B₀至B₂₇₀之间的正交关系中的两个相位来获得到对象的深度值d。例如，在使用0°相位的检测信号A₀和B₀以及90°相位的检测信号A₉₀和B₉₀的情况下，在公式(2)中的I和Q通过以下公式(4)表示。

I＝c₀-c₁₈₀＝(A₀-B₀)

Q＝c₉₀-c₂₇₀＝(A₉₀-B₉₀)………(4)

例如，在使用180°相位的检测信号A₁₈₀和B₁₈₀以及270°相位的检测信号A₂₇₀和B₂₇₀的情况下，在公式(2)中的I和Q由以下公式(5)表示。

I＝c₀-c₁₈₀＝-(A₁₈₀-B₁₈₀)

Q＝c₉₀-c₂₇₀＝-(A₂₇₀-B₂₇₀)………(5)

在2相位方法中，不能消除在每个像素中存在的抽头之间的特性变化；然而，只有通过在两个相位中的检测信号才能获得到对象的深度值d。因此，可以以4相位方法的两倍帧速率执行距离测量。抽头之间的特性变化可以通过诸如增益或偏移的校正参数来调节。

在2相位方法和4相位方法中，置信度cnf可以由以下公式(6)获得。

[数学表达式3]

在本实施例中，距离测量模块11是使用与由4相位方法计算的延迟时间ΔT相对应的I信号和Q信号还是使用与由2相位方法计算的延迟时间ΔT相对应的I信号和Q信号以使用深度值d和置信度cnf都没有关系。可以固定地使用4相位方法或2相位方法，或者例如可以使用根据对象的运动等适当地选择4相位方法或2相位或混合4相位方法和2相位的方法。在下文中，为了简单起见，假设采用了4相位方法。

<3.距离测量传感器的详细配置示例>

图7是包括距离测量传感器14的详细配置的距离测量模块11的框图。

除了图2所示的光接收单元21之外，距离测量传感器14包括距离测量单元22、环境光计算单元23、环境光归一化单元24、室外信息计算单元25和滤波单元26。

距离测量模块11利用光照射预定对象，接收通过对象反射光(照射光)而获得的光(反射光)，并且因此测量并输出深度值和置信度作为到对象的距离信息。

具体地，光接收单元21将像素阵列单元32的每个像素31设置为测量目标像素，并将RAW数据提供给发光控制单元13、距离测量单元22和环境光计算单元23，该RAW数据是与由测量目标像素接收的反射光的光接收量相对应的检测信号。

发光控制单元13通过向发光源12提供预定频率的发光控制信号来控制发光源12，基于光接收单元21的RAW数据来控制曝光时间，并生成用于实现设置的曝光时间的发光控制信号。因此，发光控制单元13基于光接收单元21的RAW数据具有AE功能(自动曝光功能)，并将设置的曝光时间提供给环境光归一化单元24。

基于从光接收单元21提供的测量目标像素的RAW数据，距离测量单元22计算深度值d，深度值d是从距离测量模块11到在测量目标像素中的对象的距离信息，以及深度值d的置信度cnf，并将深度值d和置信度cnf提供给滤波单元26。计算深度值d及其置信度cnf的方法如上所述。

环境光计算单元23计算包括在从光接收单元21提供的测量目标像素的RAW数据中的环境光分量，并将该环境光分量提供给环境光归一化单元24。

图8示出由一个像素获得的RAW数据(检测信号)的配置。

RAW数据包括有源分量acv、环境光分量amb和暗电流分量drk。有源分量acv是从发光源12发射、被对象反射并返回的照射光的光分量。环境光分量amb是诸如太阳光的环境光的光分量。暗电流分量drk是由在光接收单元21中生成的暗电流生成的噪声分量，而与光接收无关。

图9示出在距离测量传感器14测量不同距离D1和D2的情况下，检测信号A_i和B_i(i＝0、90、180、270中的任意一个)中的有源分量acv、环境光分量amb和暗电流分量drk的比例。

这里，环境光分量amb可以由以下公式(7)获得。

[数学表达式4]

暗电流分量drk是例如通过在光接收单元21被屏蔽的状态下获取检测信号A和B而预先获取的固定值。

公式(7)是在4相位方法中获得环境光分量amb的公式。然而，即使在2相位方法中，也可以通过省略尚未测量的检测信号A_i和B_i，并将分数的分母改为4，类似地计算环境光分量amb。

回到图7，环境光归一化单元24通过使用像素数和曝光时间对从环境光计算单元23提供的测量目标像素的环境光分量amb进行归一化。

具体地，环境光归一化单元24通过使用公式(8)对从环境光计算单元23提供的测量目标像素的环境光分量amb进行归一化，以计算已经归一化的环境光分量amb_norm。

[数学表达式5]

在公式(8)中，∑amb表示像素阵列单元32的所有像素的环境光分量amb的和，pix_n表示像素阵列单元32的像素数。此外，base_exp_time表示作为初始值的预先设置的基本曝光时间，current_exp_time表示从发光控制单元13提供的测量目标像素的当前曝光时间。

此外，环境光归一化单元24可以从距离测量单元22获取测量目标像素的深度值d，并通过使用像素数、曝光时间和深度值来归一化环境光分量amb。在这种情况下，通过以下公式(9)来计算已经归一化的环境光分量amb_norm。

[数学表达式6]

通过将环境光分量amb归一化，基于像素数、曝光时间、距离等的单独调整变得不必要。环境光归一化单元24向室外信息计算单元25提供已经计算的环境光分量amb_norm，其中环境光分量amb_norm已经被归一化。

室外信息计算单元25基于已经归一化的环境光分量amb_norm，以及已经从环境光归一化单元24提供的环境光分量amb_norm，计算关于由距离测量模块11测量的当前环境是否在室外的室外信息，并将室外信息提供给滤波单元26。室外信息可以是在室外的概率(在下文中被称为室外概率)，或者可以是指示室外或室内的二进制值。在室外信息用二进制值表示的情况下，只需要通过使用50％作为阈值执行室外判断。在本实施例中，将给出假设室外信息计算单元25计算并输出室外概率作为室外信息的描述。

例如，室外信息计算单元25通过以下公式(10)计算测量目标像素的室外概率α(0≤α≤1)。

α＝a×amb_norm+b………(10)

在公式(10)中的a和b是预先确定的预定常数。

基于作为从室外信息计算单元25提供的室外信息的室外概率α，滤波单元26对来自距离测量单元22的距离测量结果执行最佳滤波处理。

具体地，对于测量目标像素，如果从室外信息计算单元25提供作为室外信息的室外概率α，并且从距离测量单元22提供深度值d和置信度cnf，则滤波单元26通过以下公式(11)计算已经滤波的深度值d'和置信度cnf'。

d’＝α·f₁(d)+(1-α)·f₂(d)

cnf’＝α·g₁(cnf)+(1-α)·g₂(cnf)………(11)

这里，f₁()表示以深度值d作为输入的室外滤波器的参数集，f₂()表示以深度值d作为输入的室内滤波器的参数集。g₁()表示以置信度cnf作为输入的室外滤波器的参数集，g₂()表示以置信度cnf作为输入的室内滤波器的参数集。室外滤波器或室内滤波器是通过调整任何滤波器(诸如用于降噪的滤波器或用于锐化室外或室内使用的对象的边界部分的滤波器)而获得的滤波器。在室外信息是指示室外或室内的二进制值的情况下，α为1或0。因此，要么选择室外滤波器，要么选择室内滤波器。

滤波单元26将已经滤波的深度值d'和置信度cnf'作为测量目标像素的深度值和置信度输出到距离测量模块11的外部。

注意，滤波单元26可以生成其中存储深度值d'或置信度cnf'作为像素阵列单元32的每个像素31的像素值的映射数据，并将该映射数据输出到后续阶段。在这种情况下，生成并输出其中将深度值d'存储为像素阵列单元32的每个像素31的像素值的深度映射和其中将置信度cnf'存储为像素阵列单元32的每个像素31的像素值的置信度映射。

<4.深度值计算处理>

将参考图10的流程图来描述由距离测量模块11执行的深度值计算处理。例如，当从发光控制单元13向发光源12和距离测量传感器14提供发光控制信号时，开始该处理。

首先，在步骤S1中，光接收单元21基于来自发光控制单元13的发光控制信号接收反射光。具体地，光接收单元21通过以时分方式改变相位来接收反射光，使得像素阵列单元32的每个像素31的光接收定时相对于照射光的照射定时分别在0°、90°、180°和270°的相位中。通过将相位顺序地设置为0°、90°、180°和270°而获得的每个像素的检测信号A₀至A₂₇₀和检测信号B₀至B₂₇₀作为RAW数据被提供给发光控制单元13、距离测量单元22和环境光计算单元23。

在步骤S2中，距离测量单元22顺序地将像素阵列单元32的各个像素31设置为测量目标像素，基于从光接收单元21提供的测量目标像素的RAW数据，计算测量目标像素的深度值d和置信度cnf，并将深度值d和置信度cnf提供给滤波单元26。深度值d可以由公式(1)计算，置信度cnf可以由公式(6)计算。

在步骤S3中，环境光计算单元23计算包括在从光接收单元21提供的测量目标像素的RAW数据中的环境光分量amb，并将环境光分量amb提供给环境光归一化单元24。环境光分量amb可以由以下公式(7)获得。

在步骤S4中，环境光归一化单元24通过使用像素数和曝光时间对从环境光计算单元23提供的测量目标像素的环境光分量amb进行归一化。例如，环境光归一化单元24通过公式(8)计算归一化的环境光分量amb_norm，并将已经归一化的环境光分量amb_norm提供给室外信息计算单元25。注意，如上所述，也可以通过公式(9)计算已经归一化的环境光分量amb_norm。

在步骤S5中，室外信息计算单元25基于已经归一化的环境光分量amb_norm，以及已经从环境光归一化单元24提供的环境光分量amb_norm，计算关于由距离测量模块11测量的当前环境是否在室外的室外信息，并将室外信息提供给滤波单元26。例如，室外信息计算单元25通过上述公式(10)计算测量目标像素的室外概率α。

在步骤S6中，滤波单元26根据作为从室外信息计算单元25提供的室外信息的室外概率α，对来自距离测量单元22的距离测量结果执行最佳滤波处理。具体地，相对于来自距离测量单元22的测量目标像素的深度值d和置信度cnf，滤波单元26通过使用公式(11)计算已经滤波的深度值d'和置信度cnf'。已经滤波的深度值d'和置信度cnf'作为测量目标像素的深度值和置信度被输出到距离测量模块11的外部。

通过顺序地将像素阵列单元32的各个像素31设置为测量目标像素，对像素阵列单元32的所有像素31执行步骤S2至S6的处理。

在步骤S7中，发光控制单元13基于从光接收单元21提供的RAW数据来设置下一个曝光时间。步骤S7的处理可以与步骤S2至S6并行执行。

因此，完成了由距离测量模块11执行的深度值计算处理。

在上述深度值计算处理中，从在像素阵列单元32的每个像素31中获得的检测信号计算到对象的距离信息(深度值d、置信度cnf)和室外信息两者，并执行在距离信息中反映室外信息(室外概率)的处理。然而，除了距离信息之外，已经计算的室外信息也可以输出到外部。

此外，距离测量传感器14还可以执行仅输出距离信息和室外信息中的一个的操作。

具体地，距离测量传感器14包括作为操作模式的，用于计算距离信息和室外信息两者的第一操作模式、用于计算距离信息而不计算室外信息并仅输出距离信息的第二操作模式和用于仅计算室外信息而不计算距离信息的第三操作模式，并且根据由设置屏幕或设置控制信号指定的操作模式执行处理。

在第一操作模式中，距离测量传感器14执行图10所示的深度值计算处理。

在第二操作模式中，距离测量传感器14使由图11中的实线指示的光接收单元21、距离测量单元22和滤波单元26操作，计算距离信息而不计算室外信息，并且仅输出距离信息。滤波单元26执行例如预先确定的预定滤波处理。

在第三操作模式中，距离测量传感器14使由图12中的实线指示的光接收单元21、环境光计算单元23、环境光归一化单元24和室外信息计算单元25操作，并计算室外信息而不计算距离信息。在这种情况下，距离测量传感器14作为室外判断传感器操作。与使用接收RGB光的一般RGB传感器的室外判断传感器相比，由于可以使像素阵列单元32的分辨率更低，所以可以抑制驱动功率，并且能够以更低的功耗实现室外判断。

如上所述，根据距离测量传感器14和距离测量模块11，可以单独由距离测量传感器执行距离信息的计算和室外判断。由于可以单独由距离测量传感器14和距离测量模块11执行距离信息的计算和室外判断，因此可以减小功耗和安装体积。由于距离测量传感器14接收不能由RGB相机成像的红外光，因此能够以比由RGB相机成像更高的精度检测太阳的存在。

<5.第二实施例>

图13示出距离测量模块的第二实施例的框图。

在图13中，与在第一实施例中的图7相对应的部分用相同的附图标记表示，并且将适当地省略其描述。

图13的第二实施例与图7所示的第一实施例类似地配置。除了新设置了被摄体区域检测单元81，并且环境光计算单元23被改变为环境光计算单元82之外。

像素阵列单元32的每个像素31的深度值d和置信度cnf从距离测量单元22提供给被摄体区域检测单元81。

被摄体区域检测单元81生成置信度映射，其中置信度cnf被存储为像素阵列单元32的每个像素31的像素值。然后，被摄体区域检测单元81基于已经生成的置信度映射，检测被摄体区域，该被摄体区域是在像素阵列单元32的整个像素区域(在下文中也被称为光接收区域)中包括被摄体(对象)的区域，并且将已经检测到的被摄体区域作为指示感兴趣区域(即，在光接收区域中的要聚焦的区域)的感兴趣区域(ROI)信息提供给环境光计算单元82。

注意，被摄体区域检测单元81还可以生成其中深度值d被存储为像素阵列单元32的每个像素31的像素值的深度映射，并且还通过使用深度映射来检测被摄体区域。还通过使用距离信息，可以更准确地检测被摄体区域。或者，可以通过仅使用深度映射而不使用置信度映射来检测被摄体区域。

环境光计算单元82执行关于在光接收区域中由从被摄体区域检测单元81提供的ROI信息指示的感兴趣区域与第一实施例中类似的处理。即，环境光计算单元82针对感兴趣区域中的每个像素31计算包括在RAW数据中的环境光分量amb，并将环境光分量amb提供给环境光归一化单元24。

此外，环境光计算单元82还可以从距离测量传感器14等的外部接收指示感兴趣区域的ROI信息。在提供ROI信息的情况下，环境光计算单元82计算在光接收区域中由ROI信息指示的感兴趣区域的RAW数据中包括的环境光分量amb，并将环境光分量amb提供给环境光归一化单元24。

图14是用于说明环境光计算单元82的处理的示图。

图14的A示出其中存储了从距离测量单元22提供的每个像素31的置信度cnf的置信度映射的示例。注意，由于置信度映射实际上是灰度图像，所以图14的A是置信度映射的概念图。

例如，指示图14的B的区域91的区域信息作为ROI信息提供给图14的A中所示的置信度映射。在指示区域91的区域信息是由被摄体区域检测单元81检测到的被摄体区域的情况下，区域91可以根据被摄体的运动动态地改变。或者，在指示区域91的区域信息是从外部提供的ROI信息的情况下，除非更新ROI信息，否则区域91被固定。

环境光计算单元82在置信度映射的整个区域中计算在区域91中的所有像素的环境光分量amb。或者，环境光计算单元82可以仅针对在区域91中的预定采样像素92计算环境光分量amb。在这种情况下，采样像素92由参数等预先确定。

如上所述，环境光计算单元82获取指示在光接收区域的整个区域中的感兴趣区域的一部分的ROI信息，计算感兴趣区域的环境光分量amb，并将环境光分量amb提供给环境光归一化单元24。

图13中的环境光归一化单元24和室外信息计算单元25关于感兴趣区域执行与第一实施例类似的处理。即，环境光归一化单元24对感兴趣区域中的每个像素31的环境光分量amb进行归一化，并将已经归一化的环境光分量amb_norm提供给室外信息计算单元25。室外信息计算单元25计算感兴趣区域中的每个像素31的室外信息，并将室外信息提供给滤波单元26。

滤波单元26关于感兴趣区域执行与第一实施例类似的处理。即，滤波单元26基于在感兴趣区域中的每个像素31的室外信息，对来自距离测量单元22的距离测量结果执行最佳滤波处理。注意，关于在光接收区域的整个区域中除了感兴趣区域之外的区域，可以原样使用来自距离测量单元22的值，或者可以执行根据感兴趣区域的滤波处理的处理，例如，对感兴趣区域的各个像素执行的滤波处理的平均滤波处理等。

由于第二实施例中的深度值计算处理与参考图10描述的第一实施例中的深度值计算处理基本类似，将省略其详细描述。在第二实施例中的深度值计算处理中，在图10中的步骤S2与S3之间，增加了由被摄体区域检测单元81执行的被摄体区域检测处理或由环境光计算单元82从外部获取ROI信息的处理。然后，在步骤S4至S6中，针对在感兴趣区域中的像素31来计算环境光分量amb，对已经计算的环境光分量amb进行归一化，并且计算室外信息。该处理的其余部分与参考图10描述的第一实施例的深度值计算处理类似。

<6.第三实施例>

图15是距离测量模块的第三实施例的框图。

在图15中，对应于图13所示的第二实施例中的部分由相同的附图标记表示，并将适当地省略其描述。

在图15的第三实施例中，除了距离测量模块11之外，还设置有成像传感器101。成像传感器101是接收RGB波长的光并生成被摄体的图像(RGB图像)的图像传感器。图15中的距离测量模块11和成像传感器101构成距离测量系统(成像系统)。

成像传感器101包括光接收单元111和信号处理单元112，信号处理单元112包括去马赛克处理单元121、ROI确定单元122和滤波单元123。

图15所示的距离测量模块11与图13所示的第二实施例的距离测量模块11的不同之处在于其中省略了被摄体区域检测单元81。由成像传感器101的ROI确定单元122生成的ROI信息被提供给环境光计算单元82。此外，由室外信息计算单元25生成的室外信息被提供给滤波单元26，并且还被提供给成像传感器101的滤波单元123。第三实施例的距离测量模块11的另一部分与上述第二实施例的类似。

光接收单元111包括像素阵列单元，在该像素阵列单元中，在其上以拜耳阵列等布置的红(R)、绿(G)或蓝(B)颜色填充的各个像素被二维地布置，并且将通过对由每个像素接收的R、G或B波长的光进行光电转换而获得的信号作为成像信号提供给去马赛克处理单元121。

去马赛克处理单元121通过使用从光接收单元111提供的R信号、G信号和B信号的任何一个像素信号的像素信号执行颜色信息插值处理等，针对每个像素生成包括R信号、G信号和B信号的像素信号的图像信号，并将图像信号提供给ROI确定单元122和滤波单元123。

ROI确定单元122执行感兴趣区域确定处理，用于确定从去马赛克处理单元121提供的图像信号上的感兴趣区域。除了处理目标图像不是灰度图像而是RGB图像之外，ROI确定单元122执行与被摄体区域检测单元81类似的处理。不用说，ROI确定单元122可以通过与被摄体区域检测单元81不同的处理来确定感兴趣区域。ROI确定单元122将指示作为感兴趣区域确定处理的结果而获得的感兴趣区域的ROI信息提供给距离测量传感器14的滤波单元123和环境光计算单元82。

从去马赛克处理单元121提供图像信号，并且从ROI确定单元122向滤波单元123提供ROI信息。此外，还从距离测量传感器14的室外信息计算单元25向滤波单元123提供室外信息。

滤波单元123基于感兴趣区域的室外信息，对来自去马赛克处理单元121的图像信号中的感兴趣区域的图像信号执行最佳滤波处理。注意，由光接收单元111捕获的图像中除了感兴趣区域之外的区域可以原样保留，或者可以执行根据感兴趣区域的滤波处理的处理，例如，对感兴趣区域的各个像素执行的滤波处理的平均滤波处理等。

滤波单元123将通过对至少感兴趣区域应用预定滤波处理而获得的滤波图像信号输出到外部。

由于距离测量模块11的深度值计算处理类似于上述第二实施例的深度值计算处理，因此将省略其描述。

如上所述，根据第三实施例，距离测量模块11可以基于由接收RGB光并生成捕获的图像的成像传感器101检测到的ROI信息来计算环境光分量amb，并输出深度值d'和置信度cnf'。此外，由于成像传感器101的滤波单元123基于室外信息对RGB图像信号执行适当的滤波处理，例如，可以根据场景等优化地控制色调和边缘的调整。

图1中的距离测量模块11可以应用于例如安装在车辆上并测量到车辆外部的目标的距离的车内系统。此外，例如，图1中的距离测量模块11可以应用于手势识别系统等，该手势识别系统测量到诸如用户的手的目标的距离，并基于测量结果识别用户的手势。

<7.电子设备的配置示例>

上述距离测量模块11可以安装在例如智能手机、平板终端、移动电话、个人计算机、游戏控制台、电视接收机、可穿戴终端、数字静态相机或数字摄像机的电子设备上。

图16是示出作为其上安装有距离测量模块的电子设备的智能手机的配置示例的框图。

如图16所示，智能手机201通过经由总线211连接距离测量模块202、成像装置203、显示器204、扬声器205、麦克风206、通信模块207、传感器单元208、触摸面板209和控制单元210而构成。此外，通过CPU的程序的执行允许控制单元210具有作为应用处理单元221和操作系统处理单元222的功能。

图1中的距离测量模块11应用于距离测量模块202。例如，距离测量模块202布置在智能手机201的前表面上，并对智能手机201的用户执行距离测量，从而可以输出用户的面部、手、手指等的表面形状的深度值作为距离测量结果。

成像装置203布置在智能手机201的前表面上，并以智能手机201的用户作为被摄体执行成像，以获取用户的图像。注意，尽管未示出，但可以采用其中成像装置203也可以设置在智能手机201的后表面上的配置。

显示器204显示用于执行由应用处理单元221和操作系统处理单元222进行的处理的操作屏幕、由成像装置203捕获的图像等。例如，当通过使用智能手机201进行呼叫时，扬声器205和麦克风206输出对方的声音并收集用户的声音。

通信模块207经由通信网络执行通信。传感器单元208感测速度、加速度、接近度等，并且触摸面板209获取用户在显示器204上显示的操作屏幕上的触摸操作。

应用处理单元221执行用于由智能手机201提供各种服务的处理。例如，应用处理单元221可以执行通过基于从距离测量模块202提供的深度虚拟再现用户的表情的计算机图形来创建面部并在显示器204上显示面部的处理。此外，应用处理单元221可以例如基于从距离测量模块202提供的深度来执行创建任意立体对象的三维形状数据的处理。

操作系统处理单元222执行用于实现智能手机201的基本功能和操作的处理。例如，操作系统处理单元222可以基于从距离测量模块202提供的深度值来执行认证用户的面部和解锁智能手机201的处理。此外，基于从距离测量模块202提供的深度值，操作系统处理单元222可以执行例如识别用户的手势的处理和根据手势输入各种操作的处理。

在如上所述配置的智能手机201中，例如，通过应用如上所述的距离测量模块11，可以同时执行距离测量信息的计算和室外判断。因此，智能手机201可以更准确地检测距离测量信息。

<8.计算机的配置示例>

接下来，可以通过硬件执行上述一系列处理，也可以通过软件执行上述一系列处理。在通过软件执行该系列处理的情况下，在通用计算机等上安装配置该软件的程序。

图17是示出其中安装了用于执行上述一系列处理的程序的计算机的实施例的配置示例的框图。

在计算机中，中央处理单元(CPU)301、只读存储器(ROM)302、随机存取存储器(RAM)303以及电子可擦除和可编程只读存储器(EEPROM)304通过总线305相互连接。此外，输入/输出接口306连接到总线305，并且输入/输出接口306连接到外部。

在如上所述配置的计算机中，例如，CPU 301经由总线305将存储在ROM 302和EEPROM 304中的程序加载到RAM 303中，并执行该程序，并且因此执行上述的一系列处理。此外，由计算机(CPU 301)执行的程序可以预先写入ROM 302中，经由输入/输出接口306从外部安装到EEPROM 304中，或者更新。

因此，CPU 301执行根据上述流程图的处理或通过上述框图的配置执行的处理。然后，CPU 301可以例如根据需要经由输入/输出接口306向外部输出处理结果。

在本说明书中，计算机根据程序执行的处理不一定必须以流程图所描述的顺序在时间序列中执行。也就是说，计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或通过对象进行的处理)。

此外，程序可以由一台计算机(处理器)处理，或者可以由多台计算机进行分布式处理。此外，程序可以被传送到远程计算机并被执行。

<9.移动对象的应用示例>

根据本公开的技术(本技术)可以应用于各种产品。例如，根据本公开的技术可以实现为安装在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动车辆、飞机、无人机、船舶或机器人的任何类型的移动对象上的装置。

图18是示出车辆控制系统的示意性配置示例的框图，该车辆控制系统是可以应用根据本公开的技术的移动对象控制系统的示例。

车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图18所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、音频图像输出单元12052和车载网络接口(I/F)12053。

驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于生成诸如内燃机或驱动马达的车辆的驱动力的驱动力生成装置的控制装置、用于将驱动力传递到车轮的驱动力传递机构、调节车辆的转向角的转向机构和生成车辆的制动力的制动装置。

车身系统控制单元12020根据各种程序控制设置在车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、后照灯、制动灯、闪光灯或雾灯的各种灯的控制装置。在这种情况下，可以向车身系统控制单元12020输入从代替钥匙的便携式机器发送的无线电波或各种开关的信号。车身系统控制单元12020接收这些无线电波或信号的输入，并控制车辆的门锁装置、电动车窗装置、灯等。

车外信息检测单元12030检测安装了车辆控制系统12000的车辆外部的信息。例如，成像单元12031连接到车外信息检测单元12030。车外信息检测单元12030使成像单元12031捕获车辆外部的图像，并接收捕获的图像。车外信息检测单元12030可以基于接收的图像执行检测诸如人、车、障碍物、标志、路面上的字符等的对象的处理或距离检测处理。

成像单元12031是接收光并根据光的光接收量输出电信号的光学传感器。成像单元12031可以输出电信号作为图像，或者可以输出电信号作为距离测量的信息。此外，由成像单元12031接收的光可以是可见光或不可见光，诸如红外光。

车内信息检测单元12040检测车辆内部的信息。例如，检测驾驶员的状况的驾驶员状况检测器12041连接到车内信息检测单元12040。例如，驾驶员状况检测器12041包括捕获驾驶员的图像的相机，并且车内信息检测单元12040可以基于从驾驶员状况检测器12041输入的检测信息来计算驾驶员的疲劳程度或集中程度，或者可以判断驾驶员是否没有打瞌睡。

微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆内外的信息，对驱动力生成装置、转向机构或制动装置的控制目标值进行算术运算，并且可以向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行协调控制，以实现高级驾驶员辅助系统(ADAS)的功能为目的，包括车辆的碰撞避免或减震、基于车辆间距离的跟随行驶、保持车辆速度的行驶、车辆碰撞警告、车辆车道偏离警告等。

此外，微型计算机12051通过基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆外围信息来控制驱动力生成装置、转向机构、制动装置等，可以执行不依赖于驾驶员的操作而自主行驶的旨在自动驾驶等的协调控制。

此外，微型计算机12051可以基于由车外信息检测单元12030获取的车辆外部信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以根据由车外信息检测单元12030检测到的前车或迎面车的位置，通过控制前照灯来执行诸如从远光灯切换到近光灯的针对防眩光的协调控制。

音频图像输出单元12052将音频或图像中的至少一个的输出信号发送到能够从视觉或听觉上向乘客或车辆外部通知信息的输出装置。在图18的示例中，作为输出装置的示例，示出了音频扬声器12061、显示单元12062和仪表板12063。例如，显示单元12062可以包括车载显示器或平视显示器中的至少一个。

图19是示出成像单元12031的安装位置的示例的示图。

在图19中，车辆12100包括作为成像单元12031的成像单元12101、12102、12103、12104、12105。

例如，成像单元12101、12102、12103、12104、12105设置在诸如车辆12100的车厢的前鼻、侧镜、后保险杠、后门和挡风玻璃的上部的位置处。设置在前鼻上的成像单元12101和设置在车厢内部的挡风玻璃的上部上的成像单元12105主要获取车辆12100前方的图像。设置在侧镜上的成像单元12102、12103主要获取车辆12100的横向侧上的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后面的图像。由成像单元12101、12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、交通车道等。

注意，图19示出了成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻上的成像单元12101的成像范围，成像范围12112、12113指示分别设置在侧镜上的成像单元12102、12103的成像范围，成像范围12114指示设置在后保险杠或后门上的成像单元12104的成像范围。例如，通过重叠由成像单元12101至12104捕获的多条图像数据，可以获得从上方观看的车辆12100的鸟瞰视图。

成像单元12101至12104中的至少一个可以具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者具有用于相位差检测的像素的成像元件。

例如，微型计算机12051可以特别地提取车辆12100的行驶道路上最近的立体对象，该立体对象以预定速度(例如，0km/h或更多)在与车辆12100基本相同的方向上作为前车行驶，通过基于从成像单元12101至12104获得的距离信息来确定到成像范围12111至12114中的每个立体对象的距离和距离的时间变化(相对于车辆12100的相对速度)。此外，微型计算机12051可以设置在前车后方要确保的车间距离，并且可以执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。如上所述，可以执行不依赖于驾驶员的操作而自主行驶的旨在自动驾驶等的协调控制。

例如，基于从成像单元12101至12104获得的距离信息，微型计算机12051可以将与立体对象有关的立体对象数据分类为两轮车辆、普通车辆、大型车辆、行人、电线杆和其他立体对象，并提取它们，以便能够使用它们来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可见的障碍物和车辆12100的驾驶员几乎不可见的障碍物。然后，微型计算机12051判断指示与每个障碍物的碰撞的危险程度的碰撞危险，并且在存在碰撞危险等于或大于设置值的碰撞的可能性的情况下，微型计算机12051可以通过音频扬声器12061或显示单元12062向驾驶员输出警报或通过驱动系统控制单元12010执行强制减速或避免转向来执行用于碰撞避免的驾驶支持。

成像单元12101至12104中的至少一个可以是检测红外光的红外相机。例如，微型计算机12051可以通过判断在由成像单元12101至12104捕获的图像中是否存在行人来识别行人。例如，根据用于提取由成像单元12101至12104作为红外相机捕获的图像中的特征点的过程，以及用于对指示对象的轮廓的一系列特征点执行模式匹配处理以判断对象是否为行人的过程来执行这种行人识别。如果微型计算机12051判断在成像单元12101至12104的捕获的图像中存在行人并识别出行人，则音频图像输出单元12052使显示单元12062显示用于强调的正方形轮廓，以便与识别出的行人重叠。此外，音频图像输出单元12052可以使显示单元12062显示指示在期望的位置处的行人的图标等。

上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以应用于上述配置中的车外信息检测单元12030和车内信息检测单元12040。具体地，通过使用作为车外信息检测单元12030和车内信息检测单元12040的距离测量模块11的距离测量，可以执行识别驾驶员的手势的处理，根据手势执行各种操作(例如，音频系统、导航系统和空调系统)，并更准确地检测驾驶员的状况。此外，通过距离测量模块11进行的距离测量可用于识别路面的不平整度，并允许不平整度反映在悬架的控制中。

注意，本技术可以应用于用于对投射到对象上的光进行振幅调制的方法，该方法被称为间接ToF方法中的连续波方法。此外，光接收单元21的光电二极管51的结构可以应用于具有将电荷分配到两个电荷存储单元的结构的距离测量传感器，例如具有电流辅助光子解调器(CAPD)结构的距离测量传感器或将光电二极管的电荷的脉冲交替施加到两个栅极的栅极型距离测量传感器。此外，本技术可应用于结构光方法的距离测量传感器。

本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围的情况下进行各种修改。

只要不存在矛盾，就可以独立地实现在本说明书中描述的多个本技术中的每一个。不用说，可以组合实现多种任意的本技术。例如，在任何实施例中描述的本技术的部分或全部可以与在另一实施例中描述的本技术的部分或全部结合来实现。此外，上述任意本技术的部分或全部可以与上述未描述的另一技术结合来实现。

此外，例如，可以将描述为一个装置(或处理单元)的配置划分为多个装置(或处理单元)并将其配置为多个装置(或处理单元)。相反，前面描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外，不言而喻，可以将除上述那些之外的配置添加到每个装置(或每个处理单元)的配置中。此外，如果整个系统的配置和操作基本上相同，则特定装置(或处理单元)的配置的一部分可以包括在另一装置(或另一处理单元)的配置中。

此外，在本说明书中，系统意味着多个构成部分(装置、模块(组件)等)的集合，并且所有构成部分是否在相同的情况下并不重要。因此，容纳在单独的壳体中并经由网络连接的多个装置中的每一个，以及其中容纳在一个壳体中的多个模块的一个装置是系统。

此外，例如，可以在任意装置中执行上述程序。在这种情况下，装置具有必要的功能(功能块等)并能够获得必要的信息就足够了。

请注意，本技术可以如下配置。

(1)

距离测量传感器，包括

距离测量单元，根据由光接收单元获得的信号计算到对象的距离信息，光接收单元接收通过对象反射从预定发光源发射的照射光而获得的反射光，

环境光计算单元，计算包括在由光接收单元获得的信号中的环境光分量，以及

室外信息计算单元，基于环境光分量计算室外信息。

(2)

根据(1)所述的距离测量传感器，还包括

归一化单元，对由环境光计算单元计算的环境光分量进行归一化，

其中室外信息计算单元基于已经归一化的环境光分量来估计室外信息。

(3)

根据(2)所述的距离测量传感器，

其中归一化单元通过使用曝光时间和像素数来归一化环境光分量。

(4)

根据(2)所述的距离测量传感器，

其中归一化单元通过使用曝光时间、像素数和距离信息来归一化环境光分量。

(5)

根据(1)至(4)中任一项所述的距离测量传感器，

其中环境光计算单元通过从光接收单元获得的信号中减去暗电流分量来计算环境光分量。

(6)

根据(1)至(5)中任一项所述的距离测量传感器，

其中通过使用由光接收单元获得的信号来计算距离信息和室外信息两者。

(7)

根据(1)至(6)中任一项所述的距离测量传感器，其中作为操作模式，提供了

计算距离信息和室外信息的第一操作模式，

计算距离信息而不计算室外信息的第二操作模式，或者

计算室外信息而不计算距离信息的第三操作模式。

(8)

根据(1)至(7)中任一项所述的距离测量传感器，

其中环境光计算单元计算作为光接收单元的光接收区域的一部分的感兴趣区域的环境光分量。

(9)

根据(8)所述的距离测量传感器，

其中环境光计算单元获取指示感兴趣区域的区域信息，并计算感兴趣区域的环境光分量。

(10)

根据(9)所述的距离测量传感器，

其中环境光计算单元获取指示感兴趣区域的区域信息，区域信息已经由生成通过接收RGB光而获得的捕获的图像的成像传感器检测，并且计算感兴趣区域的环境光分量。

(11)

根据(8)所述的距离测量传感器，

其中除了距离信息之外，距离测量单元还计算置信度信息，

距离测量传感器还包括区域检测单元，区域检测单元通过使用距离信息或置信度信息中的至少一个来检测感兴趣区域，并且

环境光计算单元计算感兴趣区域的环境光分量。

(12)

根据(1)至(11)中任一项所述的距离测量传感器，还包括

滤波单元，对距离信息执行预定滤波处理，

滤波单元基于室外信息执行预定滤波处理。

(13)

根据(1)至(12)中任一项所述的距离测量传感器，还包括

控制单元，基于由光接收单元获得的信号来控制曝光时间。

(14)

根据(1)至(13)中任一项所述的距离测量传感器，

其中室外信息计算单元计算室外信息表示室外还是室内作为室外信息。

(15)

根据(1)至(13)中任一项所述的距离测量传感器，

其中室外信息计算单元计算在室外的概率作为室外信息。

(16)

信号处理方法，包括

通过使用距离测量传感器，根据由光接收单元获得的信号计算到对象的距离信息，光接收单元接收通过对象反射从预定发光源发射的照射光而获得的反射光；

通过使用距离测量传感器，计算包括在由光接收单元获得的信号中的环境光分量；以及

通过使用距离测量传感器，基于环境光分量计算室外信息。

(17)

距离测量模块，包括

预定发光源，以及

距离测量传感器，

距离测量传感器包括

距离测量单元，根据由光接收单元获得的信号计算到对象的距离信息，光接收单元接收通过对象反射从预定发光源发射的照射光而获得的反射光，

环境光计算单元，计算包括在由光接收单元获得的信号中的环境光分量，以及

室外信息计算单元，基于环境光分量计算室外信息。

参考标记列表

11 距离测量模块

12 发光源

13 发光控制单元

14 距离测量传感器

21 光接收单元

22 距离测量单元

23 环境光计算单元

24 环境光归一化单元

25 室外信息计算单元

26 滤波单元

81 被摄体区域检测单元

82 环境光计算单元

91 区域

101 成像传感器

111 光接收单元

112 信号处理单元

121 去马赛克处理单元

122 ROI确定单元

123 滤波单元

201 智能手机

202 距离测量模块

301 CPU

302 ROM

303 RAM