阅读说明：本技术 信息处理装置和方法 (Information processing apparatus and method ) 是由 高桥宏彰 冲山纪光 笠原广之 于 2018-05-24 设计创作，主要内容包括：本公开内容涉及信息处理装置和方法,其使得可以在不需要帧存储器的情况下获得更大量的信息。对用于将图案图像投影到对象上的点光源或线光源进行扫描,并且在扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取,从而投影该图案图像。例如,本公开内容适用于信息处理装置、图像处理装置、图像投影装置、控制装置、图像投影系统、图像处理方法和程序。(The present disclosure relates to an information processing apparatus and method that make it possible to obtain a larger amount of information without requiring a frame memory. A point light source or a line light source for projecting a pattern image onto a subject is scanned, and exposure for capturing an image of the subject and reading by line scanning are performed a plurality of times during a single period of scanning, thereby projecting the pattern image. For example, the present disclosure is applicable to an information processing apparatus, an image projection apparatus, a control apparatus, an image projection system, an image processing method, and a program.)

信息处理装置和方法

技术领域

本公开内容涉及信息处理装置和方法，并且具体地涉及被配置成使得可以在不需要帧存储器的情况下获得更多信息的信息处理装置和方法。

背景技术

通常，作为距离测量技术，已存在下述称为结构光的方法，该方法将预定图案图像投影在对象上，并且捕获在其上投影了图案图像的对象的图像，以通过例如三角测量来获得到对象的距离。

在这种结构光中，通常已知通过平面方法对整个平面进行投影的投影方法。然而，在通过平面方法执行投影的情况下，被配置成在模拟/数字(A/D)转换之前都保持整个图像捕获平面的像素值的帧存储器有必要针对单投影多次执行图像捕获。

作为响应，考虑了下述方法：(通过行扫描方法)逐行地彼此同步地执行投影和图像捕获(参见例如非专利文献1)。

引用列表

非专利文献

非专利文献1：Matthew O’Toole,Supreeth Achar,Srinivasa G.Narasimhan,Kiriakos N.Kutulakos,"Homogeneous Codes for Energy-Efficient Illumination andImaging,”ACM SIGGRAPH,2015.http://www.dgp.toronto.edu/～motoole/energyefficientimaging.html

发明内容

本发明要解决的问题

然而，在非专利文献1中描述的方法的情况下，对于单投影仅执行一次图像捕获，并且难以获得更多信息。

鉴于这种情况做出了本公开内容，并且本公开内容旨在在不需要帧存储器的情况下获得更多信息。

问题的解决方案

本技术的一个方面的信息处理装置是包括控制单元的信息处理装置，该控制单元被配置成：控制投影单元执行被配置成将图案图像投影在对象上的点光源或线光源的扫描，并且控制图像捕获单元在作为图案图像的投影的扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取。

本技术的一个方面的信息处理方法是包括下述的信息处理方法：执行被配置成将图案图像投影在对象上的点光源或线光源的扫描，以及在作为图案图像的投影的扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取。

本技术的另一方面的信息处理装置是包括控制单元的信息处理装置，该控制单元被配置成使多个图像处理装置中的每一个在与其他相邻的图像处理装置的方向不同的方向上执行作为图案图像的投影的扫描以及作为对对象的图像捕获的行扫描，所述图像处理装置被配置成执行被配置成将图案图像投影在对象上的点光源或线光源的扫描并且在作为图案图像的投影的扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取。

本技术的另一方面的信息处理方法是包括下述的信息处理方法：使多个图像处理装置中的每一个在与其他相邻的图像处理装置的方向不同的方向上执行作为图案图像的投影的扫描以及作为对对象的图像捕获的行扫描，所述图像处理装置被配置成执行被配置成将图案图像投影在对象上的点光源或线光源的扫描并且在作为图案图像的投影的扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取。

在本技术的一个方面的信息处理装置和方法中，执行被配置成将图案图像投影在对象上的点光源或线光源的扫描，并且在作为图案图像的投影的扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取。

在本技术的另一方面的信息处理装置和方法中，对于多个图像处理装置中的每一个，在与其他相邻的图像处理装置的方向不同的方向上执行作为图案图像的投影的扫描以及作为对对象的图像捕获的行扫描，所述图像处理装置被配置成执行被配置成将图案图像投影在对象上的点光源或线光源的扫描并且在作为图案图像的投影的扫描的单个周期期间多次执行用于捕获对象的图像的曝光和通过行扫描的读取。

本发明的效果

根据本公开内容，可以处理信息。具体地，可以在不需要帧存储器的情况下获得更多信息。

附图说明

图1示出了用于描述投影和图像捕获中的状态的示例的图表。

图2示出了图像处理装置的主要配置示例的框图。

图3示出了用于描述投影和图像捕获中的状态的示例的图表。

图4示出了用于描述用于投影和图像捕获的波长带的示例的视图。

图5示出了用于描述图像捕获单元的滤色器的示例的视图。

图6示出了用于描述图像捕获中的状态的示例的图表。

图7示出了用于描述信号处理中的状态的示例的视图。

图8示出了用于描述图案图像的示例的视图。

图9示出了用于描述图案图像的示例的视图。

图10示出了用于描述移动体检测方法的示例的图表。

图11示出了用于描述移动体检测方法的示例的视图。

图12示出了用于描述图像处理的流程的示例的流程图。

图13示出了图像处理装置的主要配置示例的框图。

图14示出了用于描述投影和图像捕获中的状态的示例的图表。

图15示出了用于描述投影和图像捕获中的状态的示例的图表。

图16示出了用于描述投影和图像捕获中的状态的示例的图表。

图17示出了用于描述投影和图像捕获中的状态的示例的图表。

图18示出了用于描述图像处理的流程的示例的流程图。

图19示出了图像处理装置的主要配置示例的框图。

图20示出了用于描述投影和图像捕获中的状态的示例的图表。

图21示出了用于描述投影和图像捕获中的状态的示例的图表。

图22示出了用于描述图像处理的流程的示例的流程图。

图23示出了图像处理装置的主要配置示例的框图。

图24示出了用于描述投影和图像捕获中的状态的示例的图表。

图25示出了用于描述图像处理的流程的示例的流程图。

图26示出了图像处理装置的主要配置示例的框图。

图27示出了用于描述投影和图像捕获中的状态的示例的图表。

图28示出了用于描述图像处理的流程的示例的流程图。

图29示出了图像处理系统的主要配置示例的框图。

图30示出了用于描述投影和图像捕获中的状态的示例的图表。

图31示出了用于描述投影和图像捕获中的状态的示例的图表。

图32示出了用于描述图像处理的流程的示例的流程图。

图33是计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的模式(在下文中称为“实施方式”)。请注意，将按以下顺序进行描述：

1.距离测量技术；

2.第一实施方式(图像处理装置/投影单扫描图像捕获单扫描)；

3.第二实施方式(图像处理装置/投影单扫描图像捕获多扫描)；

4.第三实施方式(图像处理装置/投影多扫描图像捕获多扫描)；

5.第四实施方式(图像处理装置/投影多扫描图像捕获多扫描)；

6.第五实施方式(图像处理装置/投影单扫描图像捕获多装置)；

7.第六实施方式(图像处理系统)；以及

8.其他。

<1.距离测量技术>

<通常的距离测量技术>

从很久以前开始就在计算机视觉领域中研究了各种距离测量技术。作为最常用的技术，已经知道利用类似于人眼的两个相机之间的视差并且被称为被动立体的三角测量技术。在被动立体中，视差估计的准确性与深度估计的准确性直接相关。对于平坦部分或者重复图案没有获得准确对应，并且没有获得视差。因此，存在距离测量精度降低的问题。

近年来，利用照射光来解决这种问题的主动距离测量技术吸引了人们的关注。例如，作为主要的主动距离测量技术，已经知道主动立体、飞行时间(TOF)和结构光。

主动立体和结构光二者都是使用三角测量的主动立体距离测量技术。通常，主动立体包括两个相机和单个投影仪，而结构光包括单个相机和单个投影仪。

在三角测量中，根据两个视点之间的视差获得距离。在被动立体中，通过例如块匹配来获得两个视点之间的对应关系，并且以这种方式，获得视差。在结构光中，经常使用空间编码方法，该空间编码方法使用被称为格雷码(gray code)的图案图像。也就是说，从投影仪投影图案图像，并且由相机捕获该投影的图案图像。以这种方式，基于图案图像来获得投影仪与相机之间的像素位置关系，并且基于该像素位置关系，通过三角测量来测量到在其上投影了图案图像的对象的距离。使用包括多个图案图像的格雷码，可以容易地从图案变化获得预定方向(例如，水平方向)上的像素位置关系。

同时，最近已经考虑将这种距离测量结果与捕获的图像结合使用。例如，已经考虑到捕获对象的图像，通过上述结构光来测量到对象的距离(距离测量)，并且将这样的距离测量结果(即到对象的距离)作为深度信息与捕获的图像数据结合使用。例如，可以使用捕获的图像和深度信息的组合来设置对象在捕获的图像上的深度，并且因此可以执行例如捕获图像的三维空间形成(虚拟空间的形成)、立体图像的生成(根据深度形成视差)以及根据深度的图像处理(例如，当对象被定位得更远时，对象更加散焦或者变暗)。这种捕获图像和深度信息的组合可以用于各种目的，例如游戏、模拟等。

例如，当如上所述的用于获得深度信息的图像捕获(用于感测目的的图像捕获)和用于获得捕获图像(亮度和颜色信息)的图像捕获(用于成像目的的图像捕获)由不同的相机执行时，两个图像捕获位置彼此不同，因此，需要相机之间的匹配(位置调整)。因此，存在处理负荷增加和成本增加的可能性。当由同一相机执行如上所述的用于感测目的的图像捕获和用于成像目的的图像捕获时，不仅可以抑制处理负荷的增加，而且可以减少设备(相机)的数目。这可以抑制成本的增加。此外，在相机之间的匹配精度低的情况下，纹理在三维上偏移，但是可以容易地避免该问题。此外，在不同视点的情况下，原则上产生以下问题：由于遮挡对象而产生仅能从一个视点测量的区域(遮挡)，并且不能获得对应关系。然而，这个问题也可以被抑制。

同时，例如，作为用于由投影仪投影图像的方法，存在用于一次投影整个图像(平面)的平面方法、用于逐行投影图像的行扫描方法、用于逐像素地扫描光点的光栅扫描方法等。例如，被配置成通过平面方法投影图像的投影仪可以包括使用液晶显示器(LCD)的投影仪。此外，被配置成通过行扫描方法或光栅扫描方法投影图像的投影仪可以包括例如使用激光的投影仪。

此外，例如，作为用于由相机捕获图像的方法，存在用于一次读取所有像素(整个平面)的像素值的平面方法以及用于逐行读取像素值的行扫描方法。例如，在电荷耦合器件(CCD)图像传感器或全局快门互补金属氧化物半导体(CMOS)图像传感器的情况下，通过平面方法捕获图像。此外，在例如卷帘快门CMOS图像传感器的情况下，通过行扫描方法捕获图像。

例如，通过平面方法进行投影以及通过平面方法进行图像捕获的状态的示例在图1中示出。在通过平面方法投影的情况下，如图1中的最上面的行所示，投影仪在投影时间段11-1和投影时间段11-2中投影用于感测目的的预定图像(图案图像)。

此外，如图1中从上方数的第二行所示，相机针对投影时间段11-1在曝光时间段12-1和曝光时间段13-1中执行周期性曝光，并且针对投影时间段11-2在曝光时间段12-2和曝光时间段13-2中执行周期性曝光。

读取在曝光时间段12-1中获得的像素值，并且以这种方式，获得在投影时间段11-1中在其上投影了图案图像的对象的捕获图像。此外，读取在曝光时间段13-1中获得的像素值，并且以这种方式，获得在环境光下未在其上投影图案图像的对象的捕获图像。类似地，读取在曝光时间段12-2中获得的像素值，并且以这种方式，获得在投影时间段11-2中在其上投影了图案图像的对象的捕获图像。此外，读取在曝光时间段13-2中获得的像素值，并且以这种方式，获得在环境光下未在其上投影图案图像的对象的捕获图像。

在通用的廉价的图像传感器的情况下，像素值A/D转换仅可以逐行地进行，如图1中从上方数的第三行和第四行所示。即，在曝光时间段12-1中获得的像素值如在行扫描14-1中那样逐行地进行A/D转换，在曝光时间段13-1中获得的像素值如在行扫描15-1中那样逐行地进行A/D转换，并且在曝光时间段12-2中获得的像素值如在行扫描14-2中那样逐行地进行A/D转换。类似地，在曝光时间段13-2中获得的像素值也逐行地进行A/D转换(未示出)。

也就是说，在图1的情况下，至少在执行行扫描14-1时，在曝光时间段12-1中获得的像素值需要被保持在除像素之外的其他位置处，并且至少在执行行扫描14-2时，在曝光时间段12-2中获得的像素值需要被保持在除像素之外的其他位置处。也就是说，需要被配置成至少保持单个帧的像素值的帧存储器。因此，普通的卷帘快门CMOS图像传感器难以实现这种处理，并且需要CCD图像传感器或全局快门CMOS图像传感器。结果，存在成本增加的可能性。

注意，在通过用于通过平面方法投影的行扫描方法执行图像捕获的情况下，当曝光时间段与投影时间段相比较短时，这样的曝光时间段是在图像投影时间段结束之后，因此，存在以下可能性：导致在投影图案图像时不能进行图像捕获的行。

因此，如例如非专利文献1中所述，可以构想通过行扫描方法执行投影和图像捕获的方法。然而，在非专利文献1中描述的方法的情况下，对于单投影仅执行一次图像捕获，并且难以获得更多信息。

<2.第一实施方式>

<将通过多行扫描的图像捕获与通过单行扫描的投影同步>

因此，执行被配置成将图案图像投影在对象上的点光源或线光源的扫描，并且在作为图案图像投影的单个扫描周期期间，用于捕获对象的图像的曝光和通过行扫描的读取被多次执行。利用这种配置，可以在不需要帧存储器的情况下获得更多信息。因此，可以抑制成本增加，同时可以以更低的成本获得更多信息。注意，作为附加说明，当通过平面方法的投影持续用于图像捕获的行扫描时间段时，投影的功耗不必要地增加，但是通过由如上所述的点光源或线光源的扫描执行的投影可以抑制这种功耗的增加。

<图像处理装置>

图2是作为应用本技术的信息处理装置的一个实施方式的图像处理装置的主要配置示例的框图。在图1中，图像处理装置100是被配置成执行关于到对象的距离的测量(距离测量)的处理的装置。例如，图像处理装置100捕获对象的图像，通过上述结构光来测量(距离测量)到对象的距离，并且输出这样的距离测量结果(即，到对象的距离)作为与捕获的图像数据进行组合的深度信息。

如图2所示，图像处理装置100具有控制单元101、投影单元111、图像捕获单元112和信号处理单元113。控制单元101包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。CPU执行例如存储在ROM中的程序等或者加载在RAM中的程序等，从而可以执行可选类型的处理。例如，控制单元101执行关于图像处理装置100的每个单元(投影单元111至信号处理单元113)的控制的处理。

投影单元111由控制单元101控制，并且执行关于图像投影的处理。例如，投影单元111投影作为用于感测目的的图像捕获并且具有预定图片的图像的图案图像。

投影单元111例如通过每个像素的光栅扫描或者用于逐行地执行图像投影的行扫描来投影图像。例如，投影单元111利用激光执行扫描以逐行地投影图像。替选地，投影单元111可以例如借助于相控阵列执行作为投影的扫描，以借助于来自多个激光源的光束之间的干涉来增加对期望行的照射。替选地，例如，可以准备与行数对应的若干图案图像，所述图案图像针对单行显示不同图片并且不显示其他行图片(例如，使其他行图片变黑)，并且投影单元111可以通过用于一次投影整个图像(平面)的平面方法一个接一个地投影该组图案图像。例如，可以使用垂直腔表面发射激光器(VCSEL)来实现这种投影。在下文中，将通过示例的方式描述光栅扫描的投影，但是本技术的投影方法不限于如上所述的光栅扫描。

图像捕获单元112由控制单元101控制，并且执行关于图像捕获的处理。例如，图像捕获单元112执行用于感测目的的图像捕获(用于获得深度信息的图像捕获)以及用于成像的目的图像捕获(用于获得捕获图像(亮度和颜色信息)的图像捕获)。图像捕获单元112具有例如光接收单元121和模拟数字转换器(AD转换器(ADC))122。光接收单元121具有多个像素，并且在每个像素处，对来自外部的入射光进行光电转换，并且累积与入射光的量对应的电荷量。光接收单元121将与每个像素的电荷量对应的电信号作为像素值提供给AD转换器122。AD转换器122对从光接收单元121提供的每个像素的像素值(电信号)进行A/D转换，并且将结果作为数字数据提供给信号处理单元113。

例如，图像捕获单元112(光接收单元121)通过行扫描捕获对象的图像，以逐行地执行图像捕获。例如，光接收单元121包括比全局快门CMOS图像传感器更廉价的卷帘快门CMOS图像传感器。光接收单元121不具有帧存储器，并且逐行(一行一行)地读取与在像素阵列的每个像素处累积的电荷对应的电信号作为像素值，并且将电信号顺序地提供给AD转换器122。

AD转换器122对从光接收单元121(逐行地)提供的每个像素的像素值(电信号)逐行地进行A/D转换。AD转换器122可以包括例如被配置成对每行的读取的像素值逐像素地进行A/D转换的单输入单输出AD转换器，或者可以包括针对光接收单元121的像素阵列的每列设置的AD转换器(列A/D)。在这种情况(列A/D的情况)下，AD转换器122可以对每行的读取的像素值同时进行A/D转换。AD转换器122将经A/D转换的像素值作为数字数据逐行地提供给信号处理单元113。

信号处理单元113包括例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等。CPU执行例如存储在ROM中的程序等或者加载在RAM中的程序等，从而可以执行可选类型的处理。例如，信号处理单元113由控制单元101控制，并且执行关于从图像捕获单元112(AD转换器122)提供的像素值(数字数据)的处理的处理。例如，信号处理单元113基于从图像捕获单元112提供的数字数据来生成深度信息，并且生成捕获的图像数据以获取亮度和颜色信息。信号处理单元113将信号处理结果(例如，生成的深度信息、生成的捕获图像数据等)输出到图像处理装置100的外部。

注意，信号处理单元113可以根据需要将诸如信号处理结果和用于信号处理的信息的可选类型的信息提供给控制单元101。控制单元101可以基于从信号处理单元113提供的信息来执行对每个处理单元的控制。

<投影和图像捕获的控制>

控制单元101控制投影单元111通过光栅扫描方法投影对象的图像，并且控制图像捕获单元112在图像投影的单个周期期间通过行扫描方法多次捕获对象的图像。

图3中示出了这种投影和这种图像捕获中的状态的示例。控制单元101控制每个处理单元，使得如图3所示地执行投影和图像捕获。即，如图3中最上面的行所示，控制单元101如在光栅扫描131-1和光栅扫描131-2中那样，使单个投影单元111通过光栅扫描将具有预定图片的图案图像投影在对象上。

然后，控制单元101使被配置成逐行读取像素值的单个图像捕获单元112在投影的单个周期期间通过行扫描方法多次(例如，两次)捕获对象的图像。例如，在作为图案图像投影的光栅扫描的单个周期期间，控制单元101使图像捕获单元112执行作为用于成像的图像捕获的曝光和读取以及作为用于感测的图像捕获的曝光和读取。

更具体地，如图3中从上方数的第二行和第三行所示，控制单元101使图像捕获单元112在上述用于投影的光栅扫描期间执行作为用于成像目的图像捕获的曝光(例如，曝光时间段133-1和曝光时间段133-2)和读取(例如，行扫描135-1)以及作为用于感测目的的图像捕获的曝光(例如，曝光时间段132-1和曝光时间段132-2)和读取(例如，行扫描134-1和行扫描134-2)。

此时，在获得在其上投影了图案图像的对象的捕获图像(感测结果)的定时处执行作为用于感测目的的图像捕获的读取(例如，行扫描134-1或行扫描134-2)。也就是说，控制单元101控制投影和图像捕获，使得在用于感测目的的曝光时间段(例如，曝光时间段132-1或曝光时间段132-2)期间执行用于投影的光栅扫描(例如，光栅扫描131-1或光栅扫描131-2)。控制单元101执行如上所述的控制，使得图像捕获单元112可以通过光栅扫描捕获针对每行投影的图案图像，而不会不必要地增加曝光时间段。因此，图像捕获单元112可以减少对用于感测目的的图像捕获的其他类型的影响(例如环境光)，并且可以获得更准确的深度信息。

注意，作为用于感测目的的图像捕获的曝光(例如，曝光时间段132-1或者曝光时间段132-2)中的用于每行的曝光时间段可以包括光栅扫描131-1的对应行，并且可以尽可能地缩短到这种程度。也就是说，行扫描134-1或行扫描134-2的定时可以尽可能地接近光栅扫描131-1或光栅扫描131-2的定时。随着该曝光时间段变短，图像捕获单元112可以更多地减少对于用于感测目的的图像捕获的其他类型的影响(例如环境光)，并且可以获得更准确的深度信息。例如，用于作为用于感测目的的图像捕获的读取的扫描(例如，行扫描134-1或行扫描134-2)可以采用与作为投影的扫描(例如，光栅扫描131-1或光栅扫描131-2)的每行相同的行作为处理目标。

此外，控制单元101使作为用于感测目的的图像捕获的行扫描(例如，行扫描134-1或行扫描134-2)在不与作为用于成像目的的图像捕获的行扫描(例如，行扫描135-1)交叠的定时处执行。如上所述地进行控制，使得用于感测目的的图像捕获和用于成像目的的图像捕获二者都可以由通过行扫描方法执行图像捕获的单个图像捕获单元112来执行。

例如，控制单元101使图像捕获单元112重复行扫描以通过每个行扫描交替地执行作为用于成像目的的图像捕获的读取和作为用于感测目的的图像捕获的读取。然后，控制单元101使投影单元111在根据如上所述的用于作为用于感测目的的图像捕获的读取的行扫描的定时处执行作为图案图像投影的光栅扫描。如上所述地进行控制，使得控制单元101可以使图像捕获单元112在上述定时处执行作为用于感测的图像捕获的曝光和读取。也就是说，通过单个图像捕获单元112，可以执行用于感测目的的图像捕获和用于成像目的的图像捕获二者。注意，控制单元101执行控制，使得作为图像捕获的每个行扫描被连续执行，因此，可以更加缩短投影周期。也就是说，本技术适用于更高速的图像投影。

注意，作为用于成像目的的图像捕获的每行的曝光时间段可以选择性地被设置成这样的程度，使得这样的曝光时间段不与作为用于感测目的的图像捕获的这种行的曝光时间段交叠。例如，对于每行，作为用于成像目的的图像捕获的曝光可以在作为用于感测目的的图像捕获的先前读取已经结束之后立即开始(即，对于作为用于感测目的的图像捕获的先前曝光而言连续)。替选地，对于每行，作为用于成像目的的图像捕获的曝光可以在作为用于感测目的的图像捕获的先前读取已经结束之后的预定时间段开始(即，对于作为用于感测目的的图像捕获的先前曝光而言不连续)。在用于成像目的的图像捕获的情况下，随着曝光时间段的增加，通常可以获得更高质量的捕获图像。

如上所述，控制单元101控制用于投影和图像捕获的行扫描，使得可以针对用于投影的每个行扫描获得用于感测目的的信息和用于成像目的的信息。此外，投影和图像捕获二者都采用行扫描方法，因此，在不需要保持单帧或更多帧的像素值的情况下，不需要额外的帧存储器。也就是说，可以在不需要帧存储器的情况下获得更多信息。注意，帧存储器不是必需的，因此可以抑制成本增加。

<用于投影和图像捕获的波长带>

注意，要由投影单元111投影的图案图像的波长带是可选的。此外，用于由图像捕获单元112进行图像捕获的波长带也是可选的。这种投影和这种图像捕获可以以单色执行，或者可以以多种颜色执行。

例如，如图4的A的左侧所示，投影单元111可以用红外光(IR)投影图案图像。如图4的A的右侧所示，图像捕获单元112可以用红外光(IR)、红光(R)、绿光(G)和蓝光(B)执行图像捕获。

替选地，如图4的B的左侧所示，投影单元111可以例如用红外光(IR)投影图案图像。如图4的B的右侧所示，图像捕获单元112可以用红外光(IR)执行图像捕获。

替选地，如图4的C的左侧所示，投影单元111可以例如用绿光(G)投影图案图像。如图4的C的右侧所示，图像捕获单元112可以用红光(R)、绿光(G)和蓝光(B)执行图像捕获。

替选地，如图4的D的左侧所示，投影单元111可以例如用白光(W)(即，亮度值)投影图案图像。如图4的D的右侧所示，图像捕获单元112可以用红光(R)、绿光(G)和蓝光(B)执行图像捕获。

替选地，如图4的E的左侧所示，投影单元111可以例如用红光(R)、绿光(G)和蓝光(B)中的每个颜色投影图案图像。如图4的E的右侧所示，图像捕获单元112可以用红光(R)、绿光(G)和蓝光(B)执行图像捕获。

替选地，用于这种投影和这种图像捕获的波长带可以是可变的。例如，可以根据例如对象和环境光自适应地设置用于投影和图像捕获的波长带。

<滤色器>

此外，图像捕获单元112(光接收单元121)的每个像素的滤色器的阵列是可选的。例如，如图5的A所示，允许透射红外光(IR)的滤光器、允许透射红光(R)的滤光器、允许透射绿光(G)的滤光器以及允许透射蓝光(B)的滤光器可以以阵列形式设置在图像捕获单元112(光接收单元121)的像素处，优先考虑用于成像目的的图像捕获中的分辨率。

替选地，例如，如图5的B所示，允许透射红外光(IR)的滤光器、允许透射红光(R)的滤光器、允许透射绿光(G)的滤光器以及允许透射蓝光(B)的滤光器可以以阵列形式设置在图像捕获单元112(光接收单元121)的像素处，优先考虑用于成像目的的图像捕获中的颜色再现。替选地，例如，如图5的C所示，允许透射红外光(IR)的滤光器、允许透射红光(R)的滤光器、允许透射绿光(G)的滤光器以及允许透射蓝光(B)的滤光器可以以阵列形式设置在图像捕获单元112(光接收单元121)的像素处，优先考虑用于感测目的的图像捕获。

此外，要由图像捕获单元112(光接收单元121)捕获(接收)的波长带可以在用于成像目的的图像捕获与用于感测目的的图像捕获之间切换。例如，如图6所示，控制单元101可以执行控制，以在用于成像目的的图像捕获中驱动图像捕获单元112(光接收单元121)中的接收红光(R)的像素、接收绿光(G)的像素和接收蓝光(B)的像素而停止驱动其他像素，并且在用于感测目的的图像捕获中驱动图像捕获单元112(光接收单元121)中的接收红外光的像素而停止驱动其他像素。利用该配置，图像捕获单元112(光接收单元121)可以用可变的波长带执行用于成像目的的图像捕获和用于感测目的的图像捕获。此外，控制单元101如上所述地控制图像捕获单元112(光接收单元121)的像素驱动，以仅驱动图像捕获所需的像素，因此，可以停止驱动图像捕获所不需要的像素。因此，可以抑制不必要功耗的增加。

<信号处理>

信号处理单元113的信号处理的内容是可选的。例如，信号处理单元113可以基于通过用于成像目的的图像捕获而获得的信息(例如，像素值)来生成对象的捕获图像。例如，对于通过由图像捕获单元112进行用于成像目的的图像捕获而获得的对象的RAW图像(像素值)，信号处理单元113可以执行去马赛克处理或重排马赛克处理，去马赛克处理是针对每个像素位置生成具有多个波长带的像素值以针对每个波长带生成捕获图像，重排马赛克处理是针对每个像素位置生成具有单个波长带的像素值以生成被配置成使得具有多个波长带的像素值被混合的单个捕获图像。

替选地，信号处理单元113可以基于通过用于感测目的的图像捕获而获得的信息(例如，像素值)来生成例如指示到对象的距离(对象的深度)的深度信息。信号处理单元113可以基于由图像捕获单元112通过用于感测目的的图像捕获而获得的由投影单元111在其上投影了预定图案图像的对象的RAW图像(像素值)、或者以对RAW图像执行诸如去马赛克处理或者重排马赛克处理的预定图像处理的方式获得的感测结果，通过例如三角测量来获得对象的深度。

请注意，这些类型的处理的顺序是可选的。例如，如图7的A所示，信号处理单元113可以根据RAW图像(被配置成使得红色分量、绿色分量、蓝色分量和红外分量被混合的RGBIR图像)计算深度信息，生成被配置成使得红色分量、绿色分量、蓝色分量和深度信息被混合的RGBD图像，并且对RGBD图像执行去马赛克处理以生成深度信息、包括红色分量的R图像、包括绿色分量的G图像和包括蓝色分量的B图像。

替选地，如图7的B所示，信号处理单元113可以例如根据RGBIR图像计算深度信息以生成RGBD图像，对RGBD图像执行重排马赛克处理以生成被配置成使得红色分量、绿色分量和蓝色分量以拜耳(Bayer)阵列排列的RGB图像以及深度信息，对RGB图像执行去马赛克处理以生成R图像、G图像和B图像，并且通过对深度信息的相关处理进一步执行上采样。

替选地，如图7的C所示，信号处理单元113可以例如对RGBIR图像执行去马赛克处理，以生成包括红外分量的IR图像、R图像、G图像和B图像，并且根据IR图像计算深度信息。

<图案图像>

注意，要由投影单元111投影以用于感测目的的图像捕获的图案图像可以是任何图像。例如，控制单元101可以使投影单元111投影单个预定图案图像。例如，如图8的A所示，可以采用被配置成使得白色或黑色图案嵌入在方格旗设计的格点中的图案图像。该图案图像是被配置成使得方格旗设计指示聚焦的图案位置(格点)并且被配置成使得可以通过嵌入在格点中的图案(白色或黑色)来识别像素位置的图案图像。

替选地，控制单元101可以使投影单元111顺序地投影多个预定图案图像。例如，控制单元101可以使投影单元111投影包括多个图案图像的格雷码，如图8的B所示。格雷码是被配置成使得可以通过每个图案图像的白色-黑色组合来识别像素位置的图案图像。

替选地，控制单元101可以使例如投影单元111顺序地投影一对具有相同设计并且经历白色-黑色反转(负正反转)的两个图案图像，如图8的C所示。可以通过经历了负正反转的这两个图案图像来识别像素位置。因此，与使用格雷码的情况相比，可以以更高的速度获得深度信息。也就是说，可以改进深度信息的时间分辨率。注意，通过投影这种负正反转的图案图像以执行距离测量，可以减小对象的纹理(例如，设计)对图案图像的影响。也就是说，可以更准确地获得深度信息。

替选地，控制单元101可以使例如投影单元111顺序地执行投影，同时根据像素位置正弦地改变亮度值的图案的相位被改变(相移)，如图8的D所示。例如，在使用正弦波的情况下，可以通过三个图像来识别像素位置。因此，与使用格雷码的情况相比，可以以更高的速度获得深度信息。也就是说，可以改进深度信息的时间分辨率。

注意，在投影多个图案图像的情况下，这些图案图像中的每个图案图像的设计尺寸可以不同。例如，控制单元101可以使投影单元111顺序地投影一对根据像素位置正弦地改变亮度值并且在正弦波周期上彼此不同的两个图案图像，如图9的A所示。通过这两个图案图像可以更准确地识别像素位置。也就是说，可以改进深度信息的空间分辨率。

替选地，在投影多个图案图像的情况下，这些图案图像中的每个图案图像的图片(设计)可以完全不同。例如，控制单元101可以使投影单元111顺序地投影一对在图片(设计)上彼此完全不同的两个图案图像，如图9的B所示。使用这两个图案图像，可以通过多种方法识别像素位置。因此，可以更准确地识别像素位置。也就是说，可以改进深度信息的空间分辨率。

替选地，在投影多个图案图像的情况下，这些图案图像的图片(设计)的位置可以彼此偏移。例如，控制单元101可以使投影单元111顺序地投影一对根据像素位置正弦地改变亮度值并且在正弦波相位上彼此不同的两个图案图像，如图9的C所示。通过这两个图案图像可以更准确地识别像素位置。也就是说，可以改进深度信息的空间分辨率。

替选地，在投影多个图案图像的情况下，投影单元111的光源的强度在投影每个图案图像时可以变化。例如，如图9的D所示，投影单元111可以投影其中光源的光强度在第一投影中减小的图案图像(图9的D的左侧)，并且可以投影其中光源的光强度在第二投影中增加的图案图像(图9的D的右侧)。

当图案图像的亮度值太大时，存在通过用于感测目的的图像捕获而获得的像素值饱和的可能性。另一方面，当图案图像的亮度值太小时，存在通过用于感测目的的图像捕获而获得的像素值太小并且图案被错误地确定的可能性。因此，在图案图像投影时光源的光强度是可变的，使得通过用于感测目的的图像捕获而获得的像素值可以被控制到适当的水平，并且可以更准确地获得深度信息。

例如，在对象在深度方向上的位置靠近图像捕获单元112的情况下，图案图像的更多投影光在对象上被反射，并且容易到达图像捕获单元112。因此，在近对象的情况下，通过用于感测目的的图像捕获而获得的像素值容易饱和。相反，在对象在深度方向上的位置远离图像捕获单元112的情况下，图案图像的更少投影光在对象上被反射，并且这种光不太容易到达图像捕获单元112。也就是说，在远对象的情况下，通过用于感测目的的图像捕获而获得的像素值趋于小，并且容易发生图案的错误确定。

由于这些原因，可以使用在光源的光强度增加的情况下投影的图案图像来获得远对象的深度，并且可以使用在光源的光强度减少的情况下投影的图案图像来获得近对象的深度。换言之，如上所述，图案图像是在光源的光强度改变的情况下投影的，因此，可测量距离的区域可以是可变的。也就是说，该配置可以更准确地在更宽的区域中对对象进行距离测量。

具体地，在借助于图案的亮度值(模拟值)进行距离测量的图案图像的情况下，像素值容易饱和。因此，如上所述，光源的光强度是可变的，从而可以更准确地执行距离测量。

此外，图案图像的投影和图像捕获易受环境光(外部光)的影响。因此，根据例如周边亮度，可以控制在投影图案图像时光源的光强度。利用这种配置，增加了对环境光(外部光)的抵抗力，并且可以更准确地执行距离测量。

注意，为了使可测量距离的区域更宽，在投影图案图像时的扫描同步定时可以是可变的。作为制造误差的结果，存在根据对象距离使最佳扫描定时偏移的可能性。可以根据焦点位置(深度)来设置扫描同步定时的偏移值。利用这种配置，可以更准确地执行距离测量。

此外，为了减小由于通过不同路径从对象接收光而导致的对图案确定的影响(由于多径而导致的影响)，可以执行将具有不同相位的高频图像作为图案图像来进行投影的距离测量。

<移动体确定>

在照射多个图案图像的情况下，距离测量需要时间。因此，在对象包括移动体的情况下，存在不能准确地执行距离测量的可能性。因此，可以确定哪个对象是移动体，从而可以从距离测量目标中排除这样的(移动)对象。

在投影具有不同设计的多个图案图像的情况下，即，当图案的内容已经改变时，难以通过将这些捕获图像进行比较来执行移动体确定。例如，在如图10的示例中那样投影经历了负正反转的图案图像的情况下，即使在将这些捕获图像彼此进行比较时，也不能区分负正差异和移动体差异。因此，无法准确地执行移动体确定。

为此，如图10所示，信号处理单元113可以基于环境光下的对象的图像(即，通过用于成像目的的图像捕获而获得的捕获图像)来执行移动体确定，并且基于这样的移动体确定结果，可以生成关于对象的深度信息。

替选地，如在图11中所示的示例中，可以例如顺序地投影在局部区域中具有相同图片的多个预定图案图像。也就是说，如上所述顺序投影的多个图案图像可以在局部区域中具有相同的图片。然后，信号处理单元113可以通过将捕获图像中的具有相同图片的局部区域进行比较来执行移动体确定，并且基于这样的移动体确定结果，可以生成关于对象的深度信息。

例如，在图11的示例的情况下，要投影的一对即两个图案图像是相同的，方格旗设计没有经历白色-黑色反转，并且仅布置在方格旗设计的格点处的白色或黑色图案经历了白色-黑色反转。顺序投影这些图案图像，并且执行用于感测目的的图像捕获。在这种情况下，由于采用相同的方格旗设计，因此信号处理单元113可以通过在这些捕获图像之间进行比较而在这种方格旗设计区域中执行移动体确定。

如上所述地使用移动体确定，使得信号处理单元113可以更准确地获得深度信息。

<图像处理的流程>

接下来，将参照图12的流程图描述由如上所述的图像处理装置100执行的图像处理的流程的示例。

当图像处理开始时，在步骤S101处，控制单元101控制图像捕获单元112以在不与其他行的用于感测的读取交叠的定时处通过行扫描读取来捕获环境光下的对象的图像。根据控制单元101的这种控制，图像捕获单元112执行作为用于成像目的的图像捕获的类似于行扫描的曝光和行扫描读取。

在步骤S102处，控制投影单元111以通过光栅扫描投影作为感测图像的图案图像。根据控制单元101的这种控制，投影单元111通过光栅扫描将预定图案图像投影在对象上。

在步骤S103处，控制单元101控制图像捕获单元112，以通过以行扫描方式设置的曝光时间段中的曝光和读取来捕获在其上投影了上述图案图像的对象的图像，这样的曝光时间段包括步骤S102的投影(的光栅扫描)。根据控制单元101的这种控制，图像捕获单元112执行作为用于感测目的的图像捕获的类似于行扫描的曝光和行扫描读取。注意，这种曝光是在曝光时间段中将图案图像投影到对象上的定时处执行的。此外，用于读取的行扫描是在不与用于作为用于成像目的的图像捕获的读取的行扫描交叠的定时处执行的。

在步骤S104处，控制单元101控制信号处理单元113，以根据在步骤S103处通过用于感测目的的图像捕获而获得的感测RAW图像生成深度信息。也就是说，根据控制单元101的这种控制，信号处理单元113根据以捕获在其上投影了图案图像的对象的图像的方式获得的像素值生成深度信息。

在步骤S105处，控制单元101控制信号处理单元113，以根据在步骤S102处通过用于成像目的的图像捕获而获得的成像RAW图像生成捕获图像。也就是说，根据控制单元101的这种控制，信号处理单元113执行例如去马赛克处理，以根据以捕获环境光下的对象的图像的方式获得的像素值生成捕获图像。

在步骤S106处，控制单元101控制信号处理单元113，以输出在步骤S104处生成的深度信息以及在步骤S105处生成的捕获图像，其中深度信息和捕获图像彼此链接。也就是说，根据控制单元101的这种控制，信号处理单元113输出彼此相关联的深度信息和捕获图像数据。注意，本文中描述的术语“关联”意味着例如当处理一个数据时，可以利用(链接)另一个数据。也就是说，彼此相关联的数据可以作为单个数据统一对待，或者可以作为单独的数据对待。例如，可以在与用于图像数据的传输路径不同的传输路径上传输与该图像数据相关联的信息。替选地，与该图像数据相关联的信息可以例如被存储在与用于该图像数据的记录介质不同的记录介质(或者同一记录介质中的不同记录区域)中。注意，这种“关联”可以不是针对整个数据，而是针对部分数据。例如，图像以及与这样的图像对应的信息可以在可选单位(例如多个帧、单个帧或者帧的一部分)中彼此相关联。

在步骤S107处，控制单元101确定是否要终止图像处理。在确定要继续距离测量并且不终止图像处理的情况下，处理返回到步骤S101，并且执行其后续处理。也就是说，控制单元101重复上述步骤S101至S107的处理，以再次投影新的图案图像或者同一图案图像，并且控制每个处理单元，以借助于这种投影图像执行距离测量。

如上所述，控制单元101根据需要重复执行步骤S101至S107的处理。然后，在步骤S107处，在确定要终止距离测量并且要终止图像处理的情况下，图像处理结束。

通过执行如上所述的图像处理，可以通过行扫描方法将图像投影在对象上，并且可以在这种图像投影的单个周期期间通过行扫描方法多次捕获对象的图像。因此，可以在不需要帧存储器的情况下获得更多信息。

<3.第二实施方式>

<单投影、单图像捕获、多行读取>

应用本技术的信息处理装置不限于第一实施方式中描述的示例。例如，控制单元101可以使被配置成并行读取多行的像素值的单个图像捕获单元捕获对象的图像。此时，控制单元101可以使单个投影单元111通过光栅扫描方法将图像投影在对象上。

利用这种配置，与第一实施方式的情况相比，可以更加缩短投影周期。也就是说，本技术适用于更高速的图像投影。

<图像处理装置>

图13是这种情况下的图像处理装置100的主要配置示例的框图。在图13所示的示例的情况下的图像处理装置100基本上具有与图2的情况下的图像处理装置100类似的配置，但是具有图像捕获单元212而不是图2的图像捕获单元112。

类似于图像捕获单元112，图像捕获单元212由控制单元101控制，并且执行关于图像捕获的处理。图像捕获单元212具有例如光接收单元221、AD转换器222-1和AD转换器222-2。在不必区别地描述AD转换器222-1和AD转换器222-2的情况下，这些转换器将被称为“AD转换器222”。

光接收单元221不具有帧存储器，并且每次两行地读取与在像素阵列的每个像素处累积的电荷对应的电信号作为像素值，并且将这种电信号逐行地提供给AD转换器222-1和AD转换器222-2。

AD转换器222-1和AD转换器222-2中的每一个是类似于AD转换器122的处理单元。AD转换器222-1和AD转换器222-2中的每一个对从光接收单元221提供的每个像素的像素值(电信号)逐行地进行A/D转换，并且将结果作为数字数据提供给信号处理单元113。

也就是说，图像捕获单元212可以每次两行地读取以光接收单元221接收光的方式获得的像素值(可以并行地针对两行执行像素值的读取)。除了可读行的数目增加到两行之外，光接收单元221是与光接收单元121类似的设备。

在这种情况下，信号处理单元113可以并行地处理从AD转换器222-1提供的像素值的数字数据以及从AD转换器222-2提供的像素值的数字数据。数字数据的处理基本上类似于第一实施方式的情况下的数字数据的处理。

<投影和图像捕获的控制>

这种情况下的投影和图像捕获中的状态的示例在图14中示出。控制单元101控制每个处理单元，使得如图14所示执行投影和图像捕获。即，如图14中的最上面的行所示，控制单元101使单个投影单元111通过光栅扫描(如光栅扫描231-1、光栅扫描231-2和光栅扫描231-3)将具有预定图片的图案图像投影在对象上。

然后，控制单元101使被配置成并行地读取多行的像素值的单个图像捕获单元212在投影的单个周期期间通过行扫描方法多次(例如，两次)捕获对象的图像。例如，控制单元101使图像捕获单元212在作为图案图像的投影的光栅扫描的单个周期期间执行作为用于成像目的的图像捕获的曝光和读取以及作为用于感测目的的图像捕获的曝光和读取。

更具体地，如从图14的上方数的第二行和第三行所示，控制单元101使图像捕获单元212在上述用于投影的光栅扫描期间执行作为用于成像目的的图像捕获的曝光(例如，曝光时间段233-1至曝光时间段233-4)和读取(例如，行扫描235-1至行扫描235-3)以及作为用于感测目的的图像捕获的曝光(例如，曝光时间段232-1至曝光时间段232-3)和读取(例如，行扫描234-1至行扫描234-3)。

此时，在获得了在其上投影了图案图像的对象的捕获图像(感测结果)的定时处执行作为用于感测目的的图像捕获的读取(例如，行扫描234-1至行扫描234-3)。也就是说，控制单元101控制投影和图像捕获，使得在用于感测目的的曝光时间段(例如，曝光时间段232-1至曝光时间段232-3)期间执行用于投影的光栅扫描(例如，光栅扫描231-1至光栅扫描231-3)。控制单元101执行如上所述的控制，使得图像捕获单元212可以通过光栅扫描捕获针对每行投影的图案图像，而不会不必要地增加曝光时间段。因此，图像捕获单元212可以减少对用于感测目的的图像捕获的其他类型的影响(例如环境光)，并且可以获得更准确的深度信息。

注意，作为用于感测目的的图像捕获的曝光(例如，曝光时间段232-1至曝光时间段232-3)中的每行的曝光时间段可以包括用于光栅扫描(例如，光栅扫描231-1至光栅扫描231-3)的对应行，并且可以尽可能地缩短到那个程度。也就是说，例如，行扫描234-1至行扫描234-3中的每一个的定时可以尽可能地接近光栅扫描231-1至光栅扫描231-3中的每一个的定时。随着该曝光时间段变短，图像捕获单元212可以更多地减少对用于感测目的的图像捕获的其他类型的影响(例如环境光)，并且可以获得更准确的深度信息。例如，用于作为用于感测目的的图像捕获的读取的扫描(例如，行扫描234-1至行扫描234-3)可以采用与用于作为投影的扫描(例如，光栅扫描231-1至光栅扫描231-3)的每行相同的行(line或row)作为处理目标。

此外，控制单元101使得在与作为用于成像目的的图像捕获的行扫描(例如，行扫描235-1至行扫描235-3)交叠的定时处执行作为用于感测目的的图像捕获的行扫描(例如，行扫描234-1至行扫描234-3)。如上所述地进行控制，使得用于感测目的的图像捕获和用于成像目的的图像捕获二者都可以由被配置成并行读取多行的像素值的单个图像捕获单元212执行。

例如，控制单元101使图像捕获单元212并行地执行对两行的扫描。然后，执行对两行之一的扫描作为用于成像目的的图像捕获的读取，并且执行对另一行的扫描作为用于感测目的的图像捕获的读取。然后，如上所述，控制单元101使投影单元111在根据用于作为用于感测目的的图像捕获的读取的行扫描的定时处执行作为图案图像的投影的光栅扫描。

如上所述地进行控制，使得控制单元101可以使图像捕获单元112在上述定时处执行作为用于感测目的的图像捕获的曝光和读取。也就是说，用于成像目的的图像捕获和用于感测目的的图像捕获二者都可以由被配置成并行地读取多行的像素值的单个图像捕获单元212执行。此外，作为用于成像目的的图像捕获的读取的行扫描和作为用于感测目的的图像捕获的读取的行扫描可以并行地执行，因此，与第一实施方式的情况相比，可以在更短的时间内执行用于成像目的的图像捕获和用于感测目的的图像捕获。也就是说，可以更加缩短投影时间段，并且本技术可以应用于更高速的图像投影。

注意，由图像捕获单元212并行地执行扫描的两行中的前一行的扫描被优选地执行为作为用于成像目的的图像捕获的读取的行扫描，另一行的扫描被优选地执行为作为用于感测目的的图像捕获的读取的行扫描，并且优选地缩窄这两行之间的间隔。利用这种配置，可以更加延长用于成像目的的图像捕获的曝光时间段，并且可以更加缩短用于感测目的的图像捕获的曝光时间段。同样如在第一实施方式中所述，用于成像目的的图像捕获的曝光时间段被更加延长，使得可以改进通过这种环境光下的图像捕获而获得的对象的图像的质量。此外，用于感测目的的图像捕获的曝光时间段更加缩短，从而可以减少诸如环境光的其他类型的影响，并且可以获得更准确的深度信息。此外，可以抑制用于保持像素值所需的存储器(行缓冲器)的容量的增加。

注意，可以以这样的方式实现类似的控制：对两行中的前一行的扫描被执行为作为用于感测目的的图像捕获的读取的行扫描，对于另一行的扫描被执行为作为用于成像目的的图像捕获的读取的行扫描，并且更加扩宽这两行之间的间隔。然而，在该方法的情况下，存在下述可能性：不仅控制变得更加复杂，而且用于保持像素值所需的存储器(行缓冲器)的容量也增加。

与第一实施方式的情况类似，作为用于成像目的的图像捕获的每行的曝光时间段和作为用于感测目的的图像捕获的每行的曝光时间段可以根据需要设置成使得这些时间段彼此不交叠的程度。曝光时间段可以连续到先前的曝光时间段，或者可以不连续到先前的曝光时间段。

在图像投影是平面方法的情况下，如图15的A所示，需要保持单帧或更多帧的图像，但是如上所述，投影单元111通过光栅扫描方法执行图像投影和图像捕获。因此，如图15的B所示，不需要保持单帧或更多帧的图像，并且只要存在行缓冲器就不需要帧存储器。例如，如上所述，用于感测目的的图像捕获的曝光时间段更加缩短，使得可以更多地减少需要保持的像素值的行数。例如，可以针对作为处理目标的相同行执行作为用于成像目的的图像捕获的读取的行扫描和作为用于感测目的的图像捕获的读取的行扫描，因此，可以仅存在被配置成保持单行的像素值的行缓冲器。

<用于成像目的的图像捕获的曝光时间段的划分>

注意，在上述图像捕获中，用于成像目的的图像捕获的曝光时间段可以被划分成多个时间段，并且可以进一步增加A/D转换器的数目以多次执行用于成像目的的图像捕获。也就是说，例如，如图16所示，控制单元101可以使图像捕获单元212多次执行作为用于成像目的的图像捕获的曝光和读取，并且在在曝光时间段内将图案图像投影在对象上并且用于读取的行扫描与至少作为用于成像的图像捕获的多次读取中的最后一次读取的行扫描交叠的定时处执行作为用于感测目的的图像捕获的曝光和像素值读取。

在图16的示例的情况下，与图14的示例相比，进行控制使得多次执行用于成像目的的图像捕获(类似于行扫描的曝光和通过行扫描进行的读取)。如上所述，用于成像目的的图像捕获的曝光时间段被划分成多个时间段，并且多次执行用于成像目的的图像捕获。因此，如图17所示，可以分离具有大的多径影响的图像和具有小的多径影响的图像。因此，信号处理单元113从这些多个图像中选择具有小的多径影响的图像，从而可以获得具有小的多径影响的捕获图像。这可以减少由于多径影响而导致的图像质量的劣化。

注意，用于选择具有最小多径影响的图像的方法是可选的。例如，信号处理单元113可以比较多个捕获图像中的2D图像上的相邻区域中的像素值的和、平均值等，以选择具有最小像素值的图像作为具有最小多径影响的图像。替选地，例如，信号处理单元113可以在去除了在多个捕获图像之间比较时具有与其他像素值大大偏离的异常值的像素值之后计算像素值的和、平均值等，以输出结果值作为具有减小的多径影响的图像。替选地，信号处理单元113可以借助于例如多个图像来估计具有最小多径影响的图像。

<图像处理的流程>

接下来，将参照图18的流程图描述在这种情况下由图像处理装置100执行的图像处理的流程的示例。

当图像处理开始时，在步骤S201处，控制单元101控制图像捕获单元212，以在与用于感测的行扫描读取交叠的定时处通过行扫描读取来捕获环境光下的对象的图像。根据控制单元101的这种控制，图像捕获单元212执行作为用于成像目的的图像捕获的类似于行扫描的曝光和行扫描读取。

在步骤S202处，控制单元101控制投影单元111，以通过光栅扫描投影作为感测图像的图案图像。根据控制单元101的这种控制，投影单元111通过光栅扫描将预定图案图像投影在对象上。

在步骤S203处，控制单元101控制图像捕获单元212，以通过以行扫描方式设置的曝光时间段(例如包括步骤S202的投影(的光栅扫描)的曝光时间段)中的曝光和读取来捕获在其上投影了上述图案图像的对象的图像。根据控制单元101的这种控制，图像捕获单元212执行作为用于感测目的的图像捕获的类似于行扫描的曝光和行扫描读取。注意，这种曝光是在曝光时间段中将图案图像投影到对象上的定时处进行的。此外，用于读取的行扫描是在与作为用于成像目的的图像捕获的读取的行扫描交叠的定时处执行的。

以与图12的步骤S104至S107的每种类型的处理类似的方式执行步骤S204至S207的每种类型的处理。

控制单元101根据需要重复执行步骤S201至S207的处理。然后，在步骤S207处，在确定要终止距离测量并且要终止图像处理的情况下，图像处理结束。

通过执行如上所述的图像处理，可以在不需要帧存储器的情况下获得更多信息。此外，与第一实施方式的情况相比，可以更有效地执行曝光，并且与第一实施方式的情况相比，本技术可应用于更高速的图像投影。

<4.第三实施方式>

<多投影、单图像捕获、多行读取>

此外，在第二实施方式中，控制单元101可以使多个投影单元通过光栅扫描将图像投影在对象上。利用这种配置，例如，可以执行多个距离测量。也就是说，与第一实施方式和第二实施方式的情况类似，可以在不需要帧存储器的情况下获得更多信息。

<图像处理装置>

图19是这种情况下的图像处理装置100的主要配置示例的框图。在图19所示的示例的情况下的图像处理装置100基本上具有与图13的情况下的图像处理装置100类似的配置，但是具有投影单元311-1和投影单元311-2而不是图13的投影单元111。在下文中，在不必区别地描述投影单元311-1和投影单元311-2的情况下，这些单元将被称为“投影单元311”。

投影单元311-1和投影单元311-2中的每一个是与投影单元111类似的处理单元，并且通过例如行扫描或光栅扫描逐行地投影图像。也就是说，在这种情况下，图像处理装置100可以并行地投影两行的图像。在下文中，将通过示例的方式描述光栅扫描的投影，但是如上所述，本技术的投影方法不限于光栅扫描。

<投影和图像捕获的控制>

在这种情况下的投影和图像捕获中的状态的示例在图20中示出。控制单元101控制每个处理单元，使得如图20所示地执行投影和图像捕获。即，如图20最上面的行和从上方数的第二行所示，控制单元101使两个投影单元311中的每一个如在光栅扫描331-1至光栅扫描331-3或者光栅扫描332-1至光栅扫描332-3中那样通过光栅扫描方法将具有预定图片的图案图像投影在对象上。

也就是说，如上所述，在这种情况下，两个投影单元311中的每一个根据控制单元101的控制，在与另一投影单元311的定时不同的定时处与另一投影单元311的光栅扫描并行地执行作为图案图像的投影的光栅扫描(在与另一投影单元311的光栅扫描交叠的定时处)。注意，要由每个投影单元311投影的图案图像的内容(例如，图片)在投影单元311之间可以不同或者相同。例如，可以使用这些投影单元311投影如第一实施方式中所述的多种类型的图案图像。

此外，对于由每个投影单元311进行的图案图像投影，控制单元101使图像捕获单元212在曝光时间段内将图案图像投影在对象上的定时处执行作为用于感测的图像捕获的曝光和读取。

也就是说，光接收单元221在包括投影单元311-1的光栅扫描(例如，光栅扫描331-1至光栅扫描331-3)的曝光时间段(例如，曝光时间段333-1至曝光时间段333-3)的结束定时处执行作为用于感测目的的图像捕获的用于读取像素值的行扫描(例如，行扫描335-1至行扫描335-3)。此外，光接收单元221在包括投影单元311-2的光栅扫描(光栅扫描332-1至光栅扫描332-3)的曝光时间段(曝光时间段334-1至曝光时间段334-3)的结束定时处执行作为用于感测目的的图像捕获的用于读取像素值的行扫描(例如，行扫描336-1至行扫描336-3)。

利用这种配置，如上所述，对于单投影，可以多次(例如，两次)执行用于感测目的的图像捕获。也就是说，与第一实施方式的情况类似，可以在不需要帧存储器的情况下获得更多信息。

<多行投影>

注意，上面已经描述了借助于多个投影单元311在交叠的定时处实现多个光栅扫描，但是这种光栅扫描实现方法是可选的。例如，可以使用被配置成同时扫描多行的投影单元来实现这种光栅扫描。

例如，可以用来自不同角度的多个激光照射微机电系统(MEMS)，使得用多个激光束照射不同位置，并且可以使用被配置成同时扫描这些激光束的投影单元来实现光栅扫描。替选地，使用例如相控阵，可以使用被配置成同时扫描多个激光束的投影单元来实现光栅扫描。替选地，例如，可以准备显示多行的图片并且不显示(例如，使其变黑)其他行的图片的图案图像，并且可以使用被配置成通过一次投影整个图像(平面)的平面方法来逐个投影该组图案图像的投影单元来实现光栅扫描。替选地，可以使用例如垂直腔表面发射激光器(VCSEL)来实现这种投影。

<图案图像>

注意，由投影单元111投影的用于感测目的的图像捕获的图案图像可以是如第一实施方式中所述的任何图像(图8、图9)。注意，在本实施方式的情况下，可以在单个投影单元311的单个周期内投影多个图案图像。因此，与第一实施方式的情况相比，可以以更高的速度执行距离测量。

<移动体确定>

此外，在本实施方式的情况下，也可以与第一实施方式的情况类似地执行移动体确定。注意，在本实施方式的情况下，不执行用于成像目的的图像捕获，因此，不能使用环境光下的对象的捕获图像来执行移动体确定(图10)。注意，在本实施方式的情况下，与第一实施方式的情况类似，也可以使用包括具有相同图片的局部区域的多个顺序投影的图案图像中的每一个的捕获图像来执行移动体确定(图11)。利用这种配置，可以在单个投影单元311的单个周期内投影多个图案图像。因此，与第一实施方式的情况相比，可以以更高的速度执行距离测量。

替选地，可以在周期之间将具有在每个投影周期中通过添加多个图案图像的捕获图像改进的信噪比(SNR)的合成图像进行相互比较，并且以这种方式，可以执行移动体确定。利用这种配置，可以更准确地执行移动体确定。

<覆盖区域划分>

注意，每个投影单元311投影的行在投影单元311之间可以是不同的。例如，如图21的A所示，投影单元311-1和投影单元311-2可以分别投影图案图像的不同区域的行，并且光接收单元221可以通过行扫描方法捕获每个区域的图像。利用这种配置，可以缩短整个单个画面的曝光时间。替选地，在区域划分时，扫描方向可以根据区域而变化，如图21的B所示。改变每个区域的扫描方向，使得投影定时可以在区域边界处对准并且可以保持画面上的距离测量信息的时间连续性。

<图像处理的流程>

接下来，将参照图22的流程图描述由如上所述的图像处理装置100执行的图像处理的流程的示例。

当图像处理开始时，在步骤S301处，控制单元101控制单个投影单元311(例如，投影单元311-1)，以通过第一光栅扫描投影作为第一感测图像的图案图像。根据控制单元101的这种控制，投影单元311-1通过光栅扫描投影这样的图案图像。

在步骤S302处，控制单元101控制图像捕获单元212，以通过以行扫描方式设置的曝光时间段中的用于曝光和读取的行扫描来捕获在其上投影了上述图案图像(第一感测图像)的对象的图像。根据控制单元101的这种控制，图像捕获单元212通过作为用于感测目的的图像捕获的行扫描方法捕获在其上投影了图案图像的对象的图像。

在步骤S303处，控制单元101控制单个投影单元311(例如，投影单元311-2)，以在与第一光栅扫描交叠的定时处通过第二光栅扫描来投影作为第二感测图像的图案图像。根据控制单元101的这种控制，投影单元311-2通过光栅扫描投影这样的图案图像。

在步骤S304处，控制单元101控制图像捕获单元212，以通过以行扫描方式设置的曝光时间段中的用于曝光和读取的行扫描来捕获在其上投影了上述图案图像(第二感测图像)的对象的图像。根据控制单元101的这种控制，图像捕获单元212通过作为用于感测目的的图像捕获的行扫描方法捕获在其上投影了图案图像的对象的图像。

在步骤S305处，控制单元101控制信号处理单元113，以根据在步骤S302和S304中的每一个处通过用于感测目的的图像捕获而获得的感测RAW图像(即，多个RAW图像)生成深度信息。也就是说，根据控制单元101的这种控制，信号处理单元113根据通过捕获在其上投影了图案图像的对象的图像而获得的像素值来生成深度信息。例如，从每个投影单元311投影不同的图案图像，使得可以基于不同的图案图像来获得深度信息。替选地，例如，从每个投影单元311投影相同的图案图像，使得可以合成多个RAW图像以改进S/N比。也就是说，与从单个RAW图像生成深度信息的情况相比，可以生成更高精度的深度信息。

在步骤S306处，控制单元101控制信号处理单元113，以输出在步骤S305处生成的深度信息。

在步骤S307处，控制单元101确定是否要终止图像处理。在确定要继续距离测量并且不终止图像处理的情况下，处理返回到步骤S301，并且执行其后续处理。也就是说，控制单元101重复上述步骤S301至S307的处理，从而再次投影新的图案图像或者同一图案图像，以控制每个处理单元通过这种投影图像执行距离测量。

如上所述，控制单元101根据需要重复执行步骤S301至S307的处理。然后，在步骤S307处，在确定要终止距离测量并且终止图像处理的情况下，图像处理结束。

通过执行如上所述的图像处理，在单个投影单元的图像投影的单个周期期间，可以多次(例如，两次)执行用于感测目的的图像捕获。也就是说，与第一实施方式的情况类似，可以在不需要帧存储器的情况下获得更多信息。

<5.第四实施方式>

<多投影、单图像捕获、多行读取>

在第二实施方式和第三实施方式中，已经描述了图像捕获单元212可以并行地读取两行的像素值，但是图像捕获单元可以并行地读取更多行的像素值(可以并行地执行多行扫描)。也就是说，与在投影单元中并行地执行的投影光栅扫描的数目相比，图像捕获单元可以并行地执行更多行的扫描。例如，在第三实施方式的图像处理装置100中，图像捕获单元可以并行地读取三行的像素值。

利用该配置，图像捕获单元不仅可以执行与由投影单元通过光栅扫描方法并行地执行的多个图案图像投影中的每一个对应的用于感测目的的图像捕获的行扫描，而且还可以执行用于成像目的的图像捕获的行扫描。也就是说，可以在不需要帧存储器的情况下获得更多信息。

<图像处理装置>

图23示出了这种情况下的图像处理装置100的主要配置示例。如图23所示，在这种情况下，图像处理装置100基本上具有与图19的情况下的图像处理装置100类似的配置，但是具有图像捕获单元412而不是图19的图像捕获单元212。图像捕获单元412是基本上类似于图19的图像捕获单元212的处理单元，但是具有光接收单元421、AD转换器(ADC)422-1、AD转换器422-2和AD转换器422-3。在下文中，在不必区别地描述AD转换器422-1至AD转换器422-3的情况下，这些转换器将被称为“AD转换器422”。

光接收单元421是基本上类似于光接收单元221的设备，并且不具有帧存储器。光接收单元421读取与每三行的像素阵列的每个像素处累积的电荷对应的电信号作为像素值，并且逐行地将这样的电信号提供给AD转换器422-1至AD转换器422-3。除了可读取的行的数目增加到三行之外，光接收单元421是与光接收单元221类似的设备。

AD转换器422-1至AD转换器422-3中的每一个是类似于AD转换器122的处理单元。AD转换器422-1至AD转换器422-3中的每一个对从光接收单元421提供的每个像素的像素值(电信号)逐行地进行A/D转换，并且将结果作为数字数据提供给信号处理单元113。

也就是说，图像捕获单元412可以针对每三行读取以光接收单元421接收光的方式获得的像素值(可以并行地执行三行的像素值的读取)。也就是说，与投影单元311的数目(两个)相比，图像捕获单元412可以并行读取更多行的像素值。

<投影和图像捕获的控制>

在这种情况下的投影和图像捕获中的状态的示例在图24中示出。控制单元101控制每个处理单元，使得如图24所示地执行投影和图像捕获。即，如图24中最上面的行所示，控制单元101使投影单元311中的一个(例如，投影单元311-1)通过光栅扫描(如在光栅扫描430-1至光栅扫描430-3中)将具有预定图片的图案图像投影在对象上。在从这样的光栅扫描定时起稍微延迟的定时处，控制单元101使另一个投影单元311(例如，投影单元311-2)通过光栅扫描(如在光栅扫描431-1至光栅扫描431-3中)将具有预定图片的图案图像投影在对象上。注意，如图24中最上面的行所示，投影单元311-1的这种光栅扫描是在与投影单元311-2的光栅扫描交叠的定时处执行的。也就是说，可以并行地执行这些光栅扫描。

然后，控制单元101使被配置成并行地读取多行的像素值的单个图像捕获单元412在单个投影单元311的投影的单个周期期间执行用于成像目的的图像捕获并且多次执行用于感测目的的图像捕获。在用于感测目的的图像捕获的多个过程中，捕获由不同的投影单元311在其上投影了图案图像的对象的图像。

更具体地，在上述用于投影的光栅扫描期间，如图24从上方数的第二行和第三行所示，控制单元101使图像捕获单元412执行作为用于成像目的的图像捕获的曝光(例如，曝光时间段434-1至曝光时间段434-4)和读取(例如，行扫描437-1至行扫描437-3)、作为用于感测目的的第一图像捕获的曝光(例如，曝光时间段432-1至曝光时间段432-3)和读取(例如，行扫描435-1至行扫描435-3)以及作为用于感测目的的第二图像捕获的曝光(例如，曝光时间段433-1至曝光时间段433-3)和读取(例如，行扫描436-1至行扫描436-3)。

在捕获经历第一投影的对象(例如，由投影单元311-1在其上投影了图案图像的对象)的图像的定时处执行这种用于感测目的的第一图像捕获。此外，在捕获经历第二投影的对象(例如，由投影单元311-2在其上投影了图案图像的对象)的图像的定时处执行这种用于感测目的的第二图像捕获。此外，利用空闲时间段(不执行用于感测目的的图像捕获的时间段)来执行用于成像目的的图像捕获。

如上所述，在本实施方式的情况下，与第三实施方式的情况相比，可以在不需要帧存储器的情况下获得更多信息。

<第一移动体确定>

在这种情况下，还可以由信号处理单元113执行移动体确定。在这种情况下，与第一实施方式的情况类似，可以使用在环境光下通过用于成像目的的图像捕获而获得的对象的捕获图像来执行移动体确定，或者可以使用包含具有相同图片的局部区域的多个顺序投影的图案图像的捕获图像中的每一个来执行(图11)。

替选地，可以以下述方式执行移动体确定：将通过将多个(例如，“三个”)图案图像的捕获图像中的每两个或更多个相加来挣得信噪比(SNR)的合成图像彼此进行比较。利用这种配置，可以更准确地执行移动体确定。

<第二移动体确定>

替选地，可以以下述方式执行移动体确定：使用经历负正反转的图案图像和在环境光下的对象的捕获图像来执行以下算术处理。

例如，作为要投影的图案图像之一的正图像是E_pos[x]，作为要投影的图案图像之一的负图像是E_neg[x]，环境光下的对象的图像是E_ambient[x]，包括投影的正图像的捕获图像是I_pos[x]，包括投影的负图像的捕获图像是I_neg[x]，环境光下的对象的捕获图像是I_off[x]，以及光谱反射率是R[x]。

在这种情况下，满足下面的表达式(1)。

I_pos[x]＝(E_pos[x]+E_ambient[x])·R[x]

I_neg[x]＝(E_neg[x]+E_ambient[x])·R[x]

I_off[x]＝(Eambient[x]+Eambient[x])·R[x]

......(1)

当从表达式(1)中去除环境光分量时，满足下面的表达式(2)。

I_pos[x]-I_off[x]＝E_pos[x]·R[x]

I_neg[x]-I_off[x]＝E_neg[x]·R[x]

......(2)

当从表达式(2)中去除光谱反射率时，满足下面的表达式(3)。

E_pos[x]/E_neg[x]＝(I_pos[x]-I_off[x])/(I_neg[x]-I_off[x])

......(3)

当表达式(3)的值大于1时，可以确定在Pos中为白色，并且当该值小于1时，可以确定为黑色。利用这种配置，可以获得二值投影图像而与对象的纹理(光谱反射率)无关。

替选地，可以改变表达式(2)以满足下面的表达式(4)。

I_pos[x]-I_neg[x]＝(E_pos[x]-E_neg[x])R[x]

......(4)

在表达式(4)中，光谱反射率为正，因此，可以基于E_pos[x]-E_neg[x]的符号来更准确地执行白色-黑色确定(图案确定)。如上所述，基于上述算术处理来执行图案确定，并且基于这样的确定结果来执行移动体确定。因此，可以更准确地执行移动体确定。

<图像处理的流程>

接下来，将参照图25的流程图描述由如上所述的图像处理装置100执行的图像处理的流程的示例。

当图像处理开始时，在步骤S401处，控制单元101控制图像捕获单元412，以在与用于感测的行扫描读取交叠的定时处通过行扫描读取来捕获环境光下的对象的图像。根据控制单元101的这种控制，图像捕获单元412执行作为用于成像目的的图像捕获的类似于行扫描的曝光和行扫描读取。

以与图22的步骤S301至S305的每种类型的处理类似的方式执行步骤S402至S406的每种类型的处理。即，多次执行用于感测目的的图像捕获，并且使用多个获得的感测RAW图像生成深度信息。

以与图12的步骤S105至S107的每种类型的处理类似的方式执行步骤S407至S409的每种类型的处理。控制单元101根据需要重复执行步骤S401至S409的处理。然后，在步骤S409处，在确定要终止距离测量并且要终止图像处理的情况下，图像处理结束。

通过执行如上所述的图像处理，在单个投影单元的图像投影的单个周期期间多次(例如，两次)执行用于感测目的的图像捕获，并且可以进一步执行用于成像目的的图像捕获。也就是说，与第一实施方式的情况类似，可以在不需要帧存储器的情况下获得更多信息。

<6.第五实施方式>

<单投影、多图像捕获>

替选地，图像处理装置100可包括多个图像捕获单元。此外，在这种情况下，每个图像捕获单元的配置可以在图像捕获单元之间不同。例如，控制单元101可以使与被配置成执行用于感测目的的图像捕获和用于成像目的的图像捕获的图像捕获单元不同的其他图像捕获单元与由这样的图像捕获单元进行的用于成像目的的图像捕获同步地执行作为用于成像目的的图像捕获的曝光和读取。利用这种配置，可以在不需要帧存储器的情况下获得更多信息。

<图像处理装置>

图26示出了这种情况下的图像处理装置100的主要配置示例。如图26所示，除了图13的情况下的配置之外，在这种情况下图像处理装置100还具有图像捕获单元112。图像捕获单元112由控制单元101控制，并且执行关于图像捕获的处理。

<投影和图像捕获的控制>

在这种情况下的投影和图像捕获中的状态的示例在图27中示出。控制单元101控制每个处理单元，使得如图27所示地执行投影和图像捕获。即，如图27中最上面的行所示，控制单元101使投影单元111通过光栅扫描方法(如在光栅扫描531-1至光栅扫描531-3中)将具有预定图片的图案图像投影在对象上。

然后，如图27从上方数的第二行和第三行所示，控制单元101控制被配置成并行地读取多行的像素值的单个图像捕获单元212，以在投影单元111的投影的单个周期期间执行用于成像目的的图像捕获和用于感测目的的图像捕获。到目前为止的处理类似于第二实施方式中描述的情况(图14)下的处理。

在本实施方式的情况下，如图27从上方数的第四行和第五行所示，控制单元101还控制被配置成逐行地读取像素值的单个图像捕获单元112，以与图像捕获单元212进行的用于成像目的的图像捕获同步地(在相同定时处)执行用于成像目的的图像捕获。图像捕获单元112可以仅逐行地读取像素值，但是不执行用于感测目的的图像捕获。因此，可以与图像捕获单元212同步地执行用于成像目的的图像捕获。

也就是说，图像捕获单元212由控制单元101控制，以在曝光时间段533-1至曝光时间段533-3中执行曝光，并且如在行扫描535-1至行扫描535-3中那样读取像素值，作为用于成像目的的图像捕获。

与这样的处理同步，图像捕获单元112由控制单元101控制，以在曝光时间段536-1至曝光时间段536-3中执行曝光，并且如在行扫描537-1至行扫描537-3中那样读取像素值，作为用于成像目的的图像捕获。

此外，图像捕获单元212由控制单元101控制，以在曝光时间段532-1至曝光时间段532-3中执行曝光，并且如在行扫描534-1至行扫描534-3中那样读取像素值，作为用于感测目的的图像捕获。

利用这种配置，可以在不需要帧存储器的情况下获得更多信息。

注意，在这种情况下，通过多个图像捕获单元获得对象的捕获图像，因此，还可以使用图像捕获单元之间的视差来执行距离测量。例如，可以利用远对象的捕获图像之间的视差来执行距离测量，并且可以使用近对象的图案图像来执行距离测量。

注意，上面已经描述了图像捕获单元112执行用于成像目的的图像捕获，但是本技术不限于上述。可以执行任何图像捕获。

例如，图像捕获单元112不仅可以捕获可见光(RGB)，还可以捕获红外光(IR)。替选地，图像捕获单元112可以仅捕获红外光(IR)。

<图像处理的流程>

接下来，将参照图28的流程图描述由如上所述的图像处理装置100执行的图像处理的流程的示例。

当图像处理开始时，在步骤S501处，控制单元101控制图像捕获单元212，以在与用于感测的行扫描读取交叠的定时处通过行扫描读取来捕获环境光下的对象的图像。根据控制单元101的这种控制，图像捕获单元212执行作为用于成像目的的图像捕获的类似于行扫描的曝光和行扫描读取。

在步骤S502处，控制单元101控制图像捕获单元112，以在与在步骤S501处的用于成像目的的图像捕获的行扫描相同的定时处捕获环境光下的对象的图像。根据控制单元101的这种控制，图像捕获单元112执行作为用于成像目的的图像捕获的类似于行扫描的曝光和行扫描读取。

在步骤S503处，控制单元101控制投影单元111，以通过光栅扫描投影作为感测图像的图案图像。根据控制单元101的这种控制，投影单元111通过光栅扫描将预定图案图像投影在对象上。

在步骤S504处，控制单元101控制图像捕获单元212，以通过在以行扫描方式设置的曝光时间段中的曝光和读取来捕获在其上投影了上述图案图像的对象的图像，曝光时间段包括步骤S503的投影(的光栅扫描)。根据控制单元101的这种控制，图像捕获单元212执行作为用于感测目的的图像捕获的类似于行扫描的曝光和行扫描读取。注意，这种曝光是在曝光时间段内在将图案图像投影在对象上的定时处执行的。此外，用于读取的行扫描是在与作为用于成像目的的图像捕获的用于读取的行扫描交叠的定时处执行的。

在步骤S505处，控制单元101控制信号处理单元113，以根据在步骤S504处通过用于感测目的的图像捕获而获得的感测RAW图像以及在步骤S501和S502处通过用于成像目的的图像捕获而获得的多个成像RAW图像来生成深度信息。例如，作为深度信息生成方法，可以使用利用立体匹配的三角测量。最后在S505处，生成深度图像，该深度图像通过对将用于感测和用于成像的图像进行组合而获得的深度图像进行整合而获得。

在步骤S506处，控制单元101控制信号处理单元113，以根据在步骤S501或者S502处获得的成像RAW图像生成捕获图像。例如，根据控制单元101的这种控制，信号处理单元113执行例如去马赛克处理，以根据通过捕获环境光下的对象的图像而获得的像素值生成捕获图像。替选地，例如，信号处理单元113可以借助于步骤S505的深度信息生成捕获图像。利用该配置，可以获得从图像捕获单元212与图像捕获单元112获得的成像RAW图像的每个点处的对应关系。此外，例如，可以利用这些对应的两个点的像素值来执行诸如SNR改进、高动态范围(HDR)合成和超分辨率处理的处理。

在步骤S507处，控制单元101控制信号处理单元113，以输出在步骤S505处生成的深度信息以及在步骤S506处生成的捕获图像，深度信息和捕获图像彼此链接。

在步骤S508处，控制单元101确定是否要终止图像处理。在确定要继续距离测量并且不终止图像处理的情况下，处理返回到步骤S501，并且执行其后续处理。也就是说，控制单元101重复上述步骤S501至S508的处理以再次投影新的图案图像或者相同的图案图像。使用这样的投影图像，控制每个处理单元以执行距离测量。

如上所述，控制单元101根据需要重复执行步骤S501至S508的处理。然后，在步骤S508处，在确定要终止图像处理的情况下，图像处理结束。

通过执行如上所述的图像处理，图像捕获单元212在单个投影单元111的图像投影的单个周期期间一次执行用于感测目的的图像捕获和用于成像目的的图像捕获，并且图像捕获单元112可以进一步执行用于成像目的的图像捕获。也就是说，可以在不需要帧存储器的情况下获得更多信息。

<7.第六实施方式>

<图像处理系统>

可以组合使用上述多个图像处理装置100。例如，可以控制多个图像处理装置100以在更宽的区域中执行距离测量和图像捕获。

图29是作为应用本技术的信息处理系统的一个实施方式的图像处理系统的主要配置示例的框图。图29中所示的图像处理系统600是被配置成借助于多个图像处理装置在更宽的区域中执行距离测量的系统。如图29所示，图像处理系统600具有控制装置601和图像处理装置602-1至图像处理装置602-4。在不必区别地描述图像处理装置602-1至图像处理装置602-4的情况下，这些装置将被称为“图像处理装置602”。

控制装置601控制每个图像处理装置602的操作。图像处理装置602是与上述图像处理装置100类似的装置，具有类似的配置，并且执行类似的处理。也就是说，图像处理装置602执行用于成像目的的图像捕获和用于感测目的的图像捕获，生成对象的捕获图像和关于对象的深度信息，并且输出彼此链接的捕获图像和深度信息。

如图29所示，控制装置601具有控制单元611和通信单元612。控制单元611包括例如CPU、ROM、RAM等，并且执行例如程序，以执行关于图像处理装置602的控制的处理。控制单元611经由通信单元612执行与图像处理装置602的通信，从而执行这种控制。通信单元612与每个图像处理装置602执行有线或无线通信。

图像处理装置602以与图像处理装置100类似的方式执行处理。即，图像处理装置602通过光栅扫描方法投影图案图像，并且通过行扫描方法捕获对象的图像。控制装置601控制每个图像处理装置602的扫描方向(作为投影的光栅扫描或者作为用于图像捕获的读取的行扫描的方向)。即，如图30所示，控制装置601使每个图像处理装置602在与其他相邻图像处理装置602的方向不同的方向上执行作为投影和图像捕获的扫描。

在图30中，每个矩形指示图像处理装置602的图案图像投影中的状态的示例，并且每个矩形中的箭头指示投影和图像捕获的方向。也就是说，图像处理装置602-1至图像处理装置602-4被配置成使得扫描方向交替地反转。

当图像处理装置602中的相邻的图像处理装置602具有用于投影的光栅扫描或者用于图像捕获的行扫描的相同方向时，存在如图31中的上方行所示的引起长的曝光时间交叠的可能性。也就是说，存在由更多行捕获从其他(相邻)图像处理装置602投影的图案图像的可能性。也就是说，存在受到其他图案图像的更强影响的可能性。

因此，如上所述，在相邻图像处理装置602之间反转扫描方向，使得可以缩短交叠的曝光时间段，如图31中的下方行所示。即，可以减少从其他图像处理装置602投影的图案图像的影响，并且可以更准确地执行距离测量。

<控制处理的流程>

将参照图32的流程图描述由这种图像处理系统中的控制装置601执行的控制处理的流程的示例。

当控制处理开始时，在步骤S601处，控制装置601的控制单元611控制每个图像处理装置602的扫描方向，以在作为感测图像的图案图像的投影位置彼此相邻的图像处理装置之间将扫描方向进行反转。

在步骤S602处，控制单元611使每个图像处理装置602执行图像处理，以生成深度信息和捕获图像。

在步骤S603处，控制单元611经由通信单元612从每个图像处理装置602获取深度信息和捕获图像。

当步骤S603的处理结束时，控制处理结束。

通过执行如上所述的控制处理，控制装置601可以使每个图像处理装置602执行更准确的距离测量。也就是说，控制装置601可以获取更准确的深度信息。

注意，形成图像处理系统600的装置(控制装置601和图像处理装置602)的数目是可选的，并且不限于图29的示例中的装置。

不言而喻，图像处理系统600的每个装置不限于上述示例中的装置，并且在可选的组合中，可以被集成为单个装置。

<8.其他>

<本技术的应用领域>

只要执行距离测量，本技术就可以应用于例如用于可选领域(例如交通、医疗保健、犯罪预防、农业、农场经营、采矿、美容护理、工厂、家用电子产品、天气、自然监测等)的系统、装置和处理单元。

例如，本技术还可以应用于为图像观看和娱乐(例如游戏)提供的系统和设备。此外，本技术还可以例如应用于用于交通管理的系统和设备。此外，本技术例如还可以应用于用于安全性的系统和设备。另外，本技术例如还可以应用于用于体育的系统和设备。此外，本技术还可以例如应用于用于农业的系统和设备。此外，本技术还可以例如应用于用于农场经营的系统和设备。另外，本技术例如还可以应用于用于监测诸如火山、森林和海洋的自然状态的系统和设备。此外，本技术还可以例如应用于被配置成观察例如天气、气温、湿度、风速和日照时数的天气观测系统和天气观测装置。此外，本技术还可以例如应用于被配置成观察野生动物(例如鸟类、鱼类、爬行动物、两栖类、哺乳动物、昆虫、植物等)的生物学的系统和设备。

<软件>

上述一系列处理可以由硬件执行，或者可以由软件执行。替选地，处理中的一部分可以由硬件执行，而处理中的其他部分可以由软件执行。在通过软件执行一系列处理的情况下，将形成软件的程序安装在计算机中。本文中描述的计算机包括例如结合到专用硬件中的计算机、被配置成使得可以通过各种安装的程序实现各种功能的通用个人计算机等。

图33是被配置成通过程序执行上述一系列处理的计算机的硬件配置示例的框图。

在图33所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903经由总线904彼此连接。

输入/输出接口910也连接到总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接到输入/输出接口910。

输入单元911包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘驱动器、RAM盘、非易失性存储器等。通信单元914包括例如网络接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘或者半导体存储器。

在如上所述配置的计算机中，例如，CPU 901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903中并且执行该程序，以执行上述一系列处理。此外，例如，根据需要将CPU 901执行各种类型的处理所需的数据存储在RAM 903中。

由计算机(CPU 901)执行的程序可以例如通过将程序存储在可移除介质921中作为封装介质等进行应用。在这种情况下，可以以使得可移除介质921附接到驱动器915的方式通过输入/输出接口910将程序安装在存储单元913中。替选地，该程序也可以经由有线或无线传输介质(例如局域网、因特网或数字卫星广播)提供。在这种情况下，程序可以由通信单元914接收，并且可以被安装在存储单元913中。作为另一替选方案，该程序可以被预先安装在ROM 902或存储单元913中。

<注>

本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种改变。

例如，本技术可以被实现为形成装置或者系统的任何配置，例如作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、或者通过进一步向该单元(即，该装置的部分配置)添加其他功能而形成的集合。

注意，在本说明书中，系统意味着多个部件(例如，装置或模块(部件))的组，而不管所有部件是否在同一壳体中。因此，下述中的任何一种都是系统：容纳在单独的壳体中并且通过网络连接的多个装置；以及在单个壳体中容纳多个模块的单个装置。

此外，只要上述处理单元具有上述功能，则处理单元可以通过任何配置实现。例如，处理单元可以包括可选电路、LSI、系统LSI、处理器、模块、单元、集合、设备、装置、系统等。替选地，可以将这些部件中的多个部件进行组合。例如，可以将相同类型的多个配置例如多个电路或多个处理器进行组合，或者可以将不同类型的配置例如电路和LSI进行组合。

此外，被描述为单个装置(或单个处理单元)的配置可以例如被划分成多个装置(或多个处理单元)。相反，在上面被描述为多个装置(或多个处理单元)的配置可以被共同配置成单个装置(或单个处理单元)。另外，可以将除上述配置之外的其他配置添加到每个装置(或每个处理单元)的配置中。此外，只要提供整个系统的基本相同的配置或者操作，则某个装置(或某个处理单元)的配置的一部分可以被包括在其他装置(或其他处理单元)的配置中。

此外，本技术可以具有例如云计算配置，该云计算配置用于通过网络由多个装置协作处理单个功能。

另外，例如，上述程序可以在可选装置中执行。在这种情况下，这种装置可以具有必要的功能(例如，功能块)以获得必要的信息。

此外，例如，在上述流程图中描述的每个步骤可以由单个装置执行，并且还可以由多个装置协作执行。此外，在单个步骤包括多种类型的处理的情况下，包括在单个步骤中的这些多种类型的处理可以由单个装置执行，并且还可以由多个装置协作执行。换言之，包括在单个步骤中的多种类型的处理可以作为多种类型的步骤处理来执行。相反，被描述为多个步骤的处理可以作为单个步骤共同执行。

由计算机执行的程序可以以下述方式执行：使得描述程序的步骤的处理按照本说明书中描述的顺序按时间顺序执行，或者可以并行地或者在诸如调用定时的必要定时处单独执行。也就是说，只要不存在矛盾，则每个步骤的处理可以以与上述顺序不同的顺序执行。此外，描述程序的步骤的处理可以与其他类型的程序处理并行地执行，或者可以与其他类型的程序处理组合执行。

只要不存在矛盾，则本说明书中描述的多种本技术可以单独地独立实现。不言而喻，多种本技术中的可选技术可以被组合地实现。例如，任何实施方式中描述的本技术的部分或全部可以与其他实施方式中描述的本技术的部分或全部组合地实现。替选地，上面描述的本技术中的一些或全部可选技术可以与上面未描述的其他技术组合地实现。

注意，本技术可以具有以下配置。

(1)一种信息处理装置，包括：

控制单元，其被配置成：控制投影单元以执行被配置成将图案图像投影在对象上的点光源或线光源的扫描，并且控制图像捕获单元以在作为所述图案图像的投影的所述扫描的单个周期期间多次执行用于捕获所述对象的图像的曝光和通过行扫描的读取。

(2)根据(1)所述的信息处理装置，其中，

所述控制单元使被配置成逐行读取像素值的单个图像捕获单元捕获所述对象的图像。

(3)根据(2)所述的信息处理装置，其中，

所述控制单元使所述图像捕获单元在作为所述图案图像的投影的所述扫描的单个周期期间执行作为用于成像的图像捕获的曝光和读取以及作为用于感测的图像捕获的曝光和读取。

(4)根据(3)所述的信息处理装置，其中，

所述控制单元使所述图像捕获单元在曝光时间段内所述图案图像被投影在所述对象上并且用于读取的行扫描不与作为所述用于成像的图像捕获的用于读取的行扫描交叠的定时处，执行作为所述用于感测的图像捕获的曝光和读取。

(5)根据(4)所述的信息处理装置，还包括：

图像处理单元，其被配置成基于通过所述用于成像的图像捕获而获得的信息来生成关于所述对象的图像信息，并且基于通过所述用于感测的图像捕获而获得的信息来生成关于所述对象的深度信息。

(6)根据(5)所述的信息处理装置，其中，

所述图像处理单元基于所述对象的图像来执行移动体确定，并且基于移动体确定结果来生成关于所述对象的深度信息。

(7)根据(5)所述的信息处理装置，其中，

所述控制单元使所述投影单元顺序地投影局部区域具有相同图片的多个预定图案图像，并且

所述图像处理单元基于具有所述相同图片的区域来执行移动体确定，并且基于移动体确定结果来生成关于所述对象的深度信息。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中，

所述控制单元使被配置成并行地读取多行的像素值的单个图像捕获单元捕获所述对象的图像。

(9)根据(8)所述的信息处理装置，其中，

所述控制单元使单个投影单元投影所述图案图像。

(10)根据(9)所述的信息处理装置，其中，

所述控制单元使所述图像捕获单元在作为所述图案图像的投影的所述扫描的单个周期期间执行作为用于成像的图像捕获的曝光和读取以及作为用于感测的图像捕获的曝光和读取。

(11)根据(10)所述的信息处理装置，其中，

所述控制单元使所述图像捕获单元在曝光时间段内所述图案图像被投影在所述对象上并且用于读取的行扫描与作为所述用于成像的图像捕获的用于读取的行扫描交叠的定时处，执行作为所述用于感测的图像捕获的曝光和读取。

(12)根据(11)所述的信息处理装置，其中，

所述控制单元还使与所述图像捕获单元不同的其他图像捕获单元与由所述图像捕获单元执行的所述用于成像的图像捕获同步地执行作为用于成像的图像捕获的曝光和读取。

(13)根据(10)至(12)中任一项所述的信息处理装置，其中，

所述控制单元使所述图像捕获单元：

多次执行作为所述用于成像的图像捕获的曝光和读取，并且

在曝光时间段内所述图案图像被投影在所述对象上并且用于读取的行扫描与作为所述用于成像的图像捕获的用于多次读取中的至少最后一次读取的行扫描交叠的定时处，执行作为所述用于感测的图像捕获的曝光和读取。

(14)根据(8)至(13)中任一项所述的信息处理装置，其中，

所述控制单元使多个投影单元在与由其他投影单元执行的作为所述图案图像的投影的所述扫描交叠的定时处，执行作为所述图案图像的投影的点光源或线光源的扫描。

(15)根据(14)所述的信息处理装置，其中，

所述控制单元使所述图像捕获单元针对由每个投影单元执行的图案图像的投影，在曝光时间段内所述图案图像被投影在所述对象上的定时处，执行作为用于感测的图像捕获的曝光和读取。

(16)根据(15)所述的信息处理装置，其中，

所述控制单元还使所述图像捕获单元执行作为用于成像的图像捕获的曝光和读取。

(17)根据(1)至(16)中任一项所述的信息处理装置，还包括：

所述投影单元和所述图像捕获单元。

(18)一种信息处理方法，包括：

执行被配置成将图案图像投影在对象上的点光源或线光源的扫描；以及在作为所述图案图像的投影的所述扫描的单个周期期间多次执行用于捕获所述对象的图像的曝光和通过行扫描的读取。

(19)一种信息处理装置，包括：

控制单元，其被配置成：使多个图像处理装置中的每一个在与相邻的其他图像处理装置不同的方向上执行作为图案图像的投影的扫描以及作为对对象的图像捕获的行扫描，所述多个图像处理装置中的每一个被配置成执行点光源或线光源的扫描，并且在作为所述图案图像的投影的所述扫描的单个周期期间多次执行用于捕获所述对象的图像的曝光和通过行扫描的读取，所述点光源或线光源被配置成将所述图案图像投影在所述对象上。

(20)一种信息处理方法，包括：

使多个图像处理装置中的每一个在与相邻的其他图像处理装置不同的方向上执行作为图案图像的投影的扫描以及作为对对象的图像捕获的行扫描，所述多个图像处理装置中的每一个被配置成执行点光源或线光源的扫描，并且在作为所述图案图像的投影的所述扫描的单个周期期间多次执行用于捕获所述对象的图像的曝光和通过行扫描的读取，所述点光源或线光源被配置成将所述图案图像投影在所述对象上。

附图标记列表

100 图像处理装置

101 控制单元

111 投影单元

112 图像捕获单元

113 信号处理单元

121 光接收单元

122 AD转换器

212 图像捕获单元

222 AD转换器

311 投影单元

412 图像捕获单元

422 AD转换器

600 图像处理系统

601 控制装置

602 图像处理装置

611 控制单元

612 通信单元

900 计算机