图像捕获装置和控制图像捕获元件的方法
阅读说明：本技术 图像捕获装置和控制图像捕获元件的方法 (Image capturing apparatus and method of controlling image capturing element ) 是由 阿纳斯·博斯塔曼 马场智宏 于 2018-10-15 设计创作，主要内容包括：本发明的目的是减少仅以高分辨率输出关注区域(ROI)的图像捕获元件的功耗。在其中以预定方向布置的像素行沿垂直于预定方向的方向布置的二维像素阵列中,图像捕获元件使用高分辨率相对于包括预定区域的第一像素行执行图像捕获,并且使用低分辨率相对于其他的第二像素行执行图像捕获。第一图像处理单元基于第一像素行的图像捕获信号生成预定区域的图像。像素加法单元相对于第一像素行的图像捕获信号执行像素间的加法处理,从而提供与第二像素行的图像捕获信号相同的分辨率。第二图像处理单元基于第二像素行的图像捕获信号和已执行加法处理的第一像素行的图像捕获信号来生成整个区域的图像。(An object of the present invention is to reduce power consumption of an image capturing element that outputs only a region of interest (ROI) at high resolution. In a two-dimensional pixel array in which pixel rows arranged in a predetermined direction are arranged in a direction perpendicular to the predetermined direction, an image capturing element performs image capturing with respect to a first pixel row including a predetermined area using high resolution, and performs image capturing with respect to other second pixel rows using low resolution. The first image processing unit generates an image of a predetermined area based on an image capturing signal of the first pixel row. The pixel addition unit performs an inter-pixel addition process with respect to the image-captured signal of the first pixel row, thereby providing the same resolution as that of the image-captured signal of the second pixel row. The second image processing unit generates an image of the entire area based on the image-captured signal of the second pixel row and the image-captured signal of the first pixel row on which the addition processing has been performed.)
技术领域
本技术涉及成像装置。具体地，本技术涉及一种包括拍摄图像的成像元件的成像装置以及该成像元件的控制方法。
背景技术
当执行图像处理等时，有时在聚焦于图像中的特定区域的同时执行处理。在这种情况下，该区域称为关注区域(ROI)。在成像装置中，期望通过仅在这样的特定区域中执行成像来减少功耗。因此，例如，提出了一种成像装置，该成像装置在由第一成像元件获得的第一图像中区分目标对象区域，并根据该目标对象区域控制第二成像元件以获得第二图像(例如，参见专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2016-219949号公报
发明内容
本发明要解决的问题
在上述传统技术中，已经控制了根据目标对象区域拍摄图像。然而，由于用于区分目标对象区域的第一图像和对应于目标对象区域的第二图像被分别成像，因此存在功耗没有充分降低的可能性。
考虑到这种情况来实现本技术，并且本发明的目的是减少仅以高分辨率输出关注区域的成像元件的功耗。
问题的解决方案
为了解决上述问题而实现本技术，并且本技术的第一方面是一种成像装置，其包括：成像元件，在二维像素阵列中以预定分辨率对包括预定区域的第一像素行执行成像并且以低于预定分辨率的分辨率对第一像素行以外的第二像素行执行成像，在该二维像素阵列中以预定方向布置的像素行沿垂直于预定方向的方向布置；第一图像处理单元，基于第一像素行的成像信号生成预定区域的图像；像素加法单元，对第一像素行的成像信号执行像素之间的加法处理，以使分辨率与第二像素行的成像信号的分辨率相同；以及第二图像处理单元，基于第二像素行的成像信号和经受了加法处理的第一像素行的成像信号来生成整个区域的图像。这带来了以下效果：通过仅以高分辨率对预定区域执行成像以输出，并且以低/高分辨率对整个区域的图像进行拍摄，从而降低了成像元件的功耗。
此外，第一方面可进一步包括：运动检测处理单元，其根据整个区域的图像的时间序列的变化来检测运动；以及控制单元，其控制成像元件以在使检测到运动的区域成为预定区域的同时对第一像素行进行成像。这带来了以下效果：在以低/高分辨率拍摄的整个区域的图像中检测运动，以作为预定区域跟随运动。
此外，在第一方面中，当从未检测到运动的状态转变到检测到运动的状态时，控制单元可控制成像元件以增加帧率。这带来增加帧率和执行区域预测的效果。
此外，在第一方面中，控制单元可控制成像元件根据检测到运动的区域的移动速度来改变帧率。这带来了根据移动速度动态改变帧率的效果。
此外，在第一方面中，在整个区域的图像中检测到移动速度不同的多个移动体的情况下，控制单元可以控制成像元件在使包括移动体的区域成为预定区域的同时对第一像素行进行成像。这带来了共同处理多个移动体的效果。
此外，第一方面可进一步包括曝光评估值生成单元，该曝光评估值生成单元基于在整个区域的图像中检测到运动的区域来生成曝光评估值，其中，控制单元可以控制成像元件基于曝光评估值执行曝光。这带来了基于检测到运动的区域执行曝光的效果。
此外，在第一方面中，在检测到运动的状态下，成像元件可以交替地重复第一帧周期和第二帧周期，在第一帧周期中，以预定分辨率对第一像素行执行成像而不对第二像素行执行成像；并且在第二帧周期中，以低于预定分辨率的分辨率对所有像素行执行成像。这带来了使对于每个帧周期对像素行的控制共同的效果。
此外，在第一方面中，成像元件可以仅在检测到运动的状态下以预定分辨率对第一像素行执行成像。这带来了通过运动检测的事件进行驱动的效果。
此外，第一方面可进一步包括输出处理单元，其输出由第一图像处理单元生成的预定区域的图像。这带来了仅输出预定区域的图像的效果。
本发明的效果
本技术可具有减少成像元件的功耗的优异效果，该成像元件仅以高分辨率输出关注区域。注意，效果不必限于本文描述的效果，并且可以是本公开中描述的任何效果。
附图说明
图1是示出本技术的实施方式中的成像装置的配置实例的图。
图2是示出本技术的实施方式中的成像装置的基本操作实例的图。
图3是示出本技术的实施方式中的成像装置的像素读取的时序实例的图。
图4是示出本技术的实施方式中的区域预测的实例的图。
图5是示出本技术的实施方式中的成像装置的像素读取的另一时序实例的图。
图6是示出在本技术的实施方式中在检测到多个移动体的情况下的操作实例的图。
图7是示出在本技术的实施方式中针对不同的帧执行正常成像和感测成像的情况下的操作实例的图。
图8是示出在本技术的实施方式中确定图像中的每个区域中的成像控制的实例的流程图。
图9是示出本技术的实施方式中的成像装置中的像素驱动的第一实例的图。
图10是示出在本技术的实施方式中在像素驱动的第一实例中假设的像素电路的实例的图。
图11是示出在本技术的实施方式中的像素驱动的第一实例中当读取不包括ROI的块行时的时序实例的图。
图12是示出在本技术的实施方式中的像素驱动的第一实例中当读取包括ROI的块行时的时序实例的图。
图13是示出本技术的实施方式中的成像装置中的像素驱动的第二实例的图。
图14是示出在本技术的实施方式中在像素驱动的第二实例中假设的像素电路的实例的图。
图15是示出在本技术的实施方式中的像素驱动的第二实例中当读取包括ROI的块行时的时序实例的图。
图16是示出在本技术的实施方式中在像素驱动的第二实例中假设的像素电路的列驱动划分电路的实例的视图。
图17是示出在本技术的实施方式中在像素驱动的第三实例中假设的像素电路的实例的图。
图18是示出在本技术的实施方式中的像素驱动的第三实例中当读取包括ROI的块行时的时序实例的图。
具体实施方式
在下文中描述用于执行本技术的模式(在下文中，称为实施方式)。按以下顺序给出描述。
1.配置(成像装置的配置实例)
2.操作(成像装置的操作实例)
3.电路(像素驱动的安装实例)
<1.配置>
[成像装置的配置]
图1是示出本技术的实施方式的成像装置的配置实例的图。成像装置包括成像元件100、信号处理单元200、系统控制单元300和驱动单元400。
成像元件100是像素阵列，其中，二维地布置有用于对对象进行成像的像素。成像元件100通过将以预定方向布置的多个像素行在垂直于预定方向的方向上进行布置来形成像素阵列。像素行通常是在水平方向上布置的线或线组，并且以该像素行为单位进行曝光和成像。但是，也可以沿垂直方向布置像素行以执行曝光和成像。
成像元件100在系统控制单元300的控制下由驱动单元400驱动。成像元件100以高分辨率对关注区域(ROI)执行正常成像，并且以低分辨率对其他区域执行感测成像。
在此，正常成像是用于图像的记录、显示等的成像，并且用于以诸如2560像素×1440像素的高分辨率进行成像。在该正常成像中，在A/D转换时，假设例如大约10比特的高比特率，伴随大约60dB的正常动态范围。此外，例如，假设诸如RGB的彩色成像。此外，假设约60fps(帧/秒)的高帧率。
相反，感测成像是用于检测移动体的成像，并且是用于以诸如16像素×5像素的低分辨率进行成像的成像。在该感测成像中，在A/D转换时假设例如大约8比特的低比特率，伴随大约100dB的高动态范围。此外，假设通过单色成像导致的大约30fps的低帧率。
注意，如稍后所述，在成像元件100中，不是以区域为单位而是以像素行为单位执行成像，从而以高分辨率读取包括ROI的像素行，并然后通过像素相加降低其分辨率。
信号处理单元200对从成像元件100读取的成像信号执行信号处理。信号处理单元200包括高分辨率区域图像处理单元210、像素加法单元220、低分辨率区域图像处理单元230、运动检测处理单元240、曝光评估值生成单元250和输出处理单元260。
高分辨率区域图像处理单元210对经受了成像元件100以高分辨率正常成像的ROI执行信号处理。注意，高分辨率区域图像处理单元210是在权利要求中记载的第一图像处理单元的实例。
像素加法单元220对经受了成像元件100以高分辨率正常成像的像素行执行像素相加，以降低其分辨率。像素加法单元220的结果被提供给低分辨率区域图像处理单元230。
低分辨率区域图像处理单元230对由成像元件100以低分辨率感测成像的成像信号和被像素加法单元220降低了分辨率的成像信号执行信号处理。低分辨率区域图像处理单元230对通过组合由成像元件100以低分辨率进行感测成像的成像信号和被像素加法单元220降低了分辨率的成像信号而获得的低分辨率的整个区域执行信号处理。注意，低分辨率区域图像处理单元230是权利要求中记载的第二图像处理单元的实例。
运动检测处理单元240根据经受了由低分辨率区域图像处理单元230进行的信号处理的整个区域的图像的时间序列的变化，来检测运动。由运动检测处理单元240检测到运动的区域被提供给系统控制单元300和曝光评估值生成单元250。
曝光评估值生成单元250生成用于曝光控制的曝光评估值(自动曝光(AE)评估值)。曝光评估值生成单元250在经受了由低分辨率区域图像处理单元230进行的信号处理的整个区域的图像中，基于由运动检测处理单元240检测到运动的区域来生成曝光评估值。由曝光评估值生成单元250生成的曝光评估值被提供给系统控制单元300。
输出处理单元260将经受了由高分辨率区域图像处理单元210进行的信号处理的ROI的成像信号输出至后续处理。这里，例如，假设用于输出到显示装置的显示控制、用于记录在记录介质上的记录控制等，作为后续处理。注意，尽管在此假设输出了ROI的成像信号，但是也可以输出经受了低分辨率区域图像处理单元230进行的信号处理的整个区域的图像的成像信号。
系统控制单元300控制整个成像装置。系统控制单元300控制例如对由运动检测处理单元240在其中检测到运动的区域作为ROI以高分辨率进行成像。此外，例如，系统控制单元300进行控制以基于由曝光评估值生成单元250生成的曝光评估值来成像。注意，系统控制单元300是权利要求中记载的控制单元的实例。
驱动单元400在系统控制单元300的控制下驱动成像元件100。
<2.操作>
[基本操作]
图2是示出本技术的实施方式中的成像装置的基本操作实例的图。
在该实例中，从时间T2到时间T4在对象中检测到移动体。成像元件100使由运动检测处理单元240在其中检测到运动的区域成为ROI，并且以高分辨率对包括ROI的像素行执行像素读取。相反，以低分辨率对不包括ROI的像素行执行像素读取。
高分辨率区域图像处理单元210对经受了由成像元件100以高分辨率进行了正常成像的ROI执行信号处理，并且输出处理单元260将ROI输出。即，如在图中的传感器输出中所示，在检测到运动的时段期间，对检测到运动的区域(ROI)进行输出。因此，在未检测到运动的时段内不输出图像。换句话说，成像元件100是由运动检测的事件所驱动的事件驱动式成像元件。
像素加法单元220降低经受了由成像元件100以高分辨率进行正常成像的像素行的分辨率。此外，对不包括ROI的像素行执行低分辨率的像素读取。因此，向低分辨率区域图像处理单元230提供低分辨率的整个区域的图像。由低分辨率区域图像处理单元230以低分辨率对整个区域的图像执行信号处理，并且这成为通过运动检测处理单元240进行运动检测的处理目标。因此，即使在新的移动体进入紧接在前的ROI以外的区域的情况下，也可以从整个区域的图像中检测到运动。此外，运动检测处理单元240在检测到一次运动之后执行移动体跟踪，并且在预测ROI在时间序列中的下一图像(帧)中移动的区域的同时进行跟随。
此外，曝光评估值生成单元250基于检测到运动的区域(ROI)来生成曝光评估值。因此，可以在ROI中以适当的曝光来执行高分辨率成像。
[紧接在移动体检测之后的帧率]
图3是示出本技术的实施方式中的成像装置的像素读取的时序实例的图。
在该实例中，在对象中从时间T3到时间T7检测到移动体。在时间T1和时间T2处，在对象中没有检测到运动，因此仅执行低分辨率的感测读取701。此时，不输出拍摄的图像。
当移动体(人)在时间T3处进入时，运动检测处理单元240对其进行检测。当检测到移动体时，以高帧率执行感测成像以便预测移动体的运动。即，在时间T3和时间T5之间帧率加倍。这使得可以准确地预测移动体的运动，并且在时间T5处，针对ROI执行高分辨率的正常读取702。经由高分辨率区域图像处理单元210和输出处理单元260输出以这种方式拍摄的ROI的图像。
随后，跟随移动体并输出ROI的图像。在这段时间期间，在与预测的区域存在间隙的情况下，校正预测的轨迹。当在时间T8处不再检测到移动体时，不再执行高分辨率的成像，并且不输出图像。
图4是示出本技术的实施方式中的区域预测的实例的图。
当跟随移动体时，必须预测该区域的移动方向和移动速度。作为用于执行该预测的方法的实例，首先，估计移动体的重心。移动体的重心可以是例如移动体的区域的中心的坐标，或者是考虑到亮度值的通过密度加权的中心坐标。
在时间序列的下一帧中类似地估计移动体的重心，并且根据差估计移动体的重心的移动方向和移动速度。因此，可预测在下一帧之后的下一帧中的移动体的重心和移动体的区域。
在上述实例中，当在时间T3处检测到移动体的进入时，基于时间T3和时间T4处的移动体的重心来预测在时间T5处的移动体的重心和移动体的区域。如上所述，在从时间T3到时间T5的时段期间，以两倍的帧率执行成像，从而可快速地跟踪移动体。
[移动体的移动速度和帧率]
图5是示出本技术的实施方式中的成像装置的像素读取的另一时序实例的图。该实例示出了动态地改变高分辨率成像时的帧率的情况下的时序实例。
与上述实例的情况一样，当在时间T3检测到移动体时，以高帧率执行感测成像以预测移动体的运动。随后，当确定移动体的移动速度低时，系统控制单元300从时间T6开始控制成像元件100以低帧率进行成像。
随后，当在时间T7检测到新的移动体时，再次以高帧率执行感测成像，以便预测移动体的运动。然后，当确定新的移动体的移动速度高时，系统控制单元300从时间T8开始控制成像元件100以高帧率进行成像。以这种方式，可根据移动体的移动速度来动态地改变帧率。
[在检测到多个移动体的情况下]
图6是示出在本技术的实施方式中在检测到多个移动体的情况下的操作实例的图。
在该实例中，在时间T2处在对象中检测到移动体，并且随后，在时间T3处检测到另一移动体。即，在时间T3之后，在对象中存在具有不同的移动速度和移动方向的多个移动体。
在这种情况下，成像元件100选择一区域以容纳所有的目标移动体，并且以高分辨率执行像素读取。然后，如在时间T3处的传感器输出所示，高分辨率区域图像处理单元210切出存在有每个移动体的区域作为ROI，并经由输出处理单元260输出多个区域。
然而，在如时间T4所示的多个区域彼此重叠的情况下，可以将包括这两个区域的区域切出作为ROI。随后，当多个区域之间的重叠消失时，如时间T5所示，切出单独的区域作为ROI。
注意，即使在以这种方式使多个区域成为ROI的情况下，曝光评估值生成单元250也针对多个区域生成曝光评估值，并且基于曝光评估值来控制成像。
[对不同的帧执行正常成像和感测成像的变型]
图7是示出在本技术的实施方式中针对不同的帧执行正常成像和感测成像的情况下的操作实例的图。
在上述实施方式中，在一个帧中针对每个像素行切换正常成像和感测成像；但是，这里描述了不执行这种切换的变型。
在该变型中，从时间T3到时间T11在对象中检测到移动体。在时间T1和时间T2处，由于在对象中没有检测到运动，因此仅执行低分辨率的感测读取701。此时，不输出拍摄的图像。之后，当移动体在时间T3进入时，如上述实施方式中那样以高帧率执行感测成像。
在该变型中，在一个帧中仅执行正常成像或感测成像中的一项。即，在时间T6处，针对ROI执行高分辨率的正常读取702，并且经由高分辨率区域图像处理单元210和输出处理单元260输出ROI的图像。在接下来的时间T7处，对整个图像执行低分辨率的感测读取701。此时，不输出时间T7处的图像。
随后，类似地，在时间T8，针对ROI执行高分辨率的正常读取702，并且输出ROI的图像。在随后的时间T9，针对整个图像执行低分辨率的感测读取701，并且不输出图像。
根据该变型的操作，可以在一个帧中针对每个像素行在正常成像和感测成像之间不进行切换的情况下重复正常成像和感测成像。但是，输出ROI的帧率减半。
[每个区域的成像控制]
图8是示出在本技术的实施方式中确定图像中的每个区域的成像控制的实例的流程图。
在该实例中，图像中的区域被划分为从区域#0到区域#(N-1)的N个区域，并且针对每个区域确定成像控制的内容。在此，使用变量n对每个区域重复地进行确定。变量n的初始值为“0”(步骤S911)。
当预测在区域#n中有移动体的存在时(步骤S912：是)，成像元件100以高分辨率对区域#n进行成像，并且经由高分辨率区域图像处理单元210和输出处理单元260输出ROI的成像信号(步骤S913)。此外，被像素加法单元220降低了分辨率的以高分辨率成像的区域#n的成像信号(步骤S914)，经由低分辨率区域图像处理单元230提供给运动检测处理单元240。
此时，在区域#n中未检测到移动体的情况下(步骤S915：否)，运动检测处理单元240确定在区域#n中到目前为止检测到的运动已消失，并针对下一帧校正运动跟随(步骤S926)。相反，在区域#n中检测到移动体的情况下(步骤S915：是)，确定移动体的检测没有变化，使变量n加“1”(步骤S927)，并且过程转移到下一个区域。即，只要变量n小于N(步骤S928：是)，就重复步骤S912之后的处理。
在区域#n中没有预测移动体的存在的情况下(步骤S912：否)，成像元件100以低分辨率对区域#n进行成像(步骤S923)。以低分辨率拍摄的区域#n的成像信号经由低分辨率区域图像处理单元230提供给运动检测处理单元240。
此时，在区域#n中检测到移动体的情况下(步骤S925：是)，运动检测处理单元240确定新的移动体进入区域#n，并针对下一帧校正运动跟随(步骤S926)。相反，在区域#n中未检测到移动体的情况下(步骤S925：否)，确定移动体的检测没有变化，使变量n加“1”(步骤S927)，并且过程转移到下一个区域。即，只要变量n小于N(步骤S928：是)，就重复步骤S912之后的处理。
注意，这里描述了确定每个区域的成像控制的内容的过程。然而，在实际电路中，曝光和成像以像素行为单位执行。在下文中将对其进行详细描述。
<3.电路>
[像素驱动的第一实例]
图9是示出本技术的实施方式中的成像装置中的像素驱动的第一实例的图。
在像素驱动的第一实例中，以块行为单位来驱动像素，块行是在水平方向上布置的线组。此时，通过高分辨率读取来驱动包括ROI 710的块行(高分辨率成像驱动)。相反，通过像素相加的低分辨率读取来驱动不包括ROI 710的块行(感测成像驱动)。
图10是示出在本技术的实施方式中的像素驱动的第一实例中假设的像素电路的实例的图。
这里，假设FD共享式像素电路，其中，浮置扩散(FD)119由四个像素111至114共享。四个像素111至114是将接收到的光转换成电荷的光电二极管。FD 119是将电荷转换为电压信号的扩散层区域。
例如，通过使用红色像素、蓝色像素和两个绿色像素形成分配有拜耳阵列的颜色的四个像素111至114。在水平方向上以四个像素111至114为单位布置的线称为FD行。然后，将在垂直方向上布置的N个FD行称为块行。
传输晶体管121至124分别连接至四个像素111至114。传输栅极信号TG0至TG3被提供给传输晶体管121至124的栅极，并且到FD 119的传输被控制。
此外，复位晶体管131连接到FD 119。复位信号RST被提供给复位晶体管131的栅极，并且像素111至114和FD 119的复位被控制。
此外，放大晶体管132连接到FD 119。放大晶体管132基于从像素111至114转移到FD 119的电荷来放大电压信号。选择晶体管141连接到放大晶体管132。选择信号SEL被提供给选择晶体管141的栅极，并且到垂直信号线(VSL)150的输出被控制。
此外，加法晶体管151连接到FD 119。加法使能信号ALSEN被提供给加法晶体管151的栅极，并且因此，垂直方向上通过FD连接的电荷的相加被控制。
来自四个像素111至114的输出被提供给每一列的垂直信号线150，并且通过A/D转换器180被转换成数字信号。此外，垂直信号线150通过开关160选择性地连接，使得可以在水平方向上执行相加。即，在成像元件100中，可以以模拟水平执行垂直方向上通过FD连接的像素相加和通过开关160在水平方向上的像素相加，并且由此可以执行低分辨率的读取。
图11是示出在本技术的实施方式中的像素驱动的第一实例中当读取不包括ROI的块行时的时序实例的图。
在像素驱动的第一实例中，感测成像驱动被应用于不包括ROI的块行。即，以模拟水平执行像素相加，并且执行低分辨率的读取。
如图所示，在一个块行中的所有FD行中同时执行快门操作，并且开始曝光。然后，在经过曝光时段之后，在一个块行中的所有FD行中同时执行读取操作。此时，启用加法使能信号ALSEN(设为高电平)，并且执行在一个块行的垂直方向上的像素相加。此外，将开关160置于导通状态(ON)，并且执行水平方向上的像素相加。
图12是示出在本技术的实施方式中的像素驱动的第一实例中当读取包括ROI的块行时的时序实例的图。
在像素驱动的第一实例中，高分辨率成像驱动被应用于包括ROI的块行。即，如图所示，随着时间偏移，传输栅极信号TG0至TG3在FD行中的像素111至114中被启用(设置为高电平)，并且开始曝光。然后，在经过曝光时段之后，在像素111至114中的每个像素中执行读取。
在该高分辨率成像驱动中，不执行与感测成像驱动中相同的像素相加。因此，为了针对运动检测处理单元240生成低分辨率的图像，信号处理单元200的像素加法单元220以数字电平降低分辨率。
[像素驱动的第二实例]
图13是示出本技术的实施方式中的成像装置中的像素驱动的第二实例的图。
在像素驱动的第二实例中，针对包括ROI 710的块行在不同的时间执行感测成像驱动和高分辨率成像驱动。此时，通过列使能信号CLMEN针对每个块列选择目标驱动。此外，相反，对于不包括ROI 710的块行，如在第一实例中那样执行感测成像驱动。
图14是示出在本技术的实施方式中的像素驱动的第二实例中假设的像素电路的实例的图。
该像素电路具有与第一实例中描述的配置类似的配置。然而，列使能信号CLMEN在垂直方向上连接到包括像素列组的每个块列，并且针对每个块列控制驱动。即，CLMEN(0)连接到第一块列，CLMEN(1)连接到第二块列，并且类似地，CLMEN(M-1)连接到第M个块列，并且以块列为单位进行控制。
图15是示出在本技术的实施方式中的像素驱动的第二实例中当读取包括ROI的块行时的时序实例的视图。
在此，假设第一块列不包括ROI并且第二块列包括ROI的情况。因此，在感测成像驱动的时刻，CLMEN(0)被启用(设置为高电平)。相反，在高分辨率成像驱动的时刻，CLMEN(1)被启用(设置为高电平)。这使得可以选择要应用于每个块列的驱动内容。
注意，当读取不包括ROI的块行时的时序实例与上述第一实例中的时序实例相似，因此省略其详细描述。
图16是示出在本技术的实施方式中的像素驱动的第二实例中假设的像素电路的列驱动划分电路的实例的视图。
该列驱动划分电路是根据列使能信号CLMEN生成FD行的传输栅极信号TG0至TG3的电路。通过生成FD行的传输栅极信号和列使能信号的逻辑积，来生成划分后的传输栅极信号。在此，划分后的传输栅极信号被表示为TG#(块列、FD行、FD列)。
[像素驱动的第三实例]
图17是示出在本技术的实施方式中的像素驱动的第三实例中假设的像素电路的实例的图。
在上述第一实例中，假设了以拜耳阵列的像素布置，但是在第三实例中，两个绿色像素中的一个用作用于感测相加的像素。用于感测相加的像素可原样用作拜耳阵列中的绿色像素，或者可以使得是没有滤色器的白色像素。在该实例中，代替像素114，提供了用于感测相加的像素115。此外，传输晶体管125连接至像素115，并且传输栅极信号TGW被提供至传输晶体管125的栅极。
图18是示出在本技术的实施方式中的像素驱动的第三实例中当读取包括ROI的块行时的时序实例的视图。
在像素驱动的第三实例中，对包括ROI的块行执行感测成像和高分辨率成像。即，在感测成像时，仅驱动TGW，并且不驱动除此以外的TG0至TG2。相反，在高分辨率成像驱动时，不驱动TGW，并且仅驱动除此以外的TG0至TG2。这使得可以在独立地控制像素的同时执行感测成像和高分辨率成像。
注意，当读取不包括ROI的块行时的时序实例与上述第一实例中的时序实例相似，因此省略其详细描述。
[效果]
以这种方式，根据本技术的实施方式，通过仅以高分辨率对关注区域(ROI)执行成像以进行输出、并且以低/高分辨率拍摄整个图像来追踪ROI，可以减少成像元件100的功耗。
注意，上述实施方式描述了用于体现本技术的实例，并且该实施方式中的内容与权利要求中指定本发明的内容之间存在对应关系。类似地，在权利要求中指定本发明的内容与本技术的实施方式中以相同名称分配的内容之间存在对应关系。然而，本技术不限于实施方式，并且可在不脱离其要旨的情况下以实施方式的各种修改来实施。
此外，上述实施方式中描述的过程可被认为是包括一系列过程的方法，或者可被认为是用于允许计算机执行该一系列过程的程序或存储该程序的记录介质。例如，可将光盘(CD)、小型光盘(MD)、数字多功能光盘(DVD)、存储卡、蓝光(注册商标)光盘等用作记录介质。
注意，在本说明书中描述的效果仅是说明性的而不是限制性的；也可能有另一种效果。
注意，本技术还可具有以下配置。
(1)一种成像装置，包括：
成像元件，在二维像素阵列中以预定分辨率对包括预定区域的第一像素行执行成像并且以低于预定分辨率的分辨率对第一像素行以外的第二像素行执行成像，在该二维像素阵列中，以预定方向布置的像素行沿垂直于预定方向的方向布置；
第一图像处理单元，基于第一像素行的成像信号生成预定区域的图像；
像素加法单元，对第一像素行的成像信号执行像素之间的加法处理，以使分辨率与第二像素行的成像信号的分辨率相同；以及
第二图像处理单元，基于第二像素行的成像信号和经受了加法处理的第一像素行的成像信号来生成整个区域的图像。
(2)根据上述(1)所述的成像装置，还包括：
运动检测处理单元，根据整个区域的图像的时间序列的变化来检测运动；和
控制单元，控制成像元件以在使检测到运动的区域成为预定区域的同时对第一像素行成像。
(3)根据上述(2)所述的成像装置，
其中，当从未检测到运动的状态转变到检测到运动的状态时，控制单元控制成像元件以增加帧率。
(4)根据上述(2)或(3)所述的成像装置，
其中，控制单元控制成像元件以根据检测到运动的区域的移动速度来改变帧率。
(5)根据(2)至(4)中任一项所述的成像装置，
其中，在整个区域的图像中检测到移动速度不同的多个移动体的情况下，控制单元控制成像元件以在使包括移动体的区域成为预定区域的同时对第一像素行成像。
(6)根据上述(2)至(5)中任一项所述的成像装置，还包括：
曝光评估值生成单元，基于在整个区域的图像中检测到运动的区域来生成曝光评估值，
其中，控制单元控制成像元件以基于曝光评估值执行曝光。
(7)根据上述(2)至(6)中任一项所述的成像装置，
其中，在检测到运动的状态下，成像元件交替地重复第一帧周期和第二帧周期，在第一帧周期中，以预定分辨率对第一像素行执行成像而不对第二像素行执行成像；在第二帧周期中，以低于预定分辨率的分辨率对所有像素行执行成像。
(8)根据上述(2)至(7)中任一项所述的成像装置，
其中，成像元件仅在检测到运动的状态下以预定分辨率对第一像素行执行成像。
(9)根据上述(1)至(8)中任一项所述的成像装置，还包括：
输出处理单元，输出由第一图像处理单元生成的预定区域的图像。
(10)一种成像元件的控制方法，该成像元件在二维像素阵列中以预定分辨率对包括预定区域的第一像素行执行成像并且以低于预定分辨率的分辨率对第一像素行以外的第二像素行执行成像，在该二维像素阵列中，以预定方向布置的像素行沿垂直于预定方向的方向布置，该控制方法包括：
第一图像处理过程，基于第一像素行的成像信号生成预定区域的图像；
像素加法过程，对第一像素行的成像信号执行像素之间的加法处理，以使分辨率与第二像素行的成像信号的分辨率相同；以及
第二图像处理过程，基于第二像素行的成像信号和经受了加法处理的第一像素行的成像信号来生成整个区域的图像。
参考符号列表
100成像元件
111至115像素(光电二极管)
121至125传输晶体管
131复位晶体管
132放大晶体管
141选择晶体管
150垂直信号线
151加法晶体管
160开关
180A/D转换器
200信号处理单元
210高分辨率区域图像处理单元
220像素加法单元
230低分辨率区域图像处理单元
240运动检测处理单元
250曝光评估值生成单元
260输出处理单元
300系统控制单元
400驱动单元。