阅读说明：本技术 摄像器件、摄像器件驱动方法和电子设备 (Image pickup device, image pickup device driving method, and electronic apparatus ) 是由 市丸典弘 全真生 于 2018-04-27 设计创作，主要内容包括：本技术涉及能够通过在比图像的输出周期短的时间段内使用高速读出来改善功能的摄像器件、摄像器件驱动方法和电子设备。所述摄像器件包括：像素阵列单元,在所述像素阵列单元中像素以矩阵方式布置着；以及控制单元,所述控制单元控制所述像素阵列单元的图像读出。所述控制单元致使所述像素阵列单元在将一个图像输出至外部的周期内执行两次以上图像读出。例如,本技术能够应用于包括存储区域的摄像器件等。(The present technology relates to an image pickup device, an image pickup device driving method, and an electronic apparatus capable of improving a function by using high-speed readout in a period shorter than an output cycle of an image. The image pickup device includes: a pixel array unit in which pixels are arranged in a matrix; and a control unit that controls image readout of the pixel array unit. The control unit causes the pixel array unit to perform image readout twice or more in a period in which one image is output to the outside. For example, the present technology can be applied to an image pickup device or the like including a storage region.)

摄像器件、摄像器件驱动方法和电子设备

技术领域

本技术涉及摄像器件、摄像器件驱动方法和电子设备，并且特别地，涉及能够通过在比图像的输出周期短的时间段内使用高速读出来改善功能的摄像器件、摄像器件驱动方法和电子设备。

背景技术

已经有这样的摄像装置(例如，参见专利文献1)：在一帧周期内，该摄像装置使用图像输出用曝光条件进行摄像，还使用在曝光时间上比图像输出用曝光条件的曝光时间长或短的检波用曝光条件进行摄像，从而对图像输出用曝光条件进行适当地校正。

引用文献列表

专利文献

专利文献1：日本专利申请特开No.2016-6930

发明内容

本发明要解决的问题

最近的诸如互补金属氧化物半导体(CMOS：complementary metal oxidesemiconductor)传感器等摄像器件也能够在比图像的输出周期短的时间段内进行高速读出，并且目前期望的是使用高速读出的新功能。

本技术就是鉴于上述情形而作出的，并且本技术旨在通过在比图像的输出周期短的时间段内使用高速读出来改善功能。

解决问题的技术方案

本技术的一个方面的摄像器件包括：像素阵列单元，在所述像素阵列单元中像素以矩阵方式布置着；以及控制单元，所述控制单元控制所述像素阵列单元的图像读出。这里，所述控制单元使所述像素阵列单元在将一个图像输出至外部的周期内执行两次以上图像读出。

根据本技术的一个方面的摄像器件驱动方法，所述摄像器件包括：像素阵列单元，在所述像素阵列单元中像素以矩阵方式布置着；以及控制单元，所述控制单元控制所述像素阵列单元的图像读出。在所述驱动方法中，所述摄像器件致使所述像素阵列单元在将一个图像输出的周期内执行两次以上图像读出。

根据本技术的一个方面的电子设备包括摄像器件，所述摄像器件包括：像素阵列单元，在所述像素阵列单元中像素以矩阵方式布置着；以及控制单元，所述控制单元控制所述像素阵列单元的图像读出。所述控制单元致使所述像素阵列单元在将一个图像输出至外部的周期内执行两次以上图像读出。

在本技术的一个方面中，在将一个图像输出至外部的周期内，像素阵列单元的图像读出被执行两次以上。

上述摄像器件可以是独立的装置，或者可以是一个装置中所含的内部模块。

本发明的效果

根据本技术的一个方面，能够通过在比图像的输出周期短的时间段内使用高速读出来改善功能。

注意，这里说明的效果不一定是限制性的，并且可以是本公开中说明的任何效果。

附图说明

图1是示出应用了本技术的摄像器件的示意性构造的框图。

图2是用于说明摄像器件的三层层叠结构的图。

图3是用于说明特征量检测处理的图。

图4是用于说明信号处理的图。

图5是用于说明第一操作模式的图。

图6是用于说明第一操作模式下的摄像处理的流程图。

图7是用于说明第二操作模式的图。

图8是用于说明第二操作模式下的摄像处理的流程图。

图9是用于说明用于切换操作模式的切换操作的图。

图10是用于说明操作模式切换处理的流程图。

图11是用于说明将闪烁信息(flicker information)作为特征量信息输出的具体示例的图。

图12是用于说明将闪烁信息作为特征量信息输出的具体示例的图。

图13是用于说明将HDR(High-Dynamic Range；高动态范围)图像作为输出图像输出的具体示例的图。

图14是示出作为本技术适用的电子设备的摄像装置的构造示例的框图。

图15是示出图像传感器的使用例的图。

图16是示出车辆控制系统的示意性构造的示例的框图。

图17是示出车外信息检测单元和摄像单元的安装位置的示例的说明图。

具体实施方式

在下文中，将说明用于实施本技术的方式(以下称为实施方式)。注意，将按以下顺序给出说明。

1.摄像器件的构造例

2.第一操作模式的说明

3.第二操作模式的说明

4.操作模式切换处理的说明

5.在第一操作模式下将闪烁信息作为特征量信息输出的示例

6.在第一操作模式下将HDR图像作为输出图像输出的示例

7.电子设备的适用例

8.图像传感器的使用例

9.移动体的应用例

<1.摄像器件的构造例>

图1是示出应用了本技术的摄像器件的示意性构造的框图。

图1的摄像器件1包括像素区域11、存储区域12、逻辑区域13和控制区域14。

(基板构造示例)

如图2所示，摄像器件1可以通过将三个半导体基板31至33层叠起来的三层结构而形成。

更具体地，如图2的A所示，能够采用如下构造：其中，在三个半导体基板31至33之中，在入射光侧的第一半导体基板31中形成像素区域11，在中间的第二半导体基板32中形成存储区域12，在第二半导体基板32下方的第三半导体基板33中形成逻辑区域13和控制区域14。

可替代地，如图2的B所示，还能够采用如下构造：其中，在三个半导体基板31至33之中，在第一半导体基板31中形成像素区域11和控制区域14，在第二半导体基板32中形成存储区域12，在第三半导体基板33中形成逻辑区域13。

例如，三个半导体基板31至33通过贯通通路(through via)或Cu-Cu金属结合(metallic bond)彼此电连接。

如上所述，摄像器件1具有这样的三层结构：其中，三个半导体基板31至33层叠在一起，从而形成除了设置有用于产生像素信号的像素区域11、用于控制上述像素信号的控制区域14以及用于对由像素阵列单元21拍摄的图像进行预定的信号处理的逻辑区域13之外还设置有用于临时记忆多个图像的存储区域12的构造。

接着再对图1进行说明，像素区域11具有像素阵列单元21和列AD(模拟-数字)转换单元22，存储区域12具有帧存储器23。另外，逻辑区域13具有图像特征检测单元24和信号处理单元25，控制区域14具有控制单元26。

在像素区域11的像素阵列单元21中，像素20以列方向和行方向的矩阵呈二维状布置着，各像素具有产生与入射光的光量对应的光电荷并累积这些光电荷的光电转换单元。列AD转换单元22将从呈二维状布置着的像素20各者输出的模拟像素信号转换为数字像素信号，并将该数字像素信号输出到存储区域12和逻辑区域13中的至少一者。像素阵列单元21和列AD转换单元22根据从控制单元26提供过来的时序信号等而被驱动。

存储区域12的帧存储器23例如由诸如动态只读存储器(DRAM：dynamic read onlymemory)之类的易失性存储器形成，并且帧存储器23具有用于记忆两个以上图像的记忆区。存储区域12将从列AD转换单元22提供过来的图像临时存储在帧存储器23中，并且基于控制单元26的控制将该图像输出到逻辑区域13。

逻辑区域13中的图像特征检测单元24检测由像素阵列单元21获取的图像的预定特征量。稍后将参照图3来说明由图像特征检测单元24检测的图像特征量的示例。

控制单元26指示图像特征检测单元24检测哪种图像特征量。图像特征检测单元24根据来自控制单元26的指示按需要获取帧存储器23中所记忆的一个以上图像，并检测这些图像的特征量。注意，在图1中，省略了从控制单元26到逻辑区域13的控制信号的图示。

信号处理单元25对由像素阵列单元21获取到的图像进行预定的信号处理，并将处理后的图像的图像信号输出至摄像器件1的后一级(外部)。当输出处理后的图像时，信号处理单元25把表示由图像特征检测单元24检测到的特征量的特征量信息附加到输出图像，并输出所得到的结果。稍后将参照图4说明能够由信号处理单元25进行的信号处理的示例。控制单元26指示信号处理单元25执行哪种信号处理。

控制区域14的控制单元26控制摄像器件1的整体的操作。

例如，控制单元26通过向各像素20和列AD转换单元22提供预定的时钟信号和时序信号，来控制像素20和列AD转换单元22的驱动。此外，控制单元26通过向存储区域12提供预定的时钟信号和时序信号，来控制将图像(数据)写入帧存储器23中和从帧存储器23读取图像(数据)。

此外，控制单元26指示图像特征检测单元24去检测图像的预定特征量，并把要对该图像进行的预定信号处理的内容指示给信号处理单元25。

摄像器件1能够以包括第一操作模式和第二操作模式的至少两种操作模式进行摄像，其中，在第一操作模式下，在逻辑区域13输出一个图像的时间段内像素阵列单元21被致使进行两次以上图像读出，在第二操作模式下，在上述时间段内像素阵列单元21被致使进行一次图像读出。控制单元26执行用于在第一操作模式与第二操作模式之间进行切换的控制。

根据如上所述构造而成的摄像器件1，在第一操作模式下，在输出一个图像的周期内，能够通过高速读出而在该器件内摄取多个图像。例如，在输出一个图像的30fps时间段内，能够在该器件内部以120fps摄取四个图像。30fps时间段是以30fps(帧/秒)获取每个图像的时间，并且其为1000/30＝约33.33ms(毫秒)。

因此，通过对在该器件内部获得的多个图像进行整合、或合成等，就可以将不能通过一次摄像形成的图像作为一个输出图像输出。

此外，通过使用在该器件内部获得的多个图像来检测各图像的特征量，并将特征量作为特征量信息与输出图像一起输出，就可以将不能从通过高速读出而获得的一个图像中检测到的信息作为附加信息输出。

因此，根据摄像器件1，可以将不能通过一次摄像形成的图像作为一个输出图像输出，或者可以使用在该器件内部获得的多个图像将不能从一个图像中检测到的信息作为附加信息输出。结果，能够改善摄像器件1的功能。

图3示出了由图像特征检测单元24进行的特征量检测处理的示例。

例如，图像特征检测单元24检测诸如下列等统计信息以作为图像特征量：构成图像的各像素的像素值的峰值(最大值或最小值中的至少一者)和平均值(APL)。

此外，例如，图像特征检测单元24从多个图像中检测表示目标对象的运动量的运动量信息以作为图像特征量。例如，在从四个图像中检测到10、-5和20作为在时间方向上相邻的图像之间的预定像素的运动量的情况下，可以将10、-5和20的集合作为特征量信息与输出图像一起输出，或者可以将作为四个图像中的预定像素的最终运动量的25＝10-5+20作为特征量信息与输出图像一起输出。

另外，例如，图像特征检测单元24检测用于校正图像中所含的闪烁成分的闪烁信息以作为图像特征量。另外，例如，图像特征检测单元24检测图像中的表示目标对象区域的区域信息以作为图像特征量。例如，表示作为目标对象区域的图像中的面部区域的面部区域信息被检测出来以作为图像特征量。

图4示出了由信号处理单元25进行的信号处理的示例。

例如，信号处理单元25对由像素阵列单元21拍摄的一个图像进行诸如白平衡调整处理、伽玛校正处理、去马赛克处理、降噪(noise reduction)处理(NR处理)和缺陷校正处理等信号处理。

另外，例如，信号处理单元25基于由图像特征检测单元24检测到的面部区域信息，执行用于提取面部区域的区域提取处理，由此生成仅仅面部区域的图像以作为输出图像。注意，在区域提取处理中，不仅可以提取面部区域，而且还可以提取所期望的对象区域。

另外，信号处理单元25还能够使用包括从像素区域11提供的一个图像和存储区域12中所记忆的一个以上图像的多个图像来执行预定的信号处理，并且将处理后的图像输出至摄像器件1的后一级(外部)。

例如，作为使用多个图像的预定信号处理，信号处理单元25从在时间方向上连续的多个图像中检测在时间方向上的噪声的周期性，并且针对要输出的各个图像基于检测到的噪声的周期性来执行用于降低噪声的3D-NR(三维降噪)处理。

另外，例如，作为使用多个图像的预定信号处理，信号处理单元25使用通过将曝光时间设定为第一时间(短曝光时间)而获取的图像和通过将曝光时间设定为比第一曝光时间长的第二时间(长曝光时间)而获取的图像，执行用于从具有不同曝光时间的两个图像生成具有扩展的动态范围的HDR图像的处理，并输出所获得的HDR图像。

信号处理单元25可以执行除了上述信号处理之外的处理。另外，可以对预定图像进行多种处理。

在第一操作模式中，从信号处理单元25输出的输出图像可以是通过高速读出而摄取的多个图像之中的预定一个图像、通过对上述预定一个图像进行信号处理而获得的处理图像、或者使用通过高速读出而摄取的多个图像从而新生成的图像。

<2.第一操作模式的说明>

图5是用于说明第一操作模式的图。

在图5上方所示的时序图中，横轴表示时间，纵轴表示像素阵列单元21的在垂直方向上的线位置。

另外，在该时序图中，粗实线表示从像素阵列单元21到列AD转换单元22的像素信号读出，粗虚线表示从逻辑区域13至摄像器件1的后一级(外部)的图像输出。

在该时序图中，粗实线和粗虚线被绘制为斜线，这是因为像素阵列单元21中的像素信号读出和向摄像器件1的后一级的图像输出是以行为单位依次执行的。

在图5所示的第一操作模式的示例中，摄像器件1以120fps执行四次对像素阵列单元21的图像读出，并且以30fps执行向后一级的图像输出。因此，像素阵列单元21在作为一个图像的输出周期的30fps时间段内读出四个图像。

信号处理单元25使用在30fps时间段内获取的四个图像执行预定的信号处理以生成输出图像。

图像特征检测单元24使用在30fps时间段内获取到的四个图像进行预定的特征量检测处理。由图像特征检测单元24检测到的特征量作为特征量信息被附加到在信号处理单元25进行信号处理后的输出图像中，然后被输出至摄像器件1的外部。

将参照图6的流程图来说明在第一操作模式下摄像器件1的摄像处理。例如，当从摄像器件1的外部提供了用于在第一操作模式下进行摄像的指令时，处理开始。

首先，在步骤S1中，控制单元26致使像素阵列单元21以120fps执行图像读出。像素阵列单元21开始以120fps进行图像读出。例如，在像素阵列单元21中，在复位了由光电二极管等构成的光电转换单元中所累积的信号之后，开始曝光(光接收)，并在经过了预定时间段之后，执行向列AD转换单元22的读出。通过对以矩阵状呈二维布置着的各像素20以行为单位按顺序进行上述一系列操作，获取一个图像。在第一操作模式中，像素阵列单元21在30fps时间段内进行四次摄像。

在步骤S2中，图像特征检测单元24使用在30fps时间段内获取到的多个(四个)图像进行预定的特征量检测处理。

在步骤S3中，信号处理单元25使用在30fps时间段内获取到的多个(四个)图像来进行预定的信号处理，以生成输出图像。

在步骤S4中，信号处理单元25把通过将由图像特征检测单元24检测到的特征量作为特征量信息附加到输出图像而获得的图像信号输出至摄像器件1的外部。

在第一操作模式中，重复进行上述步骤S1至S4的处理。

注意，在信号处理单元25执行的信号处理是用于从在30fps时间段内获取到的四个图像之中选择所需的一个图像的处理的情况下，可以把四个图像之中的预定一个图像作为输出图像。因此，输出图像不一定是使用四个图像生成的新图像。

<3.第二操作模式的说明>

图7是用于说明第二操作模式的图。

在图7所示的第二操作模式的示例中，摄像器件1以120fps执行一次像素阵列单元21的图像读出，并且以30fps执行向后一级的图像输出。因此，像素阵列单元21把以120fps高速读出的一个图像以30fps的低速度输出至外部。

信号处理单元25使用在30fps时间段内获取到的一个图像来进行预定的信号处理，以生成输出图像。

图像特征检测单元24使用在30fps时间段内获取到的一个图像来进行预定的特征量检测处理。由图像特征检测单元24检测到的特征量作为特征量信息被附加到在信号处理单元25进行信号处理之后的输出图像中，然后被输出至摄像器件1的外部。

将参照图8的流程图来说明在第二操作模式下摄像器件1的摄像处理。例如，当从摄像器件1的外部提供了用于在第二操作模式下进行摄像的指令时，处理开始。

首先，在步骤S11中，控制单元26致使像素阵列单元21以120fps执行图像读出。像素阵列单元21开始以120fps进行图像读出。在第二操作模式中，像素阵列单元21在30fps时间段内进行一次摄像。

在步骤S12中，图像特征检测单元24对由像素阵列单元21获取到的一个图像进行预定的特征量检测处理。第二操作模式下的特征量检测处理可以与第一操作模式下的特征量检测处理相同或不同。

在步骤S13中，信号处理单元25使用由像素阵列单元21获取到的一个图像进行预定的信号处理，并生成输出图像。

在步骤S14中，信号处理单元25把通过将由图像特征检测单元24检测到的特征量作为特征量信息附加到输出图像而获得的图像信号输出至摄像器件1的外部。

在第二操作模式中，重复进行上述步骤S11至S14的处理。

<4.操作模式切换处理的说明>

图9是用于说明将操作模式从第一操作模式切换到第二操作模式的切换操作的图。

控制单元26执行用于在第一操作模式与第二操作模式之间以预定时序进行切换的控制。

例如，在以120fps执行四次图像读出并以30fps输出一个图像的第一模式中，电力消耗增大了。为此，例如，如果检测到电力消耗已经上升到第一阈值或更高，则控制单元26执行将操作模式从第一操作模式变更为第二操作模式的控制。另外，如果电力消耗下降到第二阈值或更小，则控制单元26执行将操作模式从第二操作模式变更为第一操作模式的控制。

将参照图10的流程图来说明用于切换操作模式的操作模式切换处理。

首先，在步骤S21中，控制单元26致使在第一操作模式下进行像素阵列单元21的图像读出和输出图像的生成。在第一操作模式中，如参考图6的流程图所说明的那样，在30fps时间段内，执行以120fps进行的四次图像读出和一个输出图像的生成。

在步骤S22中，控制单元26基于由电力传感器检测到的表示摄像器件1的电力消耗的电力消耗信息来判定摄像器件1的电力消耗是否在第一阈值以上。电力传感器可以位于摄像器件1的内部或外部。

在步骤S22中，重复步骤S21的处理，直至已经判定摄像器件1的电力消耗在第一阈值以上为止。因此，在摄像器件1的电力消耗小于第一阈值的情况下，第一操作模式下的摄像处理是连续进行的。

然后，如果在步骤S22中已经判定摄像器件1的电力消耗在第一阈值以上，则处理进入步骤S23，并且控制单元26致使在第二操作模式下进行像素阵列单元21的图像读出和输出图像的生成。在第二操作模式中，如参考图8的流程图所说明的那样，在30fps时间段内，执行以120fps进行的一次图像读出和一个输出图像的生成。

在步骤S24中，控制单元26基于由电力传感器检测到的表示摄像器件1的电力消耗的电力消耗信息来判定摄像器件1的电力消耗是否在第二阈值以下。

在步骤S24中，重复步骤S23的处理，直至已经判定摄像器件1的电力消耗在第二阈值以下为止。因此，在摄像器件1的电力消耗大于第二阈值的情况下，第二操作模式下的摄像处理是连续进行的。

然后，如果在步骤S24中已经判定摄像器件1的电力消耗在第二阈值以下，则处理返回步骤S21，并且执行上述步骤S21的处理。也就是说，操作模式从第二操作模式变更为第一操作模式，并且开始第一操作模式下的摄像处理。

如上所述，考虑到了摄像器件1的电力消耗，摄像器件1能够在第一操作模式与第二操作模式之间适应性地切换。

注意，代替从电力传感器获取电力消耗信息的是，也可以从热传感器获取温度信息，并且例如，基于所获取的温度信息是否在相应的预定阈值以下和以上，可以适应地切换第一操作模式和第二操作模式。

可替代地，能够基于来自摄像器件1外部的操作指令来进行操作模式的变更。

<5.在第一操作模式下将闪烁信息作为特征量信息输出的示例>

接下来，将参照图11和图12来说明在第一操作模式下输出作为特征量信息的闪烁信息的具体示例。

在以行为单位在垂直方向上依次执行各像素的曝光及像素信号的读出的卷帘快门方式中，期望将曝光时间设定为短的曝光时间以便减少焦平面失真(focal planedistortion)。

然而，当将曝光时间设定得比荧光灯等的光源周期短时，会发生闪烁。

通常，当在荧光灯的照明下进行摄像时，图像中会出现条纹状的(streaky)亮度不均匀和颜色不均匀。特别地，已经确认了会有高亮度部分和低亮度部分的条纹图案在画面上流动的现象。这种现象就是闪烁，并且这种现象的起因在于：连接到AC(交流)电源的荧光灯以电源频率两倍的周期重复闪烁；以及摄像器件的工作原理。

为了防止出现闪烁，仅需要将曝光时间设定为闪烁周期的倍增周期来执行摄像。例如，如图11的A所示，在光源周期为60Hz的情况下，不会发生闪烁的最短曝光时间为1000/(60×2)＝8.33毫秒。

另一方面，如图11的B所示，在将曝光时间设定为比8.33毫秒短的时间来执行摄像的情况下，会产生带有闪烁的图像。

另外，在以比8.33毫秒短的曝光时间进行摄像的情况下，无法确定该曝光时段是光源的闪烁周期的哪部分波段(wave period)，因此就无法校正由于闪烁引起的亮度不均匀。

因此，在第一操作模式中，为了减少焦平面失真，例如，摄像器件1将其中曝光时间被设定得比光源的闪烁周期短的图像作为输出图像而输出，并将闪烁信息作为特征量信息输出。闪烁信息是用于在摄像器件1的后一级处的图像信号处理器(ISP：image signalprocessor)中校正由于输出图像中所含的闪烁而引起的亮度不均匀的校正信息。

具体地，摄像器件1致使像素阵列单元21在信号处理单元25输出一个图像的周期(以下也称为图像输出周期)内进行两次以上图像读出。在输出一个图像的周期内进行的多个图像的读出的时间段内，包含了闪烁周期的一半周期，或者更优选地，包括闪烁周期的一个周期。

在图12的示例中，在图像输出周期内，像素阵列单元21执行四次图像读出，两次图像读出时段是闪烁周期的1/2个周期，四次图像读出时段是闪烁周期的一个周期。

图像特征检测单元24针对在图像输出周期内获得的四个图像中的各者生成作为闪烁信息的亮度(像素值)的直方图信息。信号处理单元25把通过将图像特征检测单元24检测到的四个图像中的各者的闪烁信息作为特征量信息附加到输出图像而获得的输出信号输出至摄像器件1的外部。结果，摄像器件1后一级处的ISP(图像信号处理器)能够检测出用于校正输出图像的闪烁现象的闪烁周期，或者能够将接下来由摄像器件1执行的摄像的曝光时间调整为闪烁周期的倍增周期。例如，将四个图像中的预定一个图像作为输出图像而输出。

如上所述，通过使用在输出一个图像的周期(例如，30fps时间段)内在该器件内部通过高速读出而拍摄得到多个图像的结果，摄像器件1能够将无法从通过高速读出而拍摄得到的一个输出图像获得的信息作为附加信息附加并输出。结果，在用于处理输出图像的图像处理器(例如，ISP(图像信号处理器))中，能够使用附加信息来获得高质量的图像。

<6.在第一操作模式下将HDR图像作为输出图像输出的示例>

接下来，将参照图13说明在第一操作模式下将HDR图像作为输出图像输出的示例。

控制单元26致使像素阵列单元21在图像输出周期内执行两次图像读出。第一次读出的图像是设定为具有短曝光时间(第一曝光时间)的短曝光图像，第二次读出的图像是设定为具有比第一曝光时间长的第二曝光时间的长曝光图像。

信号处理单元25从具有不同曝光时间的两个图像(短曝光图像和长曝光图像)中生成具有扩展的动态范围的HDR图像。

图像特征检测单元24检测关于短曝光图像和长曝光图像各自的像素值的统计信息，具体地，检测像素值的峰值或平均值，以作为图像特征量。

信号处理单元25把通过将检测到的图像特征量作为特征量信息附加到作为输出图像的HDR图像而获得的图像信号输出至摄像器件1的外部。

注意，摄像器件1还能够通过在图像输出周期内改变各图像的曝光时间来拍摄三个以上图像，并且生成合成了三个以上图像的HDR图像。

如上所述，通过使用在输出一个图像的周期(例如，30fps时间段)内在该器件内部通过高速读出而拍摄得到多个图像的结果，摄像器件1能够使用多个图像生成预定的合成图像并且将该合成图像作为输出图像而输出。结果，能够减轻由用于处理所输出的图像信号的图像处理器(ISP)执行的处理的负担。

<7.电子设备的适用例>

本技术不限于应用于摄像器件。也就是说，本技术一般能适用于如下的使用摄像器件作为图像摄取单元(光电转换单元)的电子设备：例如，像数码相机和摄影机之类的摄像装置、具有摄像功能的便携式终端装置、以及使用摄像器件作为图像读取单元的复印机等等。摄像器件可以形成为单个芯片，或者可以呈现为具有摄像功能的模块化形式，在该模块化形式中，摄像单元和信号处理单元或者光学系统被封装在一起。

图14是示出作为本技术适用的电子设备的摄像装置的构造例的框图。

图14的摄像装置100包括：具有透镜组的光学单元101；采用图1的摄像器件1的构造的摄像器件(imaging device)102；以及作为相机信号处理电路的数字信号处理器(DSP：digital signal processor)电路103。另外，摄像装置100还包括帧存储器104、显示单元105、记录单元106、操作单元107和电源单元108。DSP电路103、帧存储器104、显示单元105、记录单元106、操作单元107和电源单元108通过总线109互相连接。

光学单元101摄取来自被摄体的入射光(像光)，并在摄像器件102的摄像面上成像。摄像器件102将由光学单元101聚集在摄像面上的入射光的光量以像素为单位转换为电信号，并将该电信号作为像素信号输出。作为摄像器件102，可以使用图1的摄像器件1，即，把基于通过高速读出在该器件内部获得的多个图像而计算出的预定图像特征量信息作为附加信息与一个输出图像一起输出的摄像器件。

显示单元105例如是诸如液晶显示器(LCD：liquid crystal display)和有机电致发光(EL：electro luminescence)显示器之类的薄型显示器，并且显示单元105显示由摄像器件102拍摄的运动图像或静止图像。记录单元106将由摄像器件102拍摄的运动图像或静止图像记录在诸如硬盘和半导体存储器等记录介质中。

操作单元107根据用户的操作对摄像装置100的各种功能发出操作指令。电源单元108将用作DSP电路103、帧存储器104、显示单元105、记录单元106和操作单元107的工作电源的各种电源适当地提供给这些供应对象。

如上所述，通过使用具有改进的功能的摄像器件1作为摄像器件102，减少了后一级中的DSP电路103上的处理负担。另外，通过使用附加到输出图像然后被输出的图像特征量信息，DSP电路103能够执行用于增强所拍摄图像的图像质量或增强所拍摄图像的功能的处理。因此，同样在诸如摄影机、数码相机、以及用于像便携电话一样的移动设备的相机模块等摄像装置100中，能够实现所拍摄图像的更高图像质量或所拍摄图像的更高功能。

<8.图像传感器的使用例>

图15是示出上述摄像器件1被用作图像传感器的使用例的图。

例如，如下所述，使用上述摄像器件1的图像传感器能够用于感测诸如可见光、红外光、紫外光和X射线等光的各种情况中。

·用于拍摄鉴赏用的图像的设备，例如数码相机或具有相机功能的便携式设备等。

·用于交通用途的设备，例如，为了诸如自动停止等安全驾驶或识别驾驶员状态，用于拍摄汽车的前、后、周围或车内等图像的车载传感器；用于监视行驶中的车辆和道路的监视摄像机；或者用于测量车辆之间的距离的距离测量传感器等。

·为诸如TV、冰箱或空调等家用电器提供的设备，用于拍摄用户的手势的图像并根据该手势进行电器操作。

·用于医疗和保健用途的设备，例如内窥镜或通过接收红外光进行血管摄影的设备等。

·用于安保用途的设备，例如用于预防犯罪的监视摄像机或用于人物身份认证的摄像机等。

·用于美容用途的设备，例如用于拍摄皮肤图像的皮肤测量仪器或者用于拍摄头皮图像的显微镜等。

·用于运动用途的设备，例如用于运动应用的运动相机或可穿戴式相机等。

·用于农业用途的设备，例如用于监视田地和农作物状况的摄像机等。

<9.移动体的应用例>

本公开的技术(本技术)能够应用于各种各样的产品。例如，本公开的技术可以被实施为安装在任何类型的移动体上的装置，这些移动体例如包括：汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人等。

图16是示出作为本公开的技术适用的移动体控制系统的一个示例的车辆控制系统的示意性构造示例的框图。

车辆控制系统12000包括通过通信网络12001彼此连接的多个电子控制单元。在图16所示的示例中，车辆控制系统12000包括：驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，作为集成控制单元12050的功能构造，示出了微型计算机12051、声音图像输出单元12052以及车载网络接口(I/F；interface)12053。

驱动系统控制单元12010根据各种程序来控制与车辆驱动系统有关的设备的操作。例如，驱动系统控制单元12010起到下述各设备的控制装置的作用，这些设备是：诸如内燃机或驱动电机等用于产生车辆的驱动力的驱动力产生设备；用于将驱动力传递到车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；以及用于产生车辆的制动力的制动设备等。

车身系统控制单元12020根据各种程序来控制安装在车身上的各种设备的操作。例如，车身系统控制单元12020起到下述各设备的控制装置的作用，这些设备是：无钥匙进入系统；智能钥匙系统；电动车窗装置；或诸如前灯、尾灯、刹车灯、转向指示灯、或雾灯等各种灯。在这种情况下，能够把从代替按键的便携式设备发送的无线电波或各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入，并且控制车辆的门锁装置、电动车窗装置、或灯等。

车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部信息。例如，摄像单元12031连接到车外信息检测单元12030。车外信息检测单元12030使摄像单元12031拍摄车辆外部的图像，并且接收所拍摄的图像。基于所接收到的图像，车外信息检测单元12030可以对行人、车辆、障碍物、标志、及路面上的文字等执行物体检测处理或距离检测处理。

摄像单元12031是用于接收光并且输出与所接收的光量对应的电信号的光学传感器。摄像单元12031能够将该电信号作为图像输出，或者能够将该电信号作为测距信息输出。此外，由摄像单元12031接收的光可以是可见光或诸如红外光等非可见光。

车内信息检测单元12040检测关于车辆内部的信息。例如，用于检测驾驶员状态的驾驶员状态检测单元12041连接到车内信息检测单元12040。例如，驾驶员状态检测单元12041包括用于拍摄驾驶员的图像的相机，并且车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息来计算驾驶员的疲劳程度或专注程度，或者可以判断驾驶员是否在睡觉。

基于由车外信息检测单元12030或车内信息检测单元12040获取到的关于车外或车内的信息，微型计算机12051能够计算驱动力产生设备、转向机构、或制动设备的控制目标值，并且能够向驱动系统控制单元12010输出控制指令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS：advanced driver assistance system)功能的协同控制，所述高级驾驶员辅助系统的功能包括：车辆的碰撞规避或撞击减缓、基于车间距离的跟随行驶、恒速行驶、车辆碰撞警告、或车辆偏离车道警告等。

另外，基于由车外信息检测单元12030或车内信息检测单元12040获取到的关于车辆周围的信息，微型计算机12051能够控制驱动力产生设备、转向机构、和制动设备等，从而执行旨在实现例如不依赖驾驶员的操作而自动行驶的自动驾驶的协同控制。

另外，基于由车外信息检测单元12030获取到的关于车辆外部的信息，微型计算机12051能够向车身系统控制单元12020输出控制指令。例如，微型计算机12051能够根据由车外信息检测单元12030检测到的前车或对面来车的位置来控制前灯，并执行例如将远光灯切换到近光灯等旨在防眩的协同控制。

声音图像输出单元12052将声音或图像中的至少一者的输出信号发送到输出设备，该输出设备能够在视觉上或在听觉上向车上的乘客或车辆外部通知信息。在图16的示例中，作为输出设备，示出了音频扬声器12061、显示单元12062和仪表板12063。例如，显示单元12062可以包括板上显示器(onboard display)或平视显示器(head-up display)中的至少一者。

图17是示出摄像单元12031的安装位置的示例的图。

在图17中，车辆12100具有作为摄像单元12031的摄像单元12101、12102、12103、12104和12105。

例如，摄像单元12101、12102、12103、12104和12105被设置于诸如车辆12100的前鼻、侧视镜、后保险杠、后备箱门、车厢内挡风玻璃的上部等位置。设置于前鼻上的摄像单元12101和设置于车厢内挡风玻璃的上部的摄像单元12105主要获取车辆12100前方的图像。设置于侧视镜上的摄像单元12102和12103主要获取车辆12100侧面的图像。设置于后保险杠或后备箱门上的摄像单元12104主要获取车辆12100后方的图像。由摄像单元12101和12105获取到的前方图像主要用于检测前车或者行人、障碍物、交通信号灯、交通标志、或车道等。

注意，图17示出了摄像单元12101～12104的摄像范围的一个示例。摄像范围12111表示设置于前鼻上的摄像单元12101的摄像范围，摄像范围12112和12113表示分别设置于侧视镜上的摄像单元12102和12103的摄像范围，摄像范围12114表示设置于后保险杠或后备箱门上的摄像单元12104的摄像范围。例如，通过把摄像单元12101～12104拍摄到的图像数据彼此叠加，能够获得车辆12100的从上方看到的俯瞰图。

摄像单元12101～12104中的至少一者可以具有获取距离信息的功能。例如，摄像单元12101～12104中的至少一者可以是包括多个摄像器件的立体相机，或者可以是具有用于相位差检测的像素的摄像器件。

例如，基于从摄像单元12101～12104获得的距离信息，微型计算机12051能够求出距摄像范围12111～12114内的各个立体物的距离以及该距离随时间的变化(相对于车辆12100的相对速度)，从而将如下立体物提取为前车：特别地，所述立体物是作为在车辆12100的行驶路径上最靠近的立体物的、朝着与车辆12100大致相同的方向以预定速度(例如，0km/h以上)行驶的立体物。此外，微型计算机12051能够设定在前车之前预先要保持的车间距离，并且能够执行自动制动控制(包括跟随停止控制)和自动加速控制(包括跟随启动控制)等。如上所述，可以执行旨在实现例如不依赖驾驶员的操作而自动行驶的自动驾驶的协同控制等。

例如，基于从摄像单元12101～12104获得的距离信息，微型计算机12051在将与立体物相关的立体物数据分类为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆等其它立体物的同时进行提取，并使用所提取的数据来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够看见的障碍物和驾驶员难以看见的障碍物。然后，微型计算机12051判断用于表示与各个障碍物发生碰撞的危险度的碰撞风险，并且当碰撞风险达到设定值以上并存在碰撞可能性时，微型计算机12051能够通过音频扬声器12061或显示单元12062向驾驶员输出警告，或者通过驱动系统控制单元12010执行强制减速或避让转向，由此执行用于避免碰撞的驾驶辅助。

摄像单元12101～12104中的至少一者可以是检测红外光的红外相机。例如，微型计算机12051能够通过判断摄像单元12101～12104所拍摄的图像中是否存在行人，来识别出行人。例如，通过如下的步骤来实施这种行人识别：在作为红外相机的摄像单元12101～12104所拍摄的图像中提取特征点的步骤；对表示物体轮廓的一系列特征点进行图案匹配处理来判定该物体是否是行人的步骤。如果微型计算机12051判定摄像单元12101～12104的所拍摄图像中存在有行人并识别出该行人，则声音图像输出单元12052控制显示单元12062使其在已识别出的行人上叠加地显示用于强调的矩形轮廓。此外，声音图像输出单元12052可以控制显示单元12062使其在所期望的位置处显示用于表示行人的图标等。

上文中，已经说明了能够本公开的技术适用的车辆控制系统的一个示例。例如，在上述构造中，本公开的技术适用于摄像单元12031。具体地，图1的摄像器件1能够应用于摄像单元12031。通过将根据本公开的技术应用于摄像单元12031，就可以通过使用在摄像单元12031内部获得的多个图像，能够将无法从一个图像中检测到的信息作为附加信息输出。因此，能够减轻车外信息检测单元12030和集成控制单元12050等的处理负担。另外，通过使用附加到输出图像且被输出的图像特征量信息，车外信息检测单元12030等能够执行用于提高所拍摄图像的图像质量或增强所拍摄图像的功能的处理。因此，可以通过生成更容易看见的所拍摄图像、或通过提高障碍物等的检测精度，来减轻驾驶员的疲劳和负担。

本技术的实施方案不限于上述实施方案，并且能够在不脱离本技术的范围内进行各种变形。

例如，能够采用将上述实施方案的一些功能相结合的形式。

在说明书中，流程图中所说明的步骤当然可以根据所描述的顺序按时间顺序进行，但是不一定必须按时间顺序进行处理，而是也可以并行地执行或在必要时(例如，调用时)执行。

注意，本说明书中描述的效果仅仅是示例并且不受限制，也能够获得除了本说明书中所述以外的效果。

注意，本技术也能够具有以下构造。

(1)一种摄像器件，包括：

像素阵列单元，在所述像素阵列单元中像素以矩阵方式布置着；以及

控制单元，所述控制单元控制所述像素阵列单元的图像读出，

其中，所述控制单元致使所述像素阵列单元在将一个图像输出至外部的周期内执行两次以上图像读出。

(2)根据(1)所述的摄像器件，其中，

所述控制单元执行在第一操作模式与第二操作模式之间进行切换的控制，在所述第一操作模式下，所述控制单元致使所述像素阵列单元在将一个图像输出至外部的周期内执行两次以上图像读出，在所述第二操作模式下，所述控制单元致使所述像素阵列单元在将一个图像输出至外部的周期内执行一次图像读出。

(3)根据(1)或(2)所述的摄像器件，还包括：

图像特征检测单元，所述图像特征检测单元检测图像的预定特征量；以及

信号处理单元，所述信号处理单元用于对图像进行预定的信号处理，

其中，表示所述特征量的特征量信息被附加至经过信号处理之后的输出图像，并被输出至外部。

(4)根据(3)所述的摄像器件，其中，

所述图像特征检测单元使用在所述周期内读出的多个图像来检测作为所述特征量的用于校正图像中所含的闪烁成分的闪烁信息。

(5)根据(3)或(4)所述的摄像器件，其中，

所述信号处理单元使用在所述周期内读出的多个图像来检测在时间方向上的噪声的周期性，并执行用于降低噪声的3D-NR处理。

(6)根据(3)或(4)所述的摄像器件，其中，

所述信号处理单元使用在所述周期内读出的多个图像来执行用于生成HDR图像的处理。

(7)一种摄像器件驱动方法，其中，

所述摄像器件包括：

像素阵列单元，在所述像素阵列单元中像素以矩阵方式布置着；

以及

控制单元，所述控制单元控制所述像素阵列单元的图像读出，并且其中，致使所述像素阵列单元在将一个图像输出的周期内执行两次以上图像读出。

(8)一种电子设备，包括摄像器件，

所述摄像器件包括：

像素阵列单元，在所述像素阵列单元中像素以矩阵方式布置着；

以及

控制单元，所述控制单元控制所述像素阵列单元的图像读出，其中，所述控制单元致使所述像素阵列单元在将一个图像输出至外部的周期内执行两次以上图像读出。

附图标记列表

1 摄像器件

20 像素

21 像素阵列单元

23 帧存储器

24 图像特征检测单元

25 信号处理单元

26 控制单元

100 摄像装置

102 摄像器件