具体实施方式

以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。

首先，对在以下说明中使用的术语进行说明。

CPU是指“Central Processing Unit：中央处理单元”的简称。RAM是指“RandomAccess Memory：随机存取存储器”的简称。ROM是指“Read Only Memory：只读存储器”的简称。DRAM是指“Dynamic Random Access Memory：动态随机存取存储器”的简称。SRAM是指“Static Random Access Memory：静态随机存取存储器”的简称。

LSI是指“Large-Scale Integration：大规模集成”的简称。ASIC是指“Application Specific Integrated Circuit：专用集成电路”的简称。PLD是指“Programmable Logic Device：可编程逻辑器件”的简称。FPGA是指“Field-ProgrammableGate Array：现场可编程门阵列”的简称。

SSD是指“Solid State Drive：固态驱动器”的简称。DVD-ROM是指“DigitalVersatile Disc Read Only Memory：数字通用光盘只读存储器”的简称。USB是指“Universal Serial Bus：通用串行总线”的简称。HDD是指“Hard Disk Drive：硬盘驱动器”的简称。EEPROM是指“Electrically Erasable and Programmable Read Only Memory：带电可擦可编程只读存储器”的简称。

CCD是指“Charge Coupled Device：电荷耦合元件”的简称。CMOS是指“Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的简称。EL是指“Electro-Luminescence：电致发光”的简称。A/D是指“Analog/Digital：模拟/数字”的简称。I/F是指“Interface：接口”的简称。UI是指“User Interface：用户界面”的简称。

LVDS是指“Low Voltage Differential Signaling：低压差分信号”的简称。PCI-e是指“Peripheral Component Interconnect Express：外围组件互连标准”的简称。SATA是指“Serial Advanced Technology Attachment：串行高级技术附件”的简称。SLVS-EC是指“Scalable Low Signaling with Embedded Clock：带有嵌入式时钟的可扩展低压信号”的简称。MIPI是指“Mobile Industry Processor Interface：移动行业处理器接口”的简称。

[第1实施方式]

作为一例，如图1所示，摄像装置10是镜头可换式相机。摄像装置10是数码相机，其包括摄像装置主体12、以可更换的方式安装于摄像装置主体12的可更换镜头14，并省略了反光镜。

在摄像装置主体12上设置有成像元件44。在可更换镜头14安装于摄像装置主体12上的情况下，表示被摄体的被摄体光透过可更换镜头14在成像元件44上成像，由成像元件44生成表示被摄体的图像的图像数据69(参考图3及图4)。

在摄像装置主体12上设置有混合式取景器(注册商标)16。这里所说的混合式取景器16是指例如选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。另外，OVF是指“optical viewfinder：光学取景器”的简称。并且，EVF是指“electronic viewfinder：电子取景器”的简称。

在摄像装置主体12的前表面上设置有取景器切换杆18。通过使取景器切换杆18沿箭头SW方向转动，从而切换能够用OVF视觉辨认的光学像和能够用EVF视觉辨认的电子图像即即时预览图像。这里所说的“即时预览图像”是指基于通过由成像元件44拍摄而得到的图像数据69(参考图3及图4)的显示用动态图像。即时预览图像通常也被称为实时取景图像。在摄像装置主体12的上表面设置有释放按钮20及转盘22。转盘22在设定摄像系统的动作模式及再生系统的动作模式等时被操作。

释放按钮20作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。

在摄像装置10中，作为动作模式，拍摄模式和回放模式根据用户的指示被选择性地设定。拍摄模式大致分为显示动画用拍摄模式和记录用拍摄模式。

作为一例，如图2所示，在摄像装置主体12的背面上设置有触摸面板显示器26、指示键28及取景器目镜部30。

触摸面板显示器26具备第1显示器32及触摸面板34(也参考图5)。作为第1显示器32的一例，可举出液晶显示器。另外，第1显示器32也可以不是液晶显示器，而是有机EL显示器等其他显示器。

第1显示器32显示图像及字符信息等。第1显示器32用于显示当摄像装置10为拍摄模式时通过连续拍摄而得到的即时预览图像。并且，第1显示器32也用于显示当被赋予静止图像用拍摄的指示时通过拍摄而得到的静止图像。此外，第1显示器32也用于显示当摄像装置10为回放模式时的回放图像及菜单画面等。

触摸面板34是透射型触摸面板，并与第1显示器32的显示区域的表面重叠。触摸面板34例如检测基于手指或手写笔等指示体的接触。

指示键28接收一个或多个菜单的选择、选择内容的确定、选择内容的删除、变焦及帧传送等各种的指示。

作为一例，如图3所示，可更换镜头14具有成像透镜40。成像透镜40具备物镜40A、聚焦透镜40B及光圈40C。物镜40A、聚焦透镜40B及光圈40C从被摄体侧到摄像装置主体12侧，沿着光轴L1，以物镜40A、聚焦透镜40B及光圈40C的顺序配置。聚焦透镜40B及光圈40C通过受到来自马达等驱动源(省略图示)的动力而进行工作。即，聚焦透镜40B及光圈40C根据所施加的动力沿着光轴L1移动。并且，光圈40C通过根据所施加的动力而进行工作来调节曝光。

摄像装置主体12具备机械快门42、成像元件44及处理部45。机械快门42通过受到来自马达等驱动源(省略图示)的动力而进行工作。成像元件44具备具有受光面61A的光电转换元件61。在可更换镜头14安装于摄像装置主体12的情况下，表示被摄体的被摄体光透过成像透镜40，经由机械快门42在成像元件44的受光面61A上成像。光电转换元件61通过对在受光面61A上成像的被摄体光进行光电转换，生成表示被摄体的图像的图像数据69。成像元件44将由光电转换元件61生成的图像数据69数字化后，经由通信线53、55的每一个输出到处理部45。

摄像装置主体12具备处理部45及UI系统器件48。处理部45是配置于成像元件44的外部的外部处理器。处理部45是本发明的技术所涉及的“成像元件的外部处理部”的一例。处理部45是位于成像元件44的后级的电路，具备控制器46及信号处理电路50。

控制器46控制整个摄像装置10。UI系统器件48是向用户提示信息或接收来自用户的指示的器件。在控制器46上连接有UI系统器件48，控制器46进行从UI系统器件48的各种信息的获取及UI系统器件48的控制。

成像元件44经由通信线57连接于控制器46，在控制器46的控制下，通过拍摄被摄体而生成图像数据69。

成像元件44经由通信线53及通信线55连接于信号处理电路50。具体而言，成像元件44与信号处理电路50之间通过通信线53及通信线55并联连接。成像元件44与信号处理电路50之间经由通信线53按照PCI-e的连接标准连接，经由通信线55按照LVDS的连接标准连接。

另外，在此，作为连接标准例示了PCI-e及LVDS，但本发明的技术并不限定于此，也可以是其他连接标准。作为其他连接标准，例如可举出SATA、SLVS-EC及MIPI等。然而，这些连接标准仅为一例，只要是在成像元件44与信号处理电路50之间，能够彼此独立地进行经由通信线53的通信和经由通信线55的通信的连接标准即可。

并且，在此，举出了在成像元件44与信号处理电路50之间以使用通信线53及通信线55的有线形式进行通信的方式例，但本发明的技术并不限定于此。例如，也可以代替在成像元件44与信号处理电路50之间以经由通信线53及通信线55的每一个的有线形式的通信，而设为在成像元件44与信号处理电路50之间进行以无线形式的通信。在该情况下，只要确保与经由通信线53的有线形式的通信路径相当的无线形式的第1通信路径和与经由通信线55的有线形式的通信路径相当的无线形式的第2通信路径即可。第1通信路径及第2通信路径是能够以通信标准彼此不同的无线形式，且在不干扰的频带中进行无线通信的通信路径。并且，也可以设为在成像元件44与信号处理电路50之间，利用有线形式的通信路径和无线形式的通信路径的两个通信路径进行彼此独立的通信。

信号处理电路50是LSI，具体而言，是包括ASIC的器件。在信号处理电路50上经由通信线60连接有控制器46，控制器46进行从信号处理电路50的各种信息的获取及信号处理电路50的控制。

图像数据69经由通信线53、55从成像元件44输入到信号处理电路50。详细内容将后述，信号处理电路50对经由通信线53、55输入的图像数据69进行各种信号处理。

另外，在本实施方式中，作为信号处理电路50采用了包括ASIC的器件。然而，这仅为一例，信号处理电路50也可以是包括ASIC、FPGA、和/或PLD的器件。并且，信号处理电路50也可以为包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，信号处理电路50可以通过硬件结构及软件结构的组合来实现。

成像元件44是本发明的技术所涉及的“层叠型成像元件”的一例。在本实施方式中，成像元件44是CMOS图像传感器。并且，在此，作为成像元件44而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使成像元件44是CCD图像传感器，本发明的技术也成立。

作为一例，如图4所示，读出同步信号从控制器46经由通信线57输入到成像元件44。读出同步信号中包含垂直同步信号及水平同步信号。垂直同步信号是规定从光电转换元件61的每1帧的图像数据69的读出开始时刻的同步信号。水平同步信号是规定从光电转换元件61的每个水平行的图像数据69的读出开始时刻的同步信号。在成像元件44中，按照根据从控制器46经由通信线57输入的垂直同步信号确定的帧速率，从光电转换元件61读出图像数据69。

在图4所示的例子中，作为成像元件44的帧速率，示出了在期间T内从光电转换元件61进行8帧量的读出的帧速率。作为具体的帧速率的一例，可举出120fps(frame persecond：每秒帧)。

作为一例，如图5所示，控制器46具备CPU46A、ROM46B、RAM46C、连接I/F46D及输入I/F46E。CPU46A、ROM46B、RAM46C、连接I/F46D及输入I/F46E经由总线88彼此连接。

在ROM46B中存储有各种程序。CPU46A从ROM46B读出各种程序，并将所读出的各种程序扩展到RAM46C。CPU46A按照扩展到RAM46C的各种程序来控制整个摄像装置10。

连接I/F46D是具有FPGA的通信器件，经由通信线57连接于成像元件44。CPU46A经由连接I/F46D控制成像元件44。

输入I/F46E是具有FPGA的通信器件，并且经由通信线60连接于信号处理电路50。由信号处理电路50实施了各种信号处理的图像数据69(参考图3及图4)经由通信线60输入到输入I/F46E。输入I/F46E将从信号处理电路50输入的图像数据69传送到CPU46A。

辅助存储装置80及外部I/F82连接于总线88。辅助存储装置80是SSD、HDD、或EEPROM等非易失性存储器。CPU46A对辅助存储装置80进行各种信息的读写。另外，辅助存储装置80是本发明的技术所涉及的“存储装置”的一例。

外部I/F82是具有FPGA的通信器件。USB存储器及存储卡等外部装置(省略图示)连接于外部I/F82。外部I/F82控制CPU46A与外部装置之间的各种信息的授受。另外，USB存储器及存储卡等外部装置是本发明的技术所涉及的“存储装置”的一例。

UI系统器件48具备混合式取景器16、触摸面板显示器26及接收器件84。第1显示器32及触摸面板34连接于总线88。因此，CPU46A使第1显示器32显示各种信息，并按照由触摸面板34接收到的各种指示进行动作。

接收器件84具备触摸面板34及硬键部25。硬键部25是多个硬键，并且具有释放按钮20、转盘22及指示键28。硬键部25连接于总线88，CPU46A按照由硬键部25接收到的各种指示进行动作。

混合式取景器16具备第2显示器86，CPU46A使第2显示器86显示各种信息。作为第2显示器86的一例，可举出液晶显示器。另外，第2显示器86也可以不是液晶显示器，而是有机EL显示器等其他显示器。

作为一例，如图6所示，混合式取景器16包括OVF90及EVF92。OVF90是反向伽利略取景器，并且具有目镜透镜94、棱镜96及物镜98。EVF92具有第2显示器86、棱镜96及目镜透镜94。

沿着物镜98的光轴L2在比物镜98更靠被摄体侧配置有液晶快门100，当使用EVF92时，液晶快门100进行遮光以免光学像入射到物镜98。

棱镜96反射显示于第2显示器86上的电子图像或各种信息并引导到目镜透镜94，并且将光学像和显示于第2显示器86上的电子图像和/或各种信息合成。作为显示于第2显示器86上的电子图像，可举出基于图像数据69的即时预览图像102。

在OVF模式的情况下，CPU46A控制成液晶快门100成为非遮光状态，以使能够从目镜透镜94视觉辨认光学像。并且，在EVF模式的情况下，CPU46A控制成液晶快门100成为遮光状态，以使能够从目镜透镜94仅视觉辨认显示于第2显示器86上的电子图像。

另外，以下，为了便于说明，在不需要区分说明第1显示器32(参考图2及图5)及第2显示器86的情况下，不标注符号而称为“显示器”。显示器是本发明的技术所涉及的“显示部(显示器)”的一例。并且，CPU46A是本发明的技术所涉及的“显示控制部(显示处理器)”及“存储控制部(存储处理器)”的一例。

作为一例，如图7所示，在成像元件44中内置有光电转换元件61、处理电路62及存储器64。成像元件44是将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件。即，光电转换元件61、处理电路62及存储器64被封装。在成像元件44中，处理电路62及存储器64层叠于光电转换元件61上。具体而言，光电转换元件61及处理电路62通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路62及存储器64也通过铜等具有导电性的凸块(省略图示)彼此电连接。在此，例示了光电转换元件61、处理电路62及存储器64的三层结构，但本发明的技术并不限于此，也可以是将处理电路62和存储器64作为一层的存储器层与光电转换元件61的两层结构。另外，存储器64是本发明的技术所涉及的“存储部(存储器)”的一例。

处理电路62例如是LSI。存储器64是写入时刻与读出时刻不同的存储器。在此，作为存储器64的一例，采用了DRAM。然而，本发明的技术并不限定于此，可以采用SRAM来代替DRAM作为存储器64。

处理电路62是包括ASIC及FPGA的器件，按照控制器46的指示控制整个成像元件44。另外，在此，举出了处理电路62通过包括ASIC及FPGA的器件来实现的例子，但本发明的技术并不限定于此，例如也可以是包括ASIC、FPGA和/或PLD的器件。并且，作为处理电路62，可以采用包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，处理电路62可以通过硬件结构及软件结构的组合来实现。

光电转换元件61具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可以举出“4896×3265”像素量的光电二极管。

在光电转换元件61中所包括的各光电二极管中配置有滤色器。滤色器包括最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。光电转换元件61具有R像素、G像素及B像素。

R像素是与配置有R滤色器的光电二极管对应的像素，G像素是与配置有G滤色器的光电二极管对应的像素，B像素是与配置有B滤色器的光电二极管对应的像素。R像素、G像素及B像素在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性配置。在本实施方式中，R像素、G像素及B像素以与X-Trans(注册商标)排列对应的周期性排列。另外，在此，例示了X-Trans排列，但本发明的技术并不限定于此，R像素、G像素及B像素的排列也可以是拜耳排列或蜂窝排列等。

成像元件44具有所谓的电子快门功能，在控制器46的控制下，通过启动电子快门功能而控制光电转换元件61内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。

在摄像装置10中，以滚动快门方式进行静止图像用拍摄和动态图像用拍摄。静止图像用拍摄通过启动电子快门功能且使机械快门42(参考图3)工作来实现，即时预览图像用拍摄通过不使机械快门42工作而启动电子快门功能来实现。另外，在此，例示出滚动快门方式，但本发明的技术并不限定于此，可以适用全局快门方式来代替滚动快门方式。

处理电路62读出通过由光电转换元件61拍摄被摄体而得到的图像数据69(参考图3及图4)。图像数据69是积蓄在光电转换元件61中的信号电荷。处理电路62对从光电转换元件61读出的模拟图像数据69进行A/D转换。处理电路62将通过对模拟图像数据69进行A/D转换而得到的数字图像数据69存储于存储器64。

处理电路62经由通信线53及通信线55连接于信号处理电路50。并且，处理电路62经由通信线57连接于控制器46。

在处理电路62与信号处理电路50之间，经由通信线53按照PCI-e的连接标准进行通信，经由通信线55按照LVDS的连接标准进行通信。

作为一例，如图8所示，处理电路62是本发明的技术所涉及的“处理器”的一例。其具备读出电路62A、数字处理电路62B、选择器62C、控制电路62D及通信I/F62E1、62E2、62E3。通信I/F62E2是本发明的技术所涉及的“第2输出部(第2通信接口)”的一例，通信I/F62E3是本发明的技术所涉及的“第1输出部(第1通信接口)”的一例。并且，控制电路62D是本发明的技术所涉及的“存储器控制器”的一例。

读出电路62A连接于光电转换元件61、数字处理电路62B及控制电路62D的每一个。存储器64连接于控制电路62D。选择器62C连接于数字处理电路62B、控制电路62D、通信I/F62E3的每一个。通信I/F62E1、62E2、62E3的每一个连接于控制电路62D。

作为一例，如图8所示，上述图像数据69大致分为模拟图像数据69A和数字图像数据69B。另外，以下，为了便于说明，在不需要区分说明模拟图像数据69A和数字图像数据69B的情况下，称为“图像数据69”。

通信I/F62E1是具有FPGA的通信器件，经由通信线57连接于控制器46。控制器46经由通信线57将读出同步信号输出到通信I/F62E1。通信I/F62E1经由通信线57接收来自控制器46的读出同步信号，将所接收的读出同步信号输出到控制电路62D。

通信I/F62E2是具有FPGA的通信器件，经由通信线53按照PCI-e的连接标准连接于信号处理电路50。通信I/F62E2控制信号处理电路50与控制电路62D之间的通信。在此，作为通信I/F62E2采用了具有FPGA的通信器件，但这仅为一例，通信I/F62E2也可以是包括ASIC、FPGA、和/或PLD的器件。并且，通信I/F62E2也可以是包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，通信I/F62E2可以通过硬件结构及软件结构的组合来实现。

通信I/F62E3是具有FPGA的通信器件，经由通信线55按照LVDS的连接标准连接于信号处理电路50。通信I/F62E2控制信号处理电路50与选择器62C之间的通信及信号处理电路50与控制电路62D之间的通信。在此，作为通信I/F62E3采用了具有FPGA的通信器件，但这仅为一例，通信I/F62E3也可以是包括ASIC、FPGA、和/或PLD的器件。并且，通信I/F62E3也可以是包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，通信I/F62E3可以通过硬件结构及软件结构的组合来实现。

读出电路62A在控制电路62D的控制下控制光电转换元件61，从光电转换元件61读出模拟图像数据69A。从光电转换元件61的模拟图像数据69A的读出按照从控制器46输入到处理电路62的读出同步信号进行。

具体而言，首先，通信I/F62E1从控制器46接收读出同步信号，将所接收的读出同步信号输出到控制电路62D。接着，控制电路62D将从通信I/F62E1输入的读出同步信号传送到读出电路62A。即，垂直同步信号及水平同步信号被传送到读出电路62A。并且，读出电路62A按照从控制电路62D传送的垂直同步信号开始从光电转换元件61以帧单位读出模拟图像数据69A。并且，读出电路62A按照从控制电路62D传送的水平同步信号开始以水平行单位的模拟图像数据69A的读出。

读出电路62A对从光电转换元件61读出的模拟图像数据69A进行模拟信号处理。模拟信号处理包括噪声消除处理及模拟增益处理等公知的处理。噪声消除处理是消除由光电转换元件61中所包括的像素之间的特性的偏差引起的噪声的处理。模拟增益处理是对模拟图像数据69A施加增益的处理。如此进行模拟信号处理的模拟图像数据69A通过读出电路62A输出到数字处理电路62B。

数字处理电路62B具备A/D转换器62B1。A/D转换器62B1对模拟图像数据69A进行A/D转换。A/D转换器62B1是本发明的技术所涉及的“第1A/D转换器”及“第2A/D转换器”的一例。

数字处理电路62B对从读出电路62A输入的模拟图像数据69A进行数字信号处理。数字信号处理例如包括相关双采样、基于A/D转换器62B1的A/D转换及数字增益处理。

由数字处理电路62B对模拟图像数据69A进行相关双采样。对于进行了相关双采样的信号处理的模拟图像数据69A，由A/D转换器62B1进行A/D转换，由此，模拟图像数据69A被数字化，作为RAW数据得到数字图像数据69B。并且，由数字处理电路62B对数字图像数据69B进行数字增益处理。数字增益处理是指对数字图像数据69B施加增益的处理。如此通过进行数字信号处理而得到的数字图像数据69B由数字处理电路62B输出到选择器62C。

选择器62C将从数字处理电路62B输入的数字图像数据69B选择性地传送到两个传送目的地。即，按照控制电路62D的指示，选择器62C将从数字处理电路62B输入的数字图像数据69B选择性地传送到控制电路62D及通信I/F62E3。

控制电路62D将从选择器62C输入的数字图像数据69B存储于存储器64。存储器64是能够存储多个帧的数字图像数据69B的存储器。存储器64具有像素单位的存储区域(省略图示)，数字图像数据69B通过控制电路62D以像素单位存储于存储器64中的对应的存储区域中。

控制电路62D能够对存储器64进行随机存取，根据来自经由通信I/F62E2的信号处理电路50的请求，从存储器64获取数字图像数据69B。控制电路62D将从存储器64获取的数字图像数据69B输出到通信I/F62E2。

在处理电路62中，作为对信号处理电路50的数字图像数据69B的输出，经由通信线53的第1输出和经由通信线55的第2输出在控制电路62D的控制下，彼此独立地进行。第1输出及第2输出是彼此不同的输出方式的输出。即，在第1输出和第2输出中，在将数字图像数据69B输出到信号处理电路50之前传输的数字图像数据69B的传输通路不同，且在成像元件44与信号处理电路50之间的连接标准也不同。

第1输出是指经由第1传输通路的数字图像数据69B向信号处理电路50的输出。第1传输通路是指将数字图像数据69B不经由控制电路62D而依次传输到选择器62C、通信I/F62E3及信号处理电路50的路径。即，第1输出的输出方式是将从A/D转换器62B1得到的数字图像数据69b不存储于存储器64中而输出的输出方式。另外，在第1传输通路中传输的数字图像数据69B是本发明的技术所涉及的“通过拍摄被摄体而得到的第1图像数据”的一例。

第2输出是指经由第2传输通路的数字图像数据69B向信号处理电路50的输出。第2传输通路是指将数字图像数据69B依次传输到存储器64、控制电路62D、通信I/F62E2及信号处理电路50的路径。即，第2输出的输出方式是输出由控制电路62D从存储器64读出的数字图像数据69B的输出方式。另外，在第2传输通路中传输的数字图像数据69B是本发明的技术所涉及的“基于存储于存储部中的图像数据的第2图像数据”的一例。

第1输出通过使用通信I/F62E3及通信线55来实现。即，当从选择器62C输入数字图像数据69B时，通信I/F62E3将所输入的数字图像数据69B经由通信线55输出到信号处理电路50。

第2输出通过使用通信I/F62E2及通信线53来实现。即，当从控制电路62D输入数字图像数据69B时，通信I/F62E2将所输入的数字图像数据69B经由通信线53输出到信号处理电路50。

信号处理电路50对经由通信线53、55从处理电路62输入的数字图像数据69B进行上述各种信号处理。各种信号处理例如包括去马赛克处理、数字间隔剔除处理及数字加法运算处理等公知的信号处理。

去马赛克处理是根据与滤色器的排列对应的马赛克图像对每个像素计算所有颜色信息的处理。例如，在由RGB三色的滤色器构成的成像元件的情况下，根据由RGB构成的马赛克图像对每个像素计算所有RGB的颜色信息。数字间隔剔除处理是以行单位间隔剔除数字图像数据69B中所包括的像素的处理。行单位例如是指水平行单位和/或垂直行单位。数字加法运算处理例如是对数字图像数据69B中所包括的多个像素的像素值进行加法运算平均的处理。

另外，各种信号处理也包括其他公知的信号处理。作为其他公知的信号处理，例如可举出白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等。

作为一例，如图9所示，在成像元件44中进行包括摄像处理和输出处理的处理。在摄像处理中，在进行第N(自然数)次曝光、第N次读出、第N次复位、第N次数字信号处理及第N次存储后，进行第N+1次曝光、第N+1次读出、第N+1次复位及第N+1次数字信号处理。并且，在进行输出处理后，N加1，并重复摄像处理及输出处理。

在开始摄像处理时，光电转换元件61被读出电路62A复位，光电转换元件61内的各像素的残余电荷被消除。在从进行对光电转换元件61的基于读出电路62A的上一次复位到进行第N次读出为止的期间由光电转换元件61进行第N次曝光。

当第N次的垂直同步信号输入到读出电路62A时，由读出电路62A进行第N次读出。第N次读出是指根据第N次的垂直同步信号向读出电路62A的输入，由读出电路62A进行的模拟图像数据69A的读出。

第N次复位是指与第N次读出对应地由读出电路62A进行的光电转换元件61的复位。第N次数字信号处理是指由数字处理电路62B对通过第N次读出而得到的模拟图像数据69A进行的数字信号处理。

第N次存储是指通过第N次数字信号处理而得到的数字图像数据69B向存储器64的存储。第N次存储通过使用选择器62C、控制电路62D及存储器64来实现。即，通过第N次数字信号处理而得到的数字图像数据69B经由选择器62C输入到控制电路62D，由控制电路62D将其存储于存储器64。

在从进行第N次复位到进行第N+1次读出为止的期间由光电转换元件61进行第N+1次曝光。

当第N+1次的垂直同步信号输入到读出电路62A时，由读出电路62A进行第N+1次读出。第N+1次读出是指根据第N+1次的垂直同步信号向读出电路62A的输入，由读出电路62A进行的模拟图像数据69A的读出。

第N+1次复位是指与第N+1次读出对应地由读出电路62A进行的光电转换元件61的复位。第N+1次数字信号处理是指由数字处理电路62B对通过第N+1次读出而得到的模拟图像数据69A进行的数字信号处理。

在输出处理中，第1输出和第2输出并行进行。即，最新的数字图像数据69B经由第1传输通路输出到信号处理电路50，且1帧之前的数字图像数据69B经由第2传输通路输出到信号处理电路50。

在此，最新的数字图像数据69B是指通过第N+1次数字信号处理而得到的数字图像数据69B。并且，1帧之前的数字图像数据69B是指在当前时刻存储于存储器64中的数字图像数据69B。在当前时刻存储于存储器64中的数字图像数据69B是指通过第N次数字信号处理而得到，经由选择器62C输入到控制电路62D，由控制电路62D存储于存储器64中的数字图像数据69B。

在成像元件44中，由于存储器64是DRAM，因此无法对存储器64同时完成写入和读出。因此，作为一例，如图10所示，第1输出及第2输出在无法向存储器64写入的期间(图10所示的“无法写入期间”)进行。换言之，在成像元件44中，利用无法写入期间，将连续的2帧量的数字图像数据并行输出到信号处理电路50。

在图10所示的例子中，第1输出按照从控制器46经由通信I/F62E输入的水平同步信号进行。即，通信I/F62E3将从选择器62C(参考图8)输入的数字图像数据69B按照从控制器46经由通信I/F62E1及控制电路62D输入的水平同步信号，按每1水平行输出到信号处理电路50。

另一方面，第2输出与第1输出并行进行。即，在进行第1输出的期间，控制电路62D从存储器64获取比从通信I/F62E3输出的数字图像数据69B早1帧得到的1帧量的数字图像数据69B，并输出到通信I/F62E2。通信I/F62E2将从控制电路62D输入的1帧量的数字图像数据69B输出到信号处理电路50。

接着，对摄像装置10的作用进行说明。

首先，参考图11，对由成像元件44的处理电路62执行的控制处理流程进行说明。

在图11所示的控制处理中，首先，在步骤ST10中，控制电路62D判定在存储器64内是否未存储有数字图像数据69B。在步骤ST10中，在存储器64内存储有数字图像数据69B的情况下判定为“否”，控制处理转移到步骤ST22。在步骤ST10中，在存储器64内未存储有数字图像数据69B的情况下判定为“是”，控制处理转移到步骤ST12。

在步骤ST12中，控制电路62D判定是否由通信I/F62E1接收到来自控制器46的垂直同步信号。在步骤ST12中，在通信I/F62E1未接收到来自控制器46的垂直同步信号的情况下判定为“否”，控制处理转移到步骤ST20。在步骤ST12中，在由通信I/F62E1接收到来自控制器46的垂直同步信号的情况下判定为“是”，控制处理转移到步骤ST14。

在步骤ST14中，读出电路62A进行模拟图像数据69A的读出及光电转换元件61的复位，然后控制处理转移到步骤ST16。

在步骤ST16中，数字处理电路62B对模拟图像数据69A进行数字信号处理，然后控制处理转移到步骤ST18。

在步骤ST16中通过对模拟图像数据69A进行数字信号处理而得到的数字图像数据69B输出到选择器62C，选择器62C将数字图像数据69B传送到控制电路62D。

在步骤ST18中，控制电路62D将数字图像数据69B存储于存储器64中，然后控制处理转移到步骤ST20。

在步骤ST20中，控制电路62D判定是否满足结束控制处理的条件(以下，称为“控制处理结束条件”)。作为控制处理结束条件的一例，可举出由接收器件84(参考图5)接收到结束控制处理的指示的条件。在步骤ST20中，在不满足控制处理结束条件的情况下判定为“否”，控制处理转移到步骤ST10。在步骤ST20中，在满足控制处理结束条件的情况下判定为“是”，控制处理结束。

在步骤ST22中，控制电路62D判定是否由通信I/F62E1接收到来自控制器46的垂直同步信号。在步骤ST22中，在通信I/F62E1未接收到来自控制器46的垂直同步信号的情况下判定为“否”，控制处理转移到步骤ST30。在步骤ST22中，在由通信I/F62E1接收到来自控制器46的垂直同步信号的情况下判定为“是”，控制处理转移到步骤ST24。

在步骤ST24中，读出电路62A进行模拟图像数据69A的读出及光电转换元件61的复位，然后控制处理转移到步骤ST26。

在步骤ST26中，数字处理电路62B对模拟图像数据69A进行数字信号处理，然后控制处理转移到步骤ST28。

在步骤ST26中通过对模拟图像数据69A进行数字信号处理而得到的数字图像数据69B输出到选择器62C，选择器62C将数字图像数据69B传送到通信I/F62E3。

在步骤ST28中，处理电路62进行第1输出及第2输出，然后转移到步骤ST30。第1输出及第2输出是以彼此不同的输出方式的输出。即，第1输出是使用第1传输通路(参考图9)且按照LVDS的连接标准进行的输出，第2输出是使用第2传输通路(参考图9)且按照PCI-e的连接标准进行的输出。

在步骤ST28中，通信I/F62E3经由通信线55将从选择器62C传送的数字图像数据69B输出到信号处理电路50(第1输出)。另一方面，控制电路62D根据来自控制器46的请求，从存储器64获取1帧之前的数字图像数据69B，从通信I/F62E2经由通信线53输出到信号处理电路50(第2输出)。

在步骤ST30中，控制电路62D判定是否满足控制处理结束条件。在步骤ST30中，在不满足控制处理结束条件的情况下判定为“否”，控制处理转移到步骤ST10。在步骤ST20中，在满足控制处理结束条件的情况下判定为“是”，控制处理结束。

当通过执行本控制处理从通信I/F62E3经由通信线55输出到信号处理电路50的数字图像数据69B输入到信号处理电路50时，被传送到控制器46。另一方面，当从通信I/F62E2经由通信线53输出到信号处理电路50的数字图像数据69B输入到信号处理电路50时，也被传送到控制器46。在控制器46中，数字图像数据69B输入到输入I/F46E，并且基于数字图像数据69B的图像由CPU46A显示于显示器上。另外，基于输入到输入I/F46E的数字图像数据69B的图像是本发明的技术所涉及的“基于第1图像数据的第1图像”及“基于第2图像数据的第2图像”的一例。

并且，输入到输入I/F46E的数字图像数据69B由CPU46A存储于辅助存储装置80，或经由外部I/F82存储于USB存储器(省略图示)和/或存储卡(省略图示)等外部装置。

如以上说明，在摄像装置10中，通过拍摄被摄体而得到的数字图像数据69B由通信I/F62E3输出到信号处理电路50。并且，存储于存储器64中的数字图像数据69B由通信I/F62E2输出到信号处理电路50。并且，通信I/F62E3的输出方式与通信I/F62E2的输出方式不同。即，最新的数字图像数据69B通过第1传输通路(参考图9)经由通信线55输出到信号处理电路50，1帧之前的数字图像数据69B通过第2传输通路(参考图9)经由通信线53输出到信号处理电路50。并且，通信I/F62E3与信号处理电路50按照LVDS的连接标准连接，通信I/F62E2与信号处理电路50按照PCI-e的连接标准连接。因此，根据摄像装置10，与仅从单个通信I/F向处理部45输出数字图像数据69B的情况相比，能够抑制数字图像数据69B的输出停滞。

并且，在摄像装置10中，第1输出及第2输出(参考图8～图10)在控制电路62D的控制下，彼此独立地进行。因此，根据摄像装置10，能够自由地变更进行第1输出的时刻和进行第2输出的时刻。

并且，在摄像装置10中，根据来自控制器46的请求进行第2输出。因此，根据摄像装置10，即使处理部45不处于接收第2输出的状态，也能够避免进行第2输出。

并且，在摄像装置10中，作为第1输出的输出方式，采用了将从A/D转换器62B1得到的数字图像数据69B不存储于存储器64中而输出的输出方式。并且，作为第2输出的输出方式，采用了输出由控制电路62D从存储器64读出的数字图像数据69B的输出方式。即，即使在不能进行第2输出的情况下，也继续进行第1输出。因此，根据摄像装置10，即使在将数字图像数据69B写入存储器64的期间，也能够继续从成像元件44向信号处理电路50的输出。

并且，在摄像装置10中，作为存储器64，采用了写入时刻与读出时刻不同的存储器。在摄像装置10中，在避免了对存储器64的写入时刻的时刻进行第1输出及第2输出。因此，根据摄像装置10，即使存储器64是写入时刻与读出时刻不同的存储器，也能够继续从成像元件44向处理部45输出数字图像数据69B。

并且，在摄像装置10中，作为存储器64，采用了DRAM。在摄像装置10中，在避免了对DRAM的写入时刻的时刻进行第1输出及第2输出。因此，根据摄像装置10，即使存储器64是DRAM，也能够继续从成像元件44向处理部45输出数字图像数据69B。

并且，在摄像装置10中，作为成像元件44，采用了将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件。由此，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，成像元件44的便携性提高。并且，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，能够提高设计的自由度。此外，与未将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件相比，也能够有助于摄像装置主体12的小型化。

并且，如图7所示，作为成像元件44，采用了在光电转换元件61上层叠有存储器64的层叠型成像元件。由此，由于能够缩短连接光电转换元件61与存储器112的配线，因此能够减少配线延迟，其结果，与未层叠光电转换元件61和存储器64的情况相比，能够提高从光电转换元件61向存储器64的图像数据69的传送速度。传送速度的提高也有助于整个处理电路62中的处理的高速化。并且，与未层叠光电转换元件61和存储器64的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件61和存储器64的情况相比，也能够有助于摄像装置主体12的小型化。

并且，在摄像装置10中，基于数字图像数据69B的即时预览图像等显示于第2显示器86上。由此，能够使用户视觉辨认由数字图像数据69B表示的图像。

此外，在摄像装置10中，从通信I/F62E2输出到信号处理电路50的最新的数字图像数据69B由CPU46A存储于辅助存储装置80、USB存储器、和/或存储卡等中。并且，从通信I/F62E3输出到信号处理电路50的1帧之前的数字图像数据69B也由CPU46A存储于辅助存储装置80、USB存储器、和/或存储卡等中。由此，能够不过多或不足地管理通过拍摄被摄体而得到的总帧量的数字图像数据69B。

另外，在上述第1实施方式中，对根据来自控制器46的请求进行第2输出的情况进行了说明，但本发明的技术并不限定于此。例如，也可以设为以通过选择器62C开始将通过上述“第N+1次数字信号处理”而得到的数字图像数据69B传送到通信I/F62E3为条件开始第2输出。并且，也可以设为以通过数字处理电路62B开始将通过上述“第N+1次数字信号处理”而得到的数字图像数据69B输出到选择器62C为条件开始第2输出。总之，只要在不进行向存储器64的写入的期间开始第2输出即可。

并且，在上述第1实施方式中，举出从选择器62C传送到通信I/F62E3的数字图像数据69B经由通信线55输出到信号处理电路50的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以设为通过由在选择器62C与通信I/F62E3之间的图像处理电路(省略图示)对数字图像数据69B实施某些图像处理而得到的图像数据由通信I/F62E3输出到信号处理电路50。在此，作为上述图像处理，例如可举出间隔剔除处理及加法运算处理等公知的图像处理。另外，通过由在选择器62C与通信I/F62E3之间的图像处理电路对数字图像数据69B实施某些图像处理而得到的图像数据是本发明的技术所涉及的“第1图像数据”的一例。

并且，在上述第1实施方式中，举出存储于存储器64中的数字图像数据69B由通信I/F62E2输出到信号处理电路50的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以设为通过由控制电路62D对存储于存储器64中的数字图像数据69B实施上述图像处理而得到的图像数据经由通信I/F62E2输出到信号处理电路50。另外，通过由控制电路62D对存储于存储器64中的数字图像数据69B实施上述图像处理而得到的图像数据是本发明的技术所涉及的“第2图像数据”的一例。

并且，在上述第1实施方式中，举出了基于从通信I/F62E2及通信I/F62E3的每一个输出的数字图像数据69B的各图像由CPU46A显示于显示器上的方式例，但本发明的技术并不限定于此。例如，也可以设为基于从通信I/F62E2或通信I/F62E3输出到信号处理电路50的数字图像数据69B的图像由CPU46A显示于显示器上。

并且，在上述第1实施方式中，举出了从通信I/F62E2及通信I/F62E3的每一个输出的数字图像数据69B由CPU46A存储于辅助存储装置80等的方式例，但本发明的技术并不限定于此。例如，也可以设为从通信I/F62E2或通信I/F62E3输出到信号处理电路50的数字图像数据69B由CPU46A存储于辅助存储装置80等。

并且，在上述第1实施方式中，作为成像元件44，例示出将光电转换元件61、处理电路62及存储器64单芯片化而成的成像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件61、处理电路62及存储器64中的至少光电转换元件61及存储器64单芯片化即可。

[第2实施方式]

在上述第1实施方式中，举出第1输出和第2输出并行进行的方式例进行了说明，但在本第2实施方式中，对交替地进行第1输出和第2输出的方式例进行说明。另外，在本第2实施方式中，对与上述第1实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第1实施方式不同的部分进行说明。

作为一例，如图12所示，本第2实施方式所涉及的摄像装置10与上述第1实施方式的不同点在于，从通信线57分支的通信线59连接于信号处理电路50。另外，在本第2实施方式的说明中，为了便于说明，将本第2实施方式所涉及的摄像装置10简称为“摄像装置10”。

由于从通信线57分支的通信线59连接于信号处理电路50，因此从控制器46输出的读出同步信号经由通信线59输入到信号处理电路50。因此，信号处理电路50能够进行与从控制器46经由通信线59输入的读出同步信号对应的动作。

垂直同步信号经由通信线59从控制器46输入到信号处理电路50。信号处理电路50按照垂直同步信号的输入时刻确定垂直消隐期间。并且，当进入垂直消隐期间时，信号处理电路50生成向处理电路62请求第2输出的开始的输出请求信号，将所生成的输出请求信号经由通信线53输出到通信I/F62E2。输出请求信号从通信I/F62E2传送到控制电路62D。当输出请求信号从通信I/F62E2传送到控制电路62D时，开始第2输出。如在上述第1实施方式中所说明，在第2输出中使用第2传输通路传输数字图像数据69B。

即，当从通信I/F62E2传送输出请求信号时，控制电路62D从存储器634获取数字图像数据69B，将所获取的数字图像数据69B输出到通信I/F62E2。通信I/F62E2将从控制电路62D输入的数字图像数据69B经由通信线53输出到信号处理电路50。

作为一例，如图13及图14所示，在成像元件44中，进行摄像处理和输出处理。在图13所示的摄像处理中，与上述第1实施方式同样地，进行基于光电转换元件61的曝光、模拟图像数据69A的读出、光电转换元件61的复位、数字信号处理、及数字图像数据69B向存储器64的存储。

作为一例，如图14所示，在输出处理中，交替地进行第1输出和第2输出。当垂直同步信号从控制器46输入到处理电路62时，进行在上述第1实施方式中说明的第1输出。并且，在垂直消隐期间，当从信号处理电路50向处理电路62输入输出请求信号时，进行在上述第1实施方式中说明的第2输出。

然而，当垂直同步信号从控制器46输入到成像元件44时，开始从光电转换元件61的1帧量的模拟图像数据69A的读出。并且，通过对模拟图像数据69A进行数字信号处理而得到的数字图像数据69B由选择器62C传送到控制电路62D，并由控制电路62D存储于存储器64。由于存储器64是DRAM，因此在基于控制电路62D的对存储器64的写入期间，不能进行基于控制电路62D的从存储器64的读出。

因此，作为一例，如图15所示，在向存储器64的写入期间，进行不依据控制电路62D的第1输出。即，1帧量的最新的数字图像数据69B从数字处理电路62B输出到选择器62C，由选择器62C传送到通信I/F62E3。并且，1帧量的最新的数字图像数据69B由通信I/F62E3经由通信线55输出到信号处理电路50。

当第1输出完成时，进入垂直消隐期间。由于在垂直消隐期间不进行向存储器64的写入，因此能够进行基于控制电路62D的从存储器64的读出。

因此，作为一例，如图15所示，在垂直消隐期间，即从存储器64的读出期间，进行伴随由控制电路62D从存储器64读出数字图像数据69B的第2输出。即，在1帧之前得到的1帧量的数字图像数据69B由控制电路62D从存储器64读出，被传送到通信I/F62E2。并且，从存储器64读出的1帧量的数字图像数据69B由通信I/F62E2经由通信线53输出到信号处理电路50。

当垂直同步信号输入到成像元件44时，在下一个垂直同步信号输入到成像元件44为止的期间，依次进行第1输出及第2输出，其结果，作为一例，如图15所示，交替地进行第1输出和第2输出。这是指在与进行第2输出的期间不同的期间进行第1输出。即，在进行第1输出前的垂直消隐期间及进行第1输出后的垂直消隐期间进行第2输出。另外，与进行第2输出的期间不同的期间是本发明的技术所涉及的“与基于第2输出部的第2图像数据的输出期间不同的期间”的一例。

接着，对摄像装置10的作用进行说明。

首先，参考图16，对由成像元件44的处理电路62执行的摄像处理流程进行说明。

在图16所示的摄像处理中，首先，在步骤ST50中，控制电路62D判定是否由通信I/F62E1接收到来自控制器46的垂直同步信号。在步骤ST50中，在通信I/F62E1未接收到来自控制器46的垂直同步信号的情况下判定为“否”，摄像处理转移到步骤ST58。在步骤ST50中，在由通信I/F62E1接收到来自控制器46的垂直同步信号的情况下判定为“是”，摄像处理转移到步骤ST52。

在步骤ST52中，读出电路62A进行模拟图像数据69A的读出及光电转换元件61的复位，然后摄像处理转移到步骤ST54。

在步骤ST54中，数字处理电路62B对模拟图像数据69A进行数字信号处理，然后控制处理转移到步骤ST56。

在步骤ST56中通过对模拟图像数据69A进行数字信号处理而得到的数字图像数据69B输出到选择器62C，选择器62C将数字图像数据69B传送到控制电路62D。

在步骤ST56中，控制电路62D将数字图像数据69B存储于存储器64中，然后摄像处理转移到步骤ST58。

在步骤ST58中，控制电路62D判定是否满足结束摄像处理的条件(以下，称为“摄像处理结束条件”)。作为摄像处理结束条件的一例，可举出由接收器件84(参考图5)接收到结束摄像处理的指示的条件。在步骤ST58中，在不满足摄像处理结束条件的情况下判定为“否”，摄像处理转移到步骤ST50。在步骤ST58中，在满足摄像处理结束条件的情况下判定为“是”，摄像处理结束。

接着，参考图17，对由成像元件44的处理电路62执行的输出处理流程进行说明。

在图17所示的输出处理中，在步骤ST100中，控制电路62D判定是否由通信I/F62E1接收到来自控制器46的垂直同步信号。在步骤ST100中，在通信I/F62E1未接收到来自控制器46的垂直同步信号的情况下判定为“否”，输出处理转移到步骤ST106。在步骤ST100中，在由通信I/F62E1接收到来自控制器46的垂直同步信号的情况下判定为“是”，输出处理转移到步骤ST102。

在步骤ST102中，控制电路62D通过控制选择器62C及通信I/F62E3来开始第1输出，然后输出处理转移到步骤ST104。另外，在进行第1输出的期间，执行图16所示的摄像处理，进行对存储器64的数字图像数据69B的写入。

在步骤ST104中，控制电路62D判定第1输出是否结束。第1输出的结束是指1帧量的最新的数字图像数据69B的输出的结束。在步骤ST104中，在第1输出未结束的情况下判定为“否”，再次进行步骤ST104的判定。在步骤ST104中，在第1输出结束的情况下判定为“是”，输出处理转移到步骤ST106。

在步骤ST106中，控制电路62D判定是否进入垂直消隐期间。在步骤ST106中，在未进入垂直消隐期间的情况下判定为“否”，输出处理转移到步骤ST114。在步骤ST106中，在进入垂直消隐期间的情况下判定为“是”，输出处理转移到步骤ST108。

当进入垂直消隐期间时，输出请求信号从信号处理电路50经由通信线53输出到通信I/F62E2。

因此，在步骤ST108中，控制电路62D判定是否由通信I/F62E2接收到输出请求信号。在步骤ST108中，在通信I/F62E2未接收到输出请求信号的情况下判定为“否”，输出处理转移到步骤ST114。在步骤ST108中，在由通信I/F62E2接收到输出请求信号的情况下判定为“是”，输出处理转移到步骤ST110。

在步骤ST110中，控制电路62D开始第2输出，然后输出处理转移到步骤ST112。当第2输出开始时，读出存储于存储器64中的1帧量的数字图像数据69B，由通信I/F62E2经由通信线53输出到信号处理电路50。

在步骤ST112中，控制电路62D判定第2输出是否结束。第2输出的结束是指存储于存储器64中的1帧量的数字图像数据69B，即在1帧之前得到的1帧量的数字图像数据69B的输出的结束。在步骤ST112中，在第2输出未结束的情况下判定为“否”，再次进行步骤ST112的判定。在步骤ST112中，在第2输出结束的情况下判定为“是”，输出处理转移到步骤ST114。

在步骤ST114中，控制电路62D判定是否满足结束输出处理的条件(以下，称为“输出处理结束条件”)。作为输出处理结束条件的一例，可举出由接收器件84(参考图5)接收到结束输出处理的指示的条件。在步骤ST114中，在不满足输出处理结束条件的情况下判定为“否”，输出处理转移到步骤ST100。在步骤ST114中，在满足输出处理结束条件的情况下判定为“是”，输出处理结束。

如以上说明，在摄像装置10中，在与进行第2输出的期间不同的期间进行第1输出。由此，能够向信号处理电路50无延迟地输出数字图像数据69B。

并且，在摄像装置10中，在进行第1输出前的垂直消隐期间及进行第1输出后的垂直消隐期间进行第2输出。由此，能够避免由数字图像数据69B向存储器64的写入动作引起而从成像元件44向信号处理电路50的输出停滞。

另外，在上述第2实施方式中，举出在进行第1输出前的垂直消隐期间及进行第1输出后的垂直消隐期间这两个期间进行第2输出的方式例进行了说明，但本发明的技术并不限定于此。也可以设为在进行第1输出前的垂直消隐期间或进行第1输出后的垂直消隐期间进行第2输出。

[第3实施方式]

在上述第2实施方式中，示出了根据垂直同步信号的输入交替地进行第1输出和第2输出的方式例，但在本第2实施方式中，对根据水平同步信号的输入交替地进行第1输出和第2输出的情况进行说明。另外，在本第3实施方式中，对与上述第2实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第2实施方式不同的部分进行说明。

本第3实施方式所涉及的在摄像装置10中，作为一例，如图18及图19所示进行摄像处理及输出处理。在图18所示的摄像处理中，进行基于光电转换元件61的曝光、模拟图像数据69A的读出、光电转换元件61的复位、数字信号处理及数字图像数据69B向存储器64的存储。

作为一例，如图12所示，水平同步信号经由通信线59从控制器46输入到信号处理电路50。信号处理电路50按照水平同步信号的输入时刻确定水平消隐期间。并且，当进入水平消隐期间时，信号处理电路50生成向处理电路62请求第2输出的开始的输出请求信号，将所生成的输出请求信号经由通信线53输出到通信I/F62E2。输出请求信号从通信I/F62E2传送到控制电路62D。当输出请求信号从通信I/F62E2传送到控制电路62D时，开始第2输出。如在上述第1及第2实施方式中所说明，在第2输出中使用第2传输通路传输数字图像数据69B。

作为一例，如图18及图19所示，在成像元件44中，进行摄像处理和输出处理。在图18所示的摄像处理中，与上述第1实施方式同样地，进行基于光电转换元件61的曝光、模拟图像数据69A的读出、光电转换元件61的复位、数字信号处理、及数字图像数据69B向存储器64的存储。

当从控制器46向成像元件44输入水平同步信号时，作为一例，如图18所示，进行1水平行量的模拟图像数据69A的读出及光电转换元件61的复位，对所读出的1水平行量的模拟图像数据69A进行数字信号处理。通过对1水平行量的模拟图像数据69A进行数字信号处理而得到的1水平行量的数字图像数据69B从数字处理电路62B输出到选择器62C。并且，1水平行量的数字图像数据69B从选择器62C传送到控制电路62D，并由控制电路62D存储于存储器64。

作为一例，如图19所示，在输出处理中，交替地进行第1输出和第2输出。当水平同步信号从控制器46输入到处理电路62时，进行第1输出。并且，在水平消隐期间，当从信号处理电路50向处理电路62输入输出请求信号时，进行第2输出。

然而，当水平同步信号从控制器46输入到成像元件44时，开始从光电转换元件61的1水平行量的模拟图像数据69A的读出。并且，通过对1水平行量的模拟图像数据69A进行数字信号处理而得到的1水平行量的数字图像数据69B由选择器62C传送到控制电路62D，并由控制电路62D存储于存储器64中。由于存储器64是DRAM，因此在基于控制电路62D的对存储器64的写入期间，不能进行基于控制电路62D的从存储器64的读出。

因此，作为一例，如图20所示，在向存储器64的写入期间(图20所示的“写入期间”)，进行不依据控制电路62D的第1输出。即，1水平行量的最新的数字图像数据69B从数字处理电路62B输出到选择器62C，由选择器62C传送到通信I/F62E3。并且，1水平行量的最新的数字图像数据69B由通信I/F62E3经由通信线55输出到信号处理电路50。

当第1输出完成时，进入水平消隐期间。水平消隐期间是非写入期间。非写入期间是指不进行向存储器64的写入的期间。如此，由于在水平消隐期间不进行向存储器64的写入，因此能够进行基于控制电路62D的从存储器64的读出。

因此，作为一例，如图20所示，在水平消隐期间，即从存储器64的读出期间，进行伴随由控制电路62D从存储器64读出数字图像数据69B的第2输出。即，在1行之前得到的1水平行量的数字图像数据69B由控制电路62D从存储器64读出，被传送到通信I/F62E2。并且，从存储器64读出的1水平行量的数字图像数据69B由通信I/F62E2经由通信线53输出到信号处理电路50。

当水平同步信号输入到成像元件44时，在下一个水平同步信号输入到成像元件44为止的期间，依次进行第1输出及第2输出，其结果，作为一例，如图20所示，交替地进行第1输出和第2输出。是指在与进行第2输出的期间不同的期间进行第1输出。即，在进行第1输出前的水平消隐期间及进行第1输出后的水平消隐期间进行第2输出。另外，图20所示的“DT”是指1行量的数字图像数据69B。

接着，对摄像装置10的作用进行说明。

首先，参考图21，对由成像元件44的处理电路62执行的摄像处理流程进行说明。

在图21所示的摄像处理中，首先，在步骤ST200中，控制电路62D判定是否由通信I/F62E1接收到来自控制器46的水平同步信号。在步骤ST200中，在通信I/F62E1未接收到来自控制器46的水平同步信号的情况下判定为“否”，摄像处理转移到步骤ST208。在步骤ST200中，在由通信I/F62E1接收到来自控制器46的水平同步信号的情况下判定为“是”，摄像处理转移到步骤ST202。

在步骤ST202中，读出电路62A进行模拟图像数据69A的读出及光电转换元件61的复位，然后摄像处理转移到步骤ST204。

在步骤ST204中，数字处理电路62B对模拟图像数据69A进行数字信号处理，然后控制处理转移到步骤ST206。

在步骤ST206中通过对模拟图像数据69A进行数字信号处理而得到的数字图像数据69B输出到选择器62C，选择器62C将数字图像数据69B传送到控制电路62D。

在步骤ST206中，控制电路62D将数字图像数据69B存储于存储器64中，然后摄像处理转移到步骤ST208。

在步骤ST208中，控制电路62D判定是否满足上述摄像处理结束条件。在步骤ST208中，在不满足摄像处理结束条件的情况下判定为“否”，摄像处理转移到步骤ST200。在步骤ST208中，在满足摄像处理结束条件的情况下判定为“是”，摄像处理结束。

接着，参考图22，对由成像元件44的处理电路62执行的输出处理流程进行说明。

在图22所示的输出处理中，在步骤ST250中，控制电路62D判定是否由通信I/F62E1接收到来自控制器46的水平同步信号。在步骤ST250中，在通信I/F62E1未接收到来自控制器46的水平同步信号的情况下判定为“否”，输出处理转移到步骤ST256。在步骤ST250中，在由通信I/F62E1接收到来自控制器46的水平同步信号的情况下判定为“是”，输出处理转移到步骤ST252。

在步骤ST252中，控制电路62D通过控制选择器62C及通信I/F62E3来开始第1输出，然后输出处理转移到步骤ST254。另外，在进行第1输出的期间，执行图18所示的摄像处理，进行对存储器64的数字图像数据69B的写入。

在步骤ST254中，控制电路62D判定第1输出是否结束。第1输出的结束是指1水平行量的最新的数字图像数据69B的输出的结束。在步骤ST254中，在第1输出未结束的情况下判定为“否”，再次进行步骤ST254的判定。在步骤ST254中，在第1输出结束的情况下判定为“是”，输出处理转移到步骤ST256。

在步骤ST256中，控制电路62D判定是否进入水平消隐期间。在步骤ST256中，在未进入水平消隐期间的情况下判定为“否”，输出处理转移到步骤ST264。在步骤ST256中，在进入水平消隐期间的情况下判定为“是”，输出处理转移到步骤ST258。

当进入水平消隐期间时，输出请求信号从信号处理电路50经由通信线53输出到通信I/F62E2。

因此，在步骤ST258中，控制电路62D判定是否由通信I/F62E2接收到输出请求信号。在步骤ST258中，在通信I/F62E2未接收到输出请求信号的情况下判定为“否”，输出处理转移到步骤ST264。在步骤ST258中，在由通信I/F62E2接收到输出请求信号的情况下判定为“是”，输出处理转移到步骤ST260。

在步骤ST260中，控制电路62D开始第2输出，然后输出处理转移到步骤ST262。当第2输出开始时，读出存储于存储器64中的1帧量的数字图像数据69B，由通信I/F62E2经由通信线53输出到信号处理电路50。

在步骤ST262中，控制电路62D判定第2输出是否结束。第2输出的结束是指存储于存储器64中的1帧量的数字图像数据69B，即在1帧之前得到的1帧量的数字图像数据69B的输出的结束。在步骤ST262中，在第2输出未结束的情况下判定为“否”，再次进行步骤ST262的判定。在步骤ST262中，在第2输出结束的情况下判定为“是”，输出处理转移到步骤ST264。

在步骤ST264中，控制电路62D判定是否满足上述输出处理结束条件。在步骤ST264中，在不满足输出处理结束条件的情况下判定为“否”，输出处理转移到步骤ST250。在步骤ST264中，在满足输出处理结束条件的情况下判定为“是”，输出处理结束。

如以上说明，在摄像装置10中，在进行第1输出前的水平消隐期间及进行第1输出后的水平消隐期间进行第2输出。由此，能够避免由数字图像数据69B向存储器64的写入动作引起而从成像元件44向信号处理电路50的输出停滞。

另外，在上述第3实施方式中，举出在进行第1输出前的水平消隐期间及进行第1输出后的水平消隐期间这两个期间进行第2输出的方式例进行了说明，但本发明的技术并不限定于此。也可以设为在进行第1输出前的水平消隐期间或进行第1输出后的水平消隐期间进行第2输出。

并且，在上述第3实施方式中，对在水平消隐期间进行第2输出的情况进行了说明，但本发明的技术并不限定于此。例如，如图23A所示，也可以设为在进行第1输出前的数字信号处理期间进行第2输出。在此，数字信号处理期间是指由数字处理电路62B进行数字信号处理的期间。数字信号处理期间包括在上述非写入期间中。在非写入期间不进行向存储器64的写入，因此能够从存储器64读出数字图像数据69B。即，能够使用上述第2传输通路从存储器64向信号处理电路50传输数字图像数据69B。作为一例，如图23A所示，通过设为在数字信号处理期间进行第2输出，能够避免由数字图像数据69B向存储器64的写入动作引起而从成像元件44向信号处理电路50的输出停滞。

并且，数字信号处理期间包括A/D转换期间。A/D转换期间是指由A/D转换器62B1(参考图12)进行A/D转换的期间。如此，由于数字信号处理期间包括A/D转换期间，因此作为一例，如图23B所示，也可以设为在A/D转换期间进行第2输出。由此，能够避免由数字图像数据69B向存储器64的写入动作引起而从成像元件44向信号处理电路50的输出停滞。

并且，在上述各实施方式中，举出处理电路62由包括ASIC及FPGA的器件来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，上述摄像处理也可以通过计算机的软件结构来实现。

在该情况下，例如，如图24所示，将各种程序存储到存储介质900，所述各种程序用于使内置于成像元件44中的计算机852执行上述控制处理、摄像处理及输出处理。

各种程序是指控制程序902、摄像程序904及输出程序906。控制程序902是用于使计算机852执行上述控制处理的程序。摄像程序904是用于使计算机852执行上述摄像处理的程序。输出程序906是用于使计算机852执行上述输出处理的程序。

作为一例，如图24所示，计算机852具备CPU852A、ROM852B及RAM852C。并且，存储于存储介质900中的各种程序安装于计算机852。CPU852A按照控制程序902执行上述控制处理。并且，CPU852A按照摄像程序904执行上述摄像处理。此外，CPU852A按照输出程序906执行上述输出处理。

在此，作为CPU852A而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CPU852A。另外，存储介质900是非临时性存储介质。作为存储介质900的一例，可以举出SSD或USB存储器等任意的便携式存储介质。

在图24所示的例子中，在存储介质900中存储有各种程序，但本发明的技术并不限定于此。例如，也可以在ROM852B中预先存储各种程序，CPU852A从ROM852B读出各种程序，扩展到RAM852C，并执行所扩展的各种程序。

并且，也可以将各种程序存储于经由通信网络(省略图示)连接于计算机852的其他计算机或服务器装置等存储部中，根据摄像装置10的请求将各种程序下载到计算机852。在该情况下，所下载的各种程序由计算机852的CPU852A来执行。

并且，计算机852可以设置于成像元件44的外部。在该情况下，计算机852按照程序而控制处理电路62即可。

作为执行在上述各实施方式中说明的控制处理、摄像处理及输出处理(以下，称为“各种处理”)的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可以举出通用的处理器即CPU，如上所述，通过执行软件即程序，作为执行各种处理的硬件资源而发挥功能。并且，作为处理器，例如可以举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。

执行各种处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行各种处理的硬件资源可以是一个处理器。

作为由一个处理器构成的例子，第一、存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行成像元件内处理的硬件资源而发挥功能。第二、存在如下方式：如以SoC(System-on-a-chip：片上系统)等为代表，使用由一个IC芯片来实现包括执行各种处理的多个硬件资源的整个系统的功能的处理器。如此，成像元件内处理通过使用一个以上上述各种处理器作为硬件资源来实现。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。

并且，在上述各实施方式中，作为摄像装置10而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图25所示的智能器件950。作为一例，图25所示的智能器件950是本发明的技术所涉及的摄像装置的一例。在智能器件950中搭载有在上述实施方式中说明的成像元件44。即使是如此构成的智能器件950，也可以获得与在上述各实施方式中说明的摄像装置10相同的作用及效果。另外，本发明的技术并不限定于智能器件950，还能够适用于个人计算机或可穿戴终端装置。

并且，在上述各实施方式中，例示出第1显示器32及第2显示器86，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12的单独的显示器用作本发明的技术所涉及的“显示部(显示器)”。

并且，上述各种处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。

以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。

在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只是A，可以只是B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“A和/或B”相同的概念。

本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。