成像装置、电子装置和成像方法

文档序号:24521 发布日期:2021-09-21 浏览:13次 >En<

阅读说明:本技术 成像装置、电子装置和成像方法 (Imaging device, electronic device, and imaging method ) 是由 渡部刚史 于 2020-01-20 设计创作,主要内容包括:本发明的目的是提供一种成像装置和电子设备,使得可以在被摄体的运动中用户期望的时刻对运动进行成像。CIS(2)是根据本公开的成像装置的示例,以及电子设备(1)具有成像单元(5)、存储器(6)、检测单元(82)和擦除单元(83)。成像单元(5)顺序并且连续地捕获被摄体的图像并且生成图像数据。存储器(6)存储图像数据。检测单元(82)基于按时间序列的图像数据检测被摄体的运动量。擦除单元(83)擦除其中被摄体的运动量小于规定运动量的图像数据。(An object of the present invention is to provide an imaging apparatus and an electronic device that make it possible to image a motion of a subject at a timing desired by a user. The CIS (2) is an example of an imaging device according to the present disclosure, and the electronic apparatus (1) has an imaging unit (5), a memory (6), a detection unit (82), and an erasing unit (83). An imaging unit (5) sequentially and continuously captures images of a subject and generates image data. The memory (6) stores image data. A detection unit (82) detects the amount of movement of the subject based on the time-series image data. An erasing unit (83) erases image data in which the movement amount of the subject is smaller than a prescribed movement amount.)

成像装置、电子装置和成像方法

技术领域

本公开涉及成像装置、电子装置和成像方法。

背景技术

存在一种具有连续成像功能的成像装置,该成像装置能够通过以高速连续地对移动的被摄体进行成像来捕获移动的被摄体,特别是在被摄体的运动中用户期望的时刻捕获被摄体的运动。例如,专利文献1描述了一种成像装置,当确定用于连续成像的操作单元被用户按压时,该成像装置控制以高于当前帧速度的帧速度执行连续成像,并且当确定操作单元未被按压时,该成像装置控制以保持当前帧速度。

引用列表

专利文献

专利文献1:JP 2012-147355 A

发明内容

技术问题

然而,在执行高速连续成像时,存在成像装置不能在被摄体的运动中用户期望的时刻对被摄体的运动进行成像的情况。因此,本公开提出了一种成像装置、电子装置和成像方法,该成像装置、电子装置和成像方法能够在被摄体的运动中用户期望的时刻对被摄体的运动进行成像。

问题的解决

根据本公开的成像装置包括成像单元、存储器、检测单元和擦除单元。成像单元连续地捕获被摄体的图像以生成图像数据。存储器存储图像数据。检测单元基于按时间序列的图像数据检测被摄体的运动量。擦除单元擦除其中被摄体的运动量小于预定运动量的图像数据。

附图说明

【图1】是示出根据本公开的电子装置的示意性配置示例的框图。

【图2】是根据本公开的CIS的操作图。

【图3】是示出根据本公开的比较示例的高速捕获的图像的图。

【图4】是示出根据本公开的高速捕获的图像的图。

【图5】是示出根据本公开的被摄体的运动量与存储在存储器中的图像的数量之间的关系的图。

【图6】是示出根据本公开的由CIS执行的处理的示例的流程图。

具体实施方式

下面将参照附图详细描述本公开的实施例。在下面的每个实施例中,相同的部分由相同的附图标记表示,并且将省略其重复描述。

[1.电子装置的配置]

图1是示出根据本公开的电子装置的示意性配置示例的框图。图1所示的电子装置1是捕获静止图像或移动图像的装置,并且其示例包括数字照相机和数字摄像机、或具有照相机功能的平板终端、智能手机等。

如图1所示,电子装置1包括互补金属氧化物半导体(CMOS)图像传感器(以下称为CIS 2)、应用处理器(以下称为AP 3)和显示操作单元4。

显示操作单元4是具有显示图像的功能和接收用户的触摸操作的功能的触摸面板液晶显示器。或者,电子装置1可以包括:用于显示图像的液晶显示器;以及用于接收用户的触摸操作的操作开关,代替显示操作单元4。

作为具有单芯片配置的成像装置的示例,CIS 2捕获图像,并且将捕获的图像的图像数据输出到AP 3。除了捕获正常静止图像或移动图像的功能之外,CIS 2还具有以高速连续地对被摄体进行成像的高速成像功能(以下称为高速成像)。根据本公开的成像装置不限于CIS 2,并且可以是诸如电荷耦合器件(CCD)图像传感器的其它图像传感器。

AP 3包括:AP控制单元31,AP控制单元31是根据电子装置1的应用来执行各种应用程序的处理器(诸如中央处理单元(CPU))的示例;以及执行与CIS 2信息通信的通信接口(I/F)32。

AP 3对从CIS 2输入的图像数据执行例如,校正处理和修改处理,以及执行用于在显示操作单元4上显示图像数据的显示控制处理。此外,通过控制以按时间序列在显示操作单元4上显示由CIS 2以高速捕获的捕获的图像的图像数据,AP 3可以执行以高速移动的被摄体的运动的超慢速重放。

这里,当诸如智能手机的一般的电子装置上配备有照相机来执行高速成像时,CIS连续地以高速对被摄体进行成像,并将捕获的图像的图像数据按时间序列存储在存储器中。

然而,不幸的是,电子装置对存储图像数据的存储器的容量有一个上限。因此,在一般的电子装置中,例如,当用户的开始高速成像的操作定时太早时,捕获的图像的图像数据量在被摄体的运动中用户期望的时刻到来之前达到存储器的容量的上限。

在这种情况下,即使当以高速捕获的图像数据以超慢速度在电子装置上重放时,在被摄体的运动中用户期望的时刻重放图像也可能是困难的,因为在被摄体的运动中用户期望的时刻捕获的运动的图像数据没有存储在存储器中。以这种方式,存在这样一种情况,即在被摄体的运动中用户期望的时刻捕获被摄体的运动用一般的电子装置是不可能的。

因此,根据本公开的CIS 2具有即使当用户的用于开始高速成像的操作太早时也能够在用户期望的时刻捕获被摄体的运动的配置。具体地,CIS 2包括成像单元5、存储器6、通信I/F 7和图像选择单元8。

成像单元5包括光接收单元51和读出单元52。光接收单元51包括:配备有变焦透镜、聚焦透镜、光圈等的光学系统;以及像素阵列单元,该像素阵列单元具有其中包括诸如光电二极管的光接收元件的单位像素以例如二维矩阵布置的配置。

光接收单元51使用光学系统在像素阵列单元的光接收表面上形成从外部入射的光的图像。通过对入射到光接收元件上的光执行光电转换,像素阵列单元的每个单位像素可读取地累积与入射光量相对应的电荷。

读出单元52包括:读出电路,该读出电路读出在每个单位像素中累积的电荷作为像素信号;以及模数转换器(ADC),该模数转换器(ADC)通过将由读出电路读出的模拟像素信号转换为数字值来生成数字图像数据。读出单元52以图像的一帧为单位将生成的图像数据输出到存储器6。

成像单元5具有自动对焦(AF)功能。当通过AF功能对被摄体实现对焦(焦点设置)时,成像单元5向图像选择单元8输出指示在捕获的图像中焦点的位置的信息。

当从显示操作单元4输入指示用户已经执行了成像操作的信号时,成像单元5捕获静止图像或移动图像。此外,成像单元5在接收到指示用户已经对显示操作单元4执行了高速成像开始操作的信号(以下,称为高速成像触发)时开始高速成像。

存储器6是诸如闪存的存储装置,并且按时间序列存储表示从成像单元5输入的捕获的图像的图像数据。在接收到来自AP 3的图像数据获取请求后,通信I/F 7将存储在存储器6中的图像数据输出到AP 3。

AP控制单元31将经由通信I/F 32从CIS 2输入的图像数据输出到显示操作单元4以显示图像数据。例如,当显示操作单元4接收到用户的图像显示操作时,AP控制单元31经由通信I/F 32向CIS 2输出图像数据获取请求,从CIS 2获取图像数据,以便将图像数据显示在显示操作单元4上。

图像选择单元8包括,例如具有中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等的微型计算机以及各种电路。

图像选择单元8包括:指定单元81、检测单元82;以及擦除单元83,被配置为通过CPU使用RAM作为工作区域执行存储在ROM中的程序而工作。注意,包括在图像选择单元8中的指定单元81、检测单元82和擦除单元83可以部分地或全部地由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬件装置形成。

包括在图像选择单元8中的指定单元81、检测单元82和擦除单元83分别执行以下描述的信息处理。图像选择单元8的内部配置不限于图1所示的配置,并且可以是另一种配置,只要它是执行下面描述的信息处理的配置。

指定单元81从存储器6读出图像数据,并基于图像数据指定图像中的被摄体。例如,在开始由成像单元5执行的高速成像之前,指定单元81基于由成像单元5捕获的预览图像的图像数据来指定被摄体。在显示操作单元4上连续地显示预览图像,直到开始高速成像。

指定单元81通过使用DNN的深度神经网络(DNN)处理确定图像的构图,然后从确定的构图中决定其中对被摄体进行成像的感兴趣区域(ROI)区域,从而指定被摄体。随后,指定单元81将指示其中指定了被摄体的图像中的ROI区域的位置的信息输出到检测单元82。

顺便提及,指定单元81可以通过使用DNN以外的各种神经网络来指定被摄体,诸如递归神经网络(RNN)和卷积神经网络(CNN)。此外,指定单元81可以被配置为通过使用由诸如决策树或支持向量机的各种其他机器学习训练的学习模型来指定被摄体。

当开始高速成像时,检测单元82从存储器6读出时间序列高速捕获的图像的图像数据,并且基于从指定单元81输入的指示ROI区域的位置的信息,检测在按时间序列的多条图像数据之间的被摄体的运动量。

即,检测单元82检测每个时间序列高速捕获的图像中的ROI区域中的被摄体的运动量。随后,检测单元82将其中已经检测的被摄体的运动量的每个高速捕获的图像的图像数据与指示被摄体的运动量的信息一起输出到擦除单元83。

在从检测单元82输入的图像数据中,擦除单元83擦除其中被摄体的运动量小于预定运动量的图像数据。此外,擦除单元83在从检测单元82输入的图像数据中,将其中被摄体的运动量为预定运动量或更大的图像重新存储到存储器6。

此外,如上所述,指定单元81基于高速成像开始之前的预览图像指定被摄体。因此,擦除单元83可以在高速成像的开始之后立即选择图像数据。

以这种方式,通过有效地利用存储器6的存储区域,该存储区域通过擦除其中被摄体的运动量小于预定运动量的图像的图像数据而成为自由区域,CIS 2能够延长可用于高速成像的时间。这使得即使当用户的用于开始高速成像的操作太早时,CIS 2能够在被摄体的运动中用户期望的时刻捕获被摄体的运动。

[2.电子装置的操作]

接下来,将参考图2来描述根据本公开的CIS的操作。图2是根据本公开的CIS的操作图。尽管图2示出了两个存储器6以简化CIS 2的操作,图2中的两个存储器6在物理上是相同。

如图2所示,在开始高速成像之前,CIS 2首先通过图像选择单元8从预览图像Pre中指定被摄体(步骤S1)。此后,CIS 2已经开始高速成像,将在高速成像中获得的图像数据从成像单元5输出到存储器6,以便将图像数据存储在存储器6中(步骤S2)。

随后,图像选择单元8从存储器6读出图像数据(步骤S3)。随后,图像选择单元8擦除其中被摄体的运动量小于预定运动量的图像数据(步骤S4)。此后,图像选择单元8将其中被摄体的运动量为预定运动量或更大的图像数据存储到存储器6(步骤S5)。

这允许存储器6在已经存储了在步骤S4中擦除的图像数据的区域中具有自由区域61。通过使用存储器6的自由区域61,CIS 2能够继续高速成像。

通过这种配置,与图像数据没有被图像选择单元8删除(细化)的情况相比,CIS 2可以延长高速成像的持续时间。因此,即使当用户的用于开始高速成像的操作太早时,CIS2也能够在被摄体的运动中用户期望的时刻捕获被摄体的运动。

此外,当在显示操作单元4上显示通过高速成像获得的图像时,CIS 2经由CIS 2的通信I/F 7将图像数据从存储器6输出到AP 3的通信I/F 32(步骤S6)。

通过该操作,通过以低于成像速率的帧速率在显示操作单元4上显示通过从CIS 2输入的高速成像捕获的图像数据,AP 3能够在被摄体的运动中用户期望的时刻执行已经捕获被摄体的运动的图像的超慢速重放。

[3.高速捕获的图像的具体示例]

接下来,将描述根据本公开的高速捕获的图像的具体示例。这里,将描述用户在用棒球棒击球时的接触的时刻试图捕获被摄体的情况。此外,这里,将首先描述作为比较示例的不通过图像选择单元8执行图像数据擦除的高速成像,然后将描述通过图像选择单元8来执行图像数据擦除的高速成像。

图3是示出根据本公开的比较示例的高速捕获的图像的图。图4是示出根据本公开的高速捕获的图像的图。这里,为了便于理解图像选择单元8的效果,将可以存储在存储器6中的图像帧的数量描述为7帧,其远小于实际可能的数量。

如图3的上部所示,挥动棒球棒的动作包括收回、挥棒和随挥的一系列动作。例如,当通过图像选择单元8对图像的擦除没有被执行时,在捕获第七帧的图像的点上,CIS 2在时间t1开始高速成像,并且在时间t2结束高速成像。

当以超慢速率执行以这种方式捕获的高速捕获的图像的重放时,重放图像主要是被摄体在收回运动期间的图像,如图3的下部所示,并且不包括用户期望的在挥棒期间和接触的时刻的图像。

相反,如图4的上部所示,在由图像选择单元8执行图像的擦除的情况下的过程是,使得在时间t1捕获第一帧的图像之后,图像选择单元8擦除其中被摄体的运动量小于预定运动量的第二至第四帧的收回图像。

此时,存储器6仅存储了图像的一帧,并且因此,能够存储图像的剩余六帧。由于被摄体从第五帧进入挥棒运动,所以被摄体的运动量为预定运动量或更大。因此,图像选择单元8将第五至第十帧的图像存储在存储器6中,而不擦除它们,从而在时间t3完成高速成像。

当以超慢速模式执行以这种方式捕获的高速捕获的图像的重放时,如图4的下部所示,重放图像包括从挥棒的开始到挥棒的结束的图像,包括用户期望的接触的时刻。

图4的下部所示的重放图像是通过细化第二至第四帧的图像而获得的图像,并且因此,严格地说,这些图像不是准确地表达被摄体的实际运动的超慢速图像。此外,细化的第二至第四帧图像是基本上不包括被摄体的运动的图像,因此不是在需要高速成像的时段中的图像。

因此,图4的下部所示的重放图像被认为是从用户的观点来看已经实现高速成像的意图的图像,被用户感知为具有延长的成像时间的超慢速图像。以这种方式,根据CIS 2,即使当用户的开始高速成像的操作太早时,也可以在被摄体的运动中用户期望的时刻对被摄体的运动成像。

[4.被摄体的运动量与存储在存储器中的图像的数量之间的关系]

接下来,参考图5,示出以1000fps的帧速率捕获参考图3和图4描述的球棒挥动场景时被摄体的运动量与存储在存储器6中的图像的数量之间的关系。

图5是示出根据本公开的被摄体的运动量与存储在存储器中的图像的数量之间的关系的图。在图5中,横轴表示时间,并且纵轴表示被摄体的运动量和存储的图像的数量。此外,在图5中,用条形图示出了在每个时区中的被摄体的运动量的大小。

此外,图5所示的实线图示出了当图像被图像选择单元8擦除时要存储在存储器6中的图像的数量。此外,图5中的单点划线中的线图示出了当图像未被图像选择单元8擦除时要存储在存储器6中的图像的数量。

当在不擦除图像的情况下以1000fps对球棒挥动运动的整个区域进行成像时,如图5中的单点划线的线图所示(步骤S11),在挥棒开始之前,捕获的图像的数量达到可存储在存储器6中的图像的数量的上限,并且这结束了成像(步骤S12)。

相反,在擦除图像的情况下,如图5中的实线图所示,将擦除其中被摄体的运动量小于收回期间的预定量的图像。因此,即使在以1000fps执行成像时,也将在存储器6中存储100fps的图像(步骤S13)。

此后,当挥棒开始时,被摄体的运动量逐渐增加,因此,将800fps的图像存储在存储器6中(步骤S14)。在与运动量最大化的球接触时,将1000fps的图像存储在存储器6中(步骤S15)。结果,根据CIS 2,可以对挥棒的开始到结束的所有运动进行成像(步骤S16)。

[5.由图像选择单元执行的处理]

接下来,将参考图6描述根据本公开的由CIS 2执行的处理的示例。图6是示出根据本公开的由CIS 2执行的处理的示例的流程图。

当电子装置1处于高速成像模式时,CIS 2连续地执行图6所示的处理。具体地,在CIS 2中,当电子装置进入高速成像模式时,成像单元5首先开始高速成像预览,如图6所示(步骤S101)。这里,成像单元5以比高速成像更低的速度捕获预览图像。

随后,图像选择单元8获取预览图像(步骤S102),确定图像的构图(步骤S103),并且决定ROI区域(步骤S104)。此后,成像单元5确定是否已经接收到高速成像触发(步骤S105)。

然后,当成像单元5确定未接收到高速成像触发时(步骤S105,否),成像单元5进入步骤S102的处理。此外,当成像单元5确定已经接收到高速成像触发时(步骤S105,是),成像单元5开始高速成像(步骤S106)。

此后,图像选择单元8获取高速捕获的图像(步骤S107),并且确定获取的高速捕获的图像是否是第一图像以外的图像(步骤S108)。当图像选择单元8确定图像是第一图像时(步骤S108,否),处理进入步骤S107。

当图像选择单元8确定图像是第一图像以外的图像时(步骤S108,是),图像选择单元8检测在ROI区域中被摄体的运动量(步骤S109)。然后,图像选择单元8确定运动量是否小于预定运动量(步骤S110)。

当已经确定运动量小于预定运动量时(步骤S120,是),图像选择单元8擦除图像(步骤S111),并进入步骤S107的处理。相反,当已经确定运动量不小于预定运动量时,即运动量是预定运动量或更大时(步骤S110,否),图像选择单元8将图像存储在存储器6中(步骤S112)。

随后,图像选择单元8确定存储在存储器6中的图像的数量是否已经达到可以存储在存储器6中的图像的数量的上限(步骤S113)。当图像选择单元8确定未达到可存储的图像的数量的上限时(步骤S113,否),处理进入步骤S107。

当图像选择单元8确定已经达到可存储的图像的数量的上限时(步骤S113,是),处理进入步骤S102。当电子装置1处于高速成像模式时,CIS 2连续地执行上述一系列处理。

[6.其它实施例]

除了上述每个实施例之外,还可以以各种不同形式(修改)来执行根据上述每个实施例的处理。

例如,尽管上述实施例是在捕获的图像中存在一个移动对象的示例性情况,但指定单元81还可以在捕获的图像中存在多个移动对象的情况下,将用户可能期望成像的移动对象指定为被摄体。

例如,照相机用户可能使要成像的被摄体适合于图像的中心。因此,指定单元81将图像的中心的对象指定为被摄体。通过该操作,在捕获的图像中存在多个移动对象的情况下,指定单元81可以将用户可能期望成像的移动对象指定为被摄体。

此外,指定单元81将用户从图像中选择的对象指定为被摄体。在这种情况下,指定单元81将例如通过用户的触摸操作选择的对象指定为显示在显示操作单元4上的预览图像中的被摄体。通过该操作,即使当例如,用户期望成像的移动对象在图像的中心以外的位置处被捕获时,指定单元81也可以将移动对象指定为被摄体。

注意,指定单元81还可以从要被指定为被摄体的目标中排除由用户从图像中选择的对象。通过该配置,当由指定单元81自动指定的被摄体不是用户想要的对象时,用户可以通过执行选择显示在显示操作单元4上的指定对象的操作,从要由指定单元81指定为被摄体的目标中排除该对象。

此外,通常情况下,当AF功能正在操作时,照相机的用户通常不释放快门,直到用于成像的期望的对象聚焦为止。因此,当AF功能正在操作时,指定单元81将最接近自动对焦点的对象指定为被摄体。通过该操作,指定单元81能够将用户可能期望成像的移动对象指定为被摄体。

此外,CIS 2可以包括存储单元,该存储单元存储要由指定单元81指定为被摄体的对象的图像数据。在这种情况下,CIS 2允许用户将作为被摄体的候选的人的脸部或对象的图像数据预先注册并存储在存储单元中。

然后,指定单元81基于存储在存储单元中的图像数据指定被摄体。例如,指定单元81获取通过分割捕获的图像而获得的每个分割区域的特征量,计算指示从捕获的图像中获取的特征量与存储在存储器中的图像数据的特征量之间的相似度的分数,以将具有高分的分割区域中的对象指定为被摄体。通过该操作,指定单元81可以将其图像数据可能已经由用户预先注册的对象指定为被摄体。

此外,CIS 2具有多种模式,其中要被指定为被摄体的对象的类型相互不同。指定单元81根据模式将对象指定为被摄体。例如,当用户选择运动模式时,指定单元81仅仅将人指定为被摄体,并且当选择动物模式时,仅仅将动物注册为被摄体。这使得指定单元81能够将包括在用户期望的类型中的任意对象而不是特定对象指定为被摄体。

此外,指定单元81还可以设置有估计在捕获的图像中可能移动的对象的人工智能(AI)。在这种情况下,指定单元81将由AI判断为最可能移动的对象指定为被摄体。通过该配置,即使当用户没有选择模式或指定对象时,指定单元81也可以将用户期望成像的可能移动的对象指定为被摄体。

此外,当图像包含多个人时,指定单元81基于被拍摄者的年龄或性别中的至少一个来决定要被指定为被摄体的人。例如,指定单元81决定要被指定为被摄体的人,对于儿童具有高优先级,对于女性具有中等优先级,对于男性具有低优先级。对年龄和性别的优先级设置可以任意改变。通过该配置,指定单元81可以根据用户的偏好将人指定为被摄体。

此外,通常,期望捕获被摄体的重要时刻的用户甚至在开始高速成像之前就倾向于将被摄体放置在视角内。鉴于此,指定单元81将在预览图像中连续存在预定时间或更长时间的对象指定为被摄体。通过该操作,指定单元81可以将用户可能期望在重要时刻成像的移动对象指定为被摄体。

虽然上述实施例是CIS 2包括指定单元81的情况,但是指定单元81可以设置在AP3侧。在这种情况下,CIS 2将存储在存储器6中的图像输出到AP 3,从AP 3获取通过设置在AP 3中的指定单元81指定的被摄体,并且通过与上述过程类似的过程选择要擦除的图像数据。

然而,当指定单元81设置在AP 3侧时,需要将存储在存储器6中的所有图像数据输出到AP 3,从而增加CIS 2的功耗。鉴于此,期望在CIS 2侧设置指定单元81。

除非另有规定,否则上述说明书或附图所示的处理过程、控制过程、特定名称、以及包括各种数据和参数的信息可以以任何方式改变。此外,在示例中描述的具体示例、分布、数值等仅仅是示例,并且可以任意改变。

此外,每个装置的每个组件作为功能和概念的说明被提供,并因此不一定需要如图所示进行物理配置。即,每个装置的分布/集成的具体形式不限于图中所示的那些,并且其全部或部分可以根据各种负载和使用条件在功能上或物理上分布或集成到任意单元中。例如,可以集成如图1所示的指定单元81、检测单元82和擦除单元83。

此外,可以在可实现的范围内适当地组合上述实施例和修改,而没有过程的矛盾。

[7.效果]

CIS 2包括成像单元5、存储器6、检测单元82和擦除单元83。成像单元5连续地捕获被摄体的图像以生成图像数据。存储器6存储图像数据。检测单元82基于按时间序列的图像数据来检测被摄体的运动量。擦除单元83擦除其中被摄体的运动量小于预定运动量的图像数据。通过该配置,例如,当执行高速成像时,通过擦除在时间序列图像之间具有较少运动量并且不需要高速成像的图像以确保存储器6中的自由区域,CIS 2能够在被摄体的运动中用户期望的时刻捕获被摄体的运动。

此外,CIS 2包括指定单元81。指定单元81根据图像数据指定图像中的被摄体。检测单元82检测由指定单元81指定的被摄体的运动量。例如,在指定单元81设置在CIS 2外部的情况下,CIS 2将需要向外部指定单元81输出图像数据,这增加了功耗。然而,幸运的是,通过内部包括指定单元81的这种配置,可以降低功耗。

此外,在由成像单元5执行的高速成像开始之前,指定单元81根据由成像单元5捕获的预览图像的图像数据来指定被摄体。通过该操作,检测单元82可以在高速成像的开始之后立即检测被摄体的运动量。

此外,指定单元81通过使用DNN的DNN处理来确定图像的构图,并且基于构图来决定其中捕获被摄体的ROI区域。检测单元82检测在ROI区域中被摄体的运动量。通过该配置,检测单元82可以检测被摄体的准确运动量。

此外,指定单元81将图像的中心的对象指定为被摄体。通过该操作,在捕获的图像中存在多个移动对象的情况下,指定单元81可以将用户可能期望成像的移动对象指定为被摄体。

此外,指定单元81将用户从图像中选择的对象指定为被摄体。通过该配置,即使当用户期望成像的移动对象在图像的中心以外的位置处被捕获时,指定单元81也可以将移动对象指定为被摄体。

此外,指定单元81从要指定为被摄体的目标中排除由用户从图像中选择的对象。通过该过程,当自动指定的被摄体不是用户想要的对象时,指定单元81可以从被摄体候选中排除自动指定的被摄体。

此外,指定单元81将接近自动对焦的焦点的对象指定为被摄体。通过该过程,指定单元81可以在对象聚焦时将开始高速成像的用户可能期望的移动对象指定为被摄体。

此外,CIS 2包括存储单元,该存储单元存储要由指定单元81指定为被摄体的对象的图像数据。指定单元81基于存储在存储单元中的图像数据指定被摄体。通过该操作,指定单元81可以将其图像数据可能已经由用户预先注册的对象指定为被摄体。

此外,CIS 2具有多种模式,其中要由指定单元81指定为被摄体的对象的类型相互不同。指定单元81根据模式将对象指定为被摄体。这使得指定单元81能够将包括在用户期望的类型中的任意对象而不是特定对象指定为被摄体。

此外,指定单元81将由人工智能判断为可能在图像中移动的对象指定为被摄体。通过该配置,即使当用户没有选择模式或指定对象时,指定单元81也可以将用户期望成像的可能移动的对象指定为被摄体。

此外,当图像包含多个人时,指定单元81基于人的年龄和/或性别来决定要被指定为被摄体的人。通过该配置,指定单元81可以根据用户的偏好将人指定为被摄体。

此外,指定单元81将在由成像单元5执行的高速成像开始之前由成像单元5捕获的预览图像中连续存在预定时间或更长时间的对象指定为被摄体。通过该操作,指定单元81可以将用户可能期望在重要时刻成像的移动对象指定为被摄体。

此外,电子装置1包括CIS 2。CIS 2包括成像单元5、存储器6、检测单元82和擦除单元83。成像单元5连续地捕获被摄体的图像以生成图像数据。存储器6存储图像数据。检测单元82基于按时间序列的图像数据来检测被摄体的运动量。擦除单元83擦除其中被摄体的运动量小于预定运动量的图像数据。通过该配置,例如,当执行高速成像时,通过擦除在时间序列图像之间具有较少运动量并且不需要高速成像的图像以确保存储器6中的自由区域,电子装置1能够在被摄体的运动中用户期望的时刻捕获被摄体的运动。

此外,CIS 2连续地捕获被摄体的图像以生成图像数据,将图像数据存储在存储器6中,基于按时间序列的图像数据检测被摄体的运动量,并且擦除其中被摄体的运动量小于预定运动量的图像数据。通过该操作,CIS 2可以在被摄体的运动中用户期望的时刻捕获被摄体的运动。

本说明书中描述的效果仅是示例,因此,可以存在不限于示例性效果的其它效果。

注意,本技术还可以具有以下配置。

(1)

一种成像装置,包括:

成像单元,该成像单元连续地捕获被摄体的图像以生成图像数据;

存储器,该存储器存储图像数据;

检测单元,该检测单元基于按时间序列的图像数据检测被摄体的运动量;以及

擦除单元,该擦除单元擦除其中被摄体的运动量小于预定运动量的图像数据。

(2)

根据(1)所述的成像装置,进一步包括

指定单元,该指定单元基于图像数据指定图像中的被摄体,

其中,检测单元

检测由指定单元指定的被摄体的运动量。

(3)

根据(2)所述的成像装置,

其中,指定单元

基于在由成像单元执行的高速成像开始之前通过成像单元捕获的预览图像的图像数据来指定被摄体。

(4)

根据(2)或(3)所述的成像装置,

其中,指定单元

通过使用深度神经网络(DNN)处理(该处理使用DNN)确定图像的构图,然后从构图中决定其中对被摄体进行成像的感兴趣区域(ROI)区域,以及

检测单元

检测ROI区域中被摄体的运动量。

(5)

根据(2)至(4)中的任一项所述的成像装置,

其中,指定单元

将图像的中心的对象指定为被摄体。

(6)

根据(2)至(5)中的任一项所述的成像装置,

其中,指定单元

将用户从图像中选择的对象指定为被摄体。

(7)

根据(2)至(6)中的任一项所述的成像装置,

其中,指定单元

从要被指定为被摄体的目标中排除由用户从图像中选择的对象。

(8)

根据(2)至(7)中的任一项所述的成像装置,

其中,指定单元

将接近自动对焦的焦点的对象指定为被摄体。

(9)

根据(2)至(8)中的任一项所述的成像装置,进一步包括

存储单元,该存储单元存储要由指定单元指定为被摄体的对象的图像数据,

其中,指定单元

基于存储在存储单元中的图像数据指定被摄体。

(10)

根据(2)至(9)中的任一项所述的成像装置,

其中,成像装置具有多种模式,其中要由指定单元指定为被摄体的对象的类型相互不同,并且

指定单元

根据模式将对象指定为被摄体。

(11)

根据(2)至(10)中的任一项所述的成像装置,

其中,指定单元

将由人工智能判断为可能在图像中移动的对象指定为被摄体。

(12)

根据(2)至(11)中的任一项所述的成像装置,

其中,当图像包含多个人时,指定单元

基于人的年龄和/或性别来决定要被指定为被摄体的人。

(13)

根据(2)至(12)中的任一项所述的成像装置,

其中,指定单元

将在由成像单元执行的高速成像开始之前由成像单元捕获的预览图像中连续存在预定时间或更长时间的对象指定为被摄体。

(14)

一种电子装置,包括:

成像单元,该成像单元连续地捕获被摄体的图像以生成图像数据;

存储器,该存储器存储图像数据;

检测单元,该检测单元基于按时间序列的图像数据检测被摄体的运动量;以及

擦除单元,该擦除单元擦除其中被摄体的运动量小于预定运动量的图像数据。

(15)

一种成像方法,包括:

连续地捕获被摄体的图像以生成图像数据;

将图像数据存储在存储器中;

基于按时间序列的图像数据检测被摄体的运动量;以及

擦除其中被摄体的运动量小于预定运动量的图像数据。

参考标志列表

1 电子装置

2 CIS

3 AP

31 AP控制单元

32 通信I/F

4 显示操作单元

5 成像单元

51 光接收单元

52 读出单元

6 存储器

7 通信I/F

8 图像选择单元

81 指定单元

82 检测单元

83 擦除单元

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:电信会议装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类