电子设备和成像系统

文档序号:1804636 发布日期:2021-11-05 浏览:3次 >En<

阅读说明:本技术 电子设备和成像系统 (Electronic device and imaging system ) 是由 唯野隆一 小森谷阳多 于 2020-02-20 设计创作,主要内容包括:根据本公开的一个实施方式的电子设备包括:成像单元,用于获取成像数据;数据生成单元,用于从获取的数据生成情感数据;数据处理单元,用于将成像数据与情感数据按时间顺序关联;以及控制单元,用于基于情感数据随时间改变成像单元的设定。(An electronic device according to an embodiment of the present disclosure includes: an imaging unit for acquiring imaging data; a data generation unit for generating emotion data from the acquired data; a data processing unit for correlating the imaging data with the emotion data in time series; and a control unit for changing the setting of the imaging unit over time based on the emotion data.)

电子设备和成像系统

技术领域

本公开涉及一种电子设备和成像系统。

背景技术

数码相机或智能手机最近配备了被称为“微笑快门”(注册商标)的功能,该功能响应于拍摄对象是否微笑的判定结果而自动释放快门,以精确地捕捉微笑的时刻(例如,参见专利文献1)。

现有专利文献

专利文献

专利文献1:日本未审查专利申请公开No.2018-151660

发明内容

顺便提及,用户可能不仅希望在微笑的时刻拍照,也希望在例如孩子的自然表情的时刻或者活动中的珍贵时刻拍照。然而,当用户拿着相机时,自然表情可能消失并且表情变为假笑或紧张表情,使得难以拍摄自然表情。另外,珍贵时刻突然到来,从而用户可能在拿着相机时错过拍摄。因此,期望提供一种电子设备和成像系统,其使得用户能够拍照而不错过他/她想拍摄的时刻。

根据本公开的实施方式的电子设备包括:成像部,获取成像数据;数据生成器,基于获取的数据生成情感数据;数据处理器,将成像数据与情感数据按时间顺序互相关联;以及控制器,基于情感数据使成像部的设定按时间顺序改变。

根据本公开的实施方式的成像系统包括:成像部,获取成像数据;数据生成器,基于获取的数据生成情感数据;数据处理器其将成像数据与情感数据按时间顺序互相关联;以及控制器,基于情感数据控制成像部。

在根据本公开的实施方式的电子设备和成像系统中,成像数据和情感数据按时间顺序互相关联,并且基于情感数据而控制成像部。从而,例如,在情感数据在当用户对拍摄对象反应的时刻改变的情况下,情感数据的监控使得能够把握用户可能希望拍照的时刻。结果,例如,变得能够响应于情感数据的改变得到成像数据,而无需用户手动释放快门。

附图说明

[图1]是示出根据本公开的实施方式的电子设备的功能块的示例的图。

[图2]是用于描述延迟时间的图。

[图3]是示出关于延迟时间的调整和传感器的选择的过程的示例的图。

[图4]是示出用于延迟时间的调整和传感器的选择的显示器屏幕的示例的图。

[图5]是示出成像装置的控制过程的示例的图。

[图6]是示出成像装置的控制过程的示例的图。

[图7]是示出成像装置的控制方法的示例的图。

[图8]是示出成像装置的控制过程的示例的图。

[图9]是示出图8的控制过程中的分辨率变化的图。

[图10]是示出成像装置的控制过程的示例的图。

[图11]是示出成像装置的控制过程的示例的图。

[图12]是示出图11的控制过程中的分辨率变化的图。

[图13]是示出图1的电子设备的功能块的变形例的图。

[图14]是示出图1的电子设备的功能块的变形例的图。

[图15]是示出图1的电子设备的功能块的变形例的图。

[图16]是示出图1的电子设备的功能块的变形例的图。

[图17]是示出图1的电子设备的功能块的变形例的图。

[图18]是示出其中图1、图13、图14、图15或图16的电子设备附装到用户的身体的状态的示例的图。

[图19]是示出其中图1、图13、图14、图15或图16的电子设备附装到用户的身体的状态的示例的图。

[图20]是示出其中图1、图13、图14、图15或图16的电子设备附装到用户的身体的状态的示例的图。

具体实施方式

在下面,将参考附图详细描述用于本公开的具体实施方式。下面的描述是本公开的具体例,并且本公开不限于下面的实施方式。注意,以下面的顺序给出描述。

1.实施方式

具有屏幕显示和音频输出功能的示例

2.变形例

变形例A:其中屏幕显示和音频输出的功能设置于外部装置的示例变形例B:其中存储功能设置于外部装置的示例

变形例C:经由网络与外部装置通信的示例

变形例D:经由网络与显示设备和存储设备通信的示例

变形例E:其中成像部单独设置的示例

变形例F:被构造为能够附装于身体的示例

变形例G:包括多个成像部的示例

变形例H:包括广角镜头或鱼眼镜头的示例

<1.实施方式>

[构造]

将描述根据本公开的实施方式的电子设备1。图1示出根据本实施方式的电子设备1的示意性构造的示例。电子设备1包括成像系统,其自动获取对用户有意义的场景的成像数据Dc,而不依赖于由用户对快门键进行操作。例如,电子设备1包括,成像块10、声音块20、存储块30、系统控制器40、外部输入块50和通信部60。系统控制器40对应于根据本公开的“控制器”的具体例。

例如,成像块10包括,成像部11、成像信号处理器12、成像控制器13、图像处理器14、图像信号生成器15、显示驱动器16、显示控制器17、和显示部18。图像处理器14对应于根据本公开的“数据生成器”和“数据处理器”的具体例。成像信号处理器12和成像控制器13对应于根据本公开的“控制器”的具体例。例如,声音块20包括声音输入部21、声音分析器22、声音处理器23、音频信号生成器24和音频输出部25。例如,存储块30包括临时存储器31和存储部32。例如,外部输入块50包括操作输入部51、日期/时间计数器52和传感器53。

成像部11将通过成像(移动图像、或通过连续成像得到的多个静止图像)得到的成像数据Da输出到成像信号处理器12。例如,成像部11包括CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器等。

成像信号处理器12对从成像部11输出的成像数据Da进行各种类型的图像信号处理,并且包括例如DSP(数字信号处理)电路。例如,成像信号处理器12可以检测成像数据Da中的相机抖动的量和方向、根据已经检测到的相机抖动的量和方向判定成像数据Da中的剪切区域、并且基于判定生成其中已经纠正相机抖动的成像数据Da'。

已经通过成像信号处理器12处理的成像数据Da或成像数据Da'输出到图像处理器14。需要注意的是,在下面的描述中,成像数据Da可以是成像数据Da'。成像控制器13根据系统控制器40的控制来控制成像部11和成像信号处理器12的操作。

图像处理器14根据系统控制器40的控制来控制成像数据Da、成像数据Dc、要在稍后描述的评估数据Dd等的传送。即,图像处理器14控制成像数据Da、成像数据Dc、评估数据Dd等在成像信号处理器12与图像信号生成器15、临时存储器31和存储部32之间的传送。评估数据Dd通过图像处理器14生成,如下所述。图像处理器14将成像数据Da、评估数据Dd等输入到临时存储器31。临时存储器31存储成像数据Da、评估数据Dd等。存储部32存储作为成像数据Da的一部分的成像数据Dc。

图像处理器14还从成像数据Da中提取满足预定存储条件的成像数据Dc。稍后将详细描述通过图像处理器14和评估数据Dd提取成像数据Dc的方法。

图像处理器14还将生成的评估数据Dd输出到系统控制器40。系统控制器40基于从图像处理器14输入的评估数据Dd(即,基于情感数据Df)控制成像部11和成像信号处理器12。具体地,系统控制器40将基于从图像处理器14输入的评估数据Dd生成的控制信号输出到成像控制器13。成像控制器13基于从系统控制器40输入的控制信号控制成像部11和成像信号处理器12。稍后将详细描述由系统控制器40对成像部11和成像信号处理器12进行的控制。

图像信号生成器15基于成像数据Da生成图像信号,并且将图像信号输出到显示驱动器16。显示驱动器16基于从图像信号生成器15输入的图像信号驱动显示部18。显示控制器17根据系统控制器40的控制控制图像信号生成器15和显示驱动器16的操作。显示部18包括例如面板型显示设备,诸如液晶面板或有机EL(电致发光)面板,并且显示通过显示驱动器16驱动的成像数据Da。

声音输入部21包括例如麦克风、麦克风放大器和AD转换器,并且输出数字声音数据Sa。麦克风放大器对通过麦克风得到的声音信号进行放大处理,并且AD转换器对通过麦克风放大器放大的声音信号进行AD转换。通过声音输入部21得到的声音数据Sa输入到声音处理器23。

声音处理器23根据系统控制器40的控制来控制声音数据Sa的传送。即,声音处理器23控制声音数据Sa在声音输入部21与音频信号生成器24、临时存储器31和存储部32之间的传送。声音处理器23将通过声音输入部21得到的声音数据Sa输入到临时存储器31。临时存储器31将通过声音输入部21得到的声音数据Sa与通过成像部11得到的成像数据Da一起存储。声音处理器23将通过声音输入部21得到的声音数据Sa输出到音频信号生成器24。

声音处理器23根据系统控制器40的控制来控制从临时存储器31读取的声音数据Sa的传送。即,声音处理器23控制声音数据Sa在临时存储器31与音频信号生成器24之间的传送。声音处理器23将从临时存储器31读取的声音数据Sa输出到音频信号生成器24。

音频信号生成器24根据系统控制器40的控制将输入的声音数据Sa转换为逻辑音频信号,并且将通过转换得到的音频信号输出到音频输出部25。例如,音频输出部25包括放大逻辑音频信号的放大器电路、和基于从放大器电路输出的音频信号输出声音的扬声器。

临时存储器31用于缓存由成像部11得到的成像数据Da,并且,例如,以环形存储器格式临时存储成像数据Da和声音数据Sa。例如,图像处理器14对存储在临时存储器31中的成像数据Da中的、存储在临时存储器31中的期间超过预定期间的部分(例如,要在稍后描述的存储期间Δt)进行数据删除或利用新存储的成像数据Da重写。

存储部32存储通过成像部11得到的成像数据Da中的满足预定存储条件的成像数据Dc。在满足预定存储条件的情况下,系统控制器40在该时点从临时存储在临时存储器31中的成像数据Da提取要存储的成像数据Dc,在并且将成像数据Dc传送到存储部32。

这里,要存储在存储部32中的成像数据Dc是例如系统控制器40已经判定为是不断成像的成像数据Da中的对用户有意义的场景的成像数据,诸如用户感兴趣的场景的成像数据、当用户的情感变化时的场景的成像数据、保留在用户的记忆中的场景的成像数据等。

例如,操作输入部51包括诸如键盘或拨盘之类的操作对象。操作输入部51通过由用户操作的操作对象接收来自用户的输入,例如,并且将输入输出到系统控制器40。例如,日期/时间计数器52计数日期和时间(年、月、日、时、分和秒),并且将当前的日期和时间信息(在下文中称为“时间数据Dt”)输出到系统控制器40。

传感器53测量脉搏、心率、心电图、肌电图、呼吸、出汗、GSR、血压、血氧饱和度、皮肤表面温度、脑电图、血流量变化、体温、身体的运动、头部的运动、重心、走路或跑步的节奏、眼睛状况或周围的声音中的至少一者,并且将通过测量得到的测量数据(在下文中称为“获取数据Db”)输出给系统控制器40。系统控制器40将从传感器53输入的获取数据Db与从日期/时间计数器52输入的时间数据Dt相关联地输出到图像处理器14。

通信部60能够经由网络与外部装置通信。这里,网络是例如使用因特网中常用的通信协议(TCP/IP)进行通信的网络。例如,网络可以是使用其自己的通信协议进行通信的安全网络。网络可以是例如因特网、内联网或局域网。例如,网络与通信部60之间的连接可以是诸如以太网(注册商标)之类的有线LAN(本地局域网)、诸如Wi-Fi之类的无线LAN、蜂窝电话线等。

通信部60可以能够通过近场通信与外部装置通信。例如,通信部60中的近场通信通过ISO/IEC14443(近距离RFID的国际标准)、ISO/IEC18092(称为NFC的无线通信国际标准)、ISO/IEC15693(RFID的国际标准)、蓝牙(注册商标)等进行。

接着,将描述通过图像处理器14进行的提取成像数据Dc的方法。首先,将描述延迟时间的原理和调整延迟时间的方法,并且其后将描述提取成像数据Dc的方法。

图2是用于描述延迟时间td的原理的图。图2概念性地示出存储在临时存储器31中的成像数据Da。临时存储器31存储在存储期间Δt期间由成像部11进行成像得到的成像数据Da。图2中的评估数据Dd是基于获取数据Db生成的用户的情感的数值评估。图像处理器14基于获取数据Db生成情感数据Df,并且基于生成的情感数据Df生成评估数据Dd。

评估数据Dd涉及用户的情感,并且因此,与成像数据Da具有预定的对应关系。然而,不能将相同时点的成像数据Da与评估数据Dd互相关联。这是因为,当用户观看时点t1处的几种场景时,用户的情感(情感数据Df)在从时点t1具有些微时间延迟的时点t2处显著改变。因此,在按时间顺序将成像数据Da与评估数据Dd和情感数据Df相关联时,存在延迟时间td。从而,电子设备1在考虑延迟时间的情况下按时间顺序将成像数据Da与情感数据Df互相关联。具体地,电子设备1将在时点t1(第一时点)处获取的成像数据Da与在比时点t1晚延迟时间td的时点t2(第二时点)处获取的情感数据Df互相关联。

图3示出调整延迟时间td的过程的示例。首先,图像处理器14获取成像数据Da和获取数据Db(步骤S101)。其后,图像处理器14基于获取数据Db生成情感数据Df(步骤S102)。图像处理器14对每种类型的获取数据Db生成情感数据Df。其后,图像处理器14基于情感数据Df评估成像数据Da(步骤S103)。图像处理器14基于情感数据Df计算至少愉悦/不适或者活跃/不活跃的强度数据,并且将计算的强度数据设定为评估数据Dd。

图像处理器14将得到的评估数据Dd以及成像数据Da输出到图像信号生成器15。图像信号生成器15生成用于显示从图像处理器14输入的评估数据Dd和成像数据Da的图像信号,并且将图像信号输出到显示驱动器16。显示驱动器16基于从图像信号生成器15输入的图像信号驱动显示部18。显示部18由显示驱动器16驱动,并从而显示成像数据Da和评估数据Dd(步骤S104)。

图4示出用于调整延迟时间td和选择传感器的显示屏的示例。显示部18由显示驱动器16驱动,并从而显示显示屏18A,如图4所示。显示屏18A包括例如再现窗口W1、时间线窗口W2、评估数据窗口W3、延迟时间显示窗口W4、传感器选择按钮BT1、和选择按钮BT2。

在再现窗口W1中,例如,通过点击再现窗口W1开始成像数据Da(移动图像、或通过连续成像得到的多个静止图像)的再现,并且通过在成像数据Da的再现期间点击再现窗口W1而停止成像数据Da的再现。

在时间线窗口W2中,例如,成像数据Da的一部分按时间顺序水平布置,并且通过水平滑动时间线窗口W2而调整在再现窗口W1中再现的成像数据Da的再现位置或再现速度。在时间线窗口W2中,例如,再现线Ls显示在对应于在再现窗口W1中再现的成像图像Da的再现时点ts的位置处。

在评估数据窗口W3中,例如,评估数据Dd显示为对应于按时间顺序在时间线窗口W2中同时显示的成像数据Da。在时间线窗口W3中,例如,再现线Ls显示在对应于在再现窗口W1中再现的成像图像Da的再现时点ts的位置处。在评估数据窗口W3中,例如,峰值线Lp进一步显示在对应于评估数据Dd的峰位置(峰时点tp)的位置处。

在延迟时间显示窗口W4中,例如,峰时点tp与再现时点ts之间的差(tp-ts)显示为延迟时间。在传感器选择按钮BT1中,例如,通过点击传感器选择按钮BT1,显示用于改变要用于生成评估数据Dd的传感器或者用于混合要用于生成评估数据Dd的传感器(即,选择多个类型的传感器)的屏幕。用户能够改变要用于生成评估数据Dd的传感器和混合要用于生成评估数据Dd的传感器(即,选择多个类型的传感器)。在选择按钮BT2中,例如,点击选择按钮BT2使得在点击时点显示在延迟时间显示窗口W4上的延迟时间成为延迟时间td。

图像处理器14接收通过用户在显示屏18A中的操作确定的延迟时间td和传感器的类型(步骤S105)。图像处理器14将接收的延迟时间td和传感器的类型的数据存储在临时存储器31中。以这种方式,进行延迟时间td的调整和传感器的选择。

接着,将描述提取成像数据Dc的方法。

图5示出提取成像数据Dc的过程的示例。首先,图像处理器14获取成像数据Da和获取数据Db(步骤S201)。其后,图像处理器14基于获取数据Db生成情感数据Df(步骤S202)。图像处理器14对每种类型的获取数据Db生成情感数据Df。其后,图像处理器14在考虑延迟时间td的情况下将情感数据Df与成像数据Da互相关联(步骤S203)。例如,图像处理器14将其中情感数据Df与成像数据Da在考虑延迟时间td的情况下互相关联的表格Dg存储在临时存储器31中。

图像处理器14基于情感数据Df评估成像数据Da(步骤S204)。在该情况下,例如,图像处理器14通过使用表格Dg并且在考虑情感数据Df的延迟时间td的情况下评估成像数据Da。图像处理器14基于通过评估得到的评估数据Dd判定是否需要包含在成像数据Da中的每个单独的成像数据(步骤S205)。在成像数据Da是移动图像的情况下,图像处理器14判定是否需要存储每个单独的帧。在成像数据Da是通过连续成像得到的多个静止图像的情况下,图像处理器14判定是否需要存储每个独立的静止图像。图像处理器14将被判定为存储的图像(成像数据Dc)存储在存储部32中。以这种方式,从成像数据Da提取成像数据Dc。

接着,将描述通过系统控制器40对成像部11和成像信号处理器12进行的控制。

图6示出通过系统控制器40控制成像部11和成像信号处理器12的过程的示例。首先,图像处理器14获取成像数据Da和获取数据Db(步骤S301)。其后,图像处理器14基于获取数据Db生成情感数据Df(步骤S302)。图像处理器14对每种类型的获取数据Db生成情感数据Df。其后,图像处理器14在考虑延迟时间td的情况下将成像数据Da与情感数据Df互相关联(步骤S303)。例如,图像处理器14将其中成像数据Da与情感数据Df在考虑延迟时间td的情况下互相关联的表格Dg存储在临时存储器31中。

图像处理器14基于情感数据Df评估成像数据Da(步骤S304)。在该情况下,例如,图像处理器14通过使用表格Dg并且在考虑情感数据Df的延迟时间td的情况下评估成像数据Da。图像处理器14基于通过评估得到的评估数据Dd将用于控制成像部11和成像信号处理器12的指令输出到系统控制器40。

例如,指令包括成像部11的分辨率、成像部11的帧率、要从成像部11输出的数据的位长、成像部11中包括的像素阵列中的活动像素区域、对要从成像部11输出的数据的影响、或者成像部11的状态(待机状态/成像状态)中的至少一者的改变。在该情况下,图像处理器14基于情感数据Df将例如用于控制成像部11的分辨率、成像部11的帧率、要从成像部11输出的数据的位长、成像部11中包括的像素阵列中的活动像素区域、或者对要从成像部11输出的数据的影响中的至少一者的指令输出到系统控制器40。此外,图像处理器14还基于情感数据Df将例如用于把成像部11设定为待机状态和成像状态中的一者的指令输出到系统控制器40。

在从图像处理器14接收用于控制成像部11和成像信号处理器12的指令时,系统控制器40基于指令将控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制来控制成像部11和成像信号处理器12(步骤S305)。以这种方式,成像部11和成像信号处理器12由系统控制器40控制。

接着,将描述用于延迟时间td的对策。图7示出控制成像部11和成像信号处理器12的方法的示例。

假设要控制成像部11的分辨率等的时刻是时点t1。在该情况下,在时点t2,应该在时点t1控制分辨率等变得明显。时点t2从时点t1延迟延迟时间td。为了在时点t1控制分辨率等,优选地预测应该在时点t1之前的时点t3控制成像部11的分辨率等。

在延迟时间td对成像数据Da的影响小的情况下,没有这样的预测可能是没问题的。然而,在延迟时间td对成像数据Da的影响大的情况下,这样的预测可能是必要的。因此,如图7所示,例如,图像处理器14可以基于先前得到的评估数据Dd(例如,时点t3之前的评估数据Dd)和先前得到的成像数据Da(例如,时点t3之前的成像数据Da)对在时点t3-td之后获取的成像数据Da进行预测性评估。在该情况下,例如,变得使图像处理器14能够基于以这种方式得到的评估数据Dd(在下文中,称为“预测性评估数据Ddf”)在时点t3-td之后将用于控制成像部11和成像信号处理器12的指令输出到系统控制器40。

接着,将描述控制成像部11和成像信号处理器12的方法的具体例。图8示出控制成像部11和成像信号处理器12的过程的示例。需要注意的是,在该情况下,存储部32存储要用于面部识别的参考数据De。参考数据De包括例如面部识别的目标的面部数据(与拍摄对象相关的参考数据)。参考数据De可以包括例如多条面部数据。

需要注意的是,下面描述其中控制成像部11的分辨率的情况。然而,即使在控制成像部11的分辨率、成像部11的帧率、要从成像部11输出的数据的位长、成像部11中包括的像素阵列中的活动像素区域、对要从成像部11输出的数据的影响、或者成像部11的状态(待机状态/成像状态)中的至少一者的情况下,也能够进行相似的控制。

首先,系统控制器40将成像部11的分辨率设定为“低”(步骤S401)。具体地,系统控制器40把用于将成像部11的分辨率设定为“低”的控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“低”的控制信号输出到成像部11。结果,成像部11利用被设定为“低”的分辨率进行成像,并且获取分辨率为“低”的成像数据Da,例如,如图9中的(A)所示(步骤S402)。

其后,图像处理器14判定分辨率为“低”的成像数据Da是否包括人(步骤S403)。在判定结果部包括人的情况下,成像部11继续利用被设定为“低”的分辨率进行成像。相比之下,例如,在成像数据Da中包括人的情况下,如例如图9中的(B)所示,图像处理器14把用于将分辨率设定为“中”的指令输出到系统控制器40。在从图像处理器14接收用于将分辨率设定为“中”的指令时,系统控制器40基于指令将控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“中”的控制信号输出到成像部11(步骤S404)。结果,成像部11利用被设定为“中”的分辨率进行成像,并且获取分辨率被设定为“中”的成像数据Da,例如,如图9中的(C)所示(步骤S405)。

其后,图像处理器14基于分辨率为“中”的成像数据Da进行面部识别,并且从存储部32读取参考数据De(步骤S406)。在该情况下,图像处理器14判定在与参考数据De匹配的成像数据Da中是否存在人(步骤S407)。作为判定结果,在与参考数据De匹配的成像数据Da中不存在人的情况下,利用被设定为“中”的分辨率继续成像。相比之下,例如,在与参考数据De匹配的成像数据Da中存在人的情况下,图像处理器14把用于将分辨率设定为“高”的指令输出到系统控制器40。在从图像处理器14接收用于将分辨率设定为“高”的指令时,系统控制器40基于指令将控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“高”的控制信号输出到成像部11(步骤S408)。结果,成像部11利用被设定为“高”的分辨率进行成像,并且获取分辨率被设定为“高”的成像数据Da,例如,如图9中的(D)所示。

其后,电子设备1执行上述步骤S201至S205或者上述步骤S301至S305(步骤S409)。以这种方式,进行使用面部识别的分辨率的设定。

接着,将描述使用面部识别设定分辨率的另一个方法。图10示出控制成像部11和成像信号处理器12的过程的示例。需要注意的是,在该情况下,存储部32也存储要用于面部识别的参考数据De。

需要注意的是,下面描述其中控制成像部11的分辨率的情况。然而,即使在控制成像部11的分辨率、成像部11的帧率、要从成像部11输出的数据的位长、成像部11中包括的像素阵列中的活动像素区域、对要从成像部11输出的数据的影响、或者成像部11的状态(待机状态/成像状态)中的至少一者的情况下,也能够进行相似的控制。

首先,系统控制器40将成像部11的分辨率设定为“低”(步骤S501)。具体地,系统控制器40把用于将成像部11的分辨率设定为“低”的控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“低”的控制信号输出到成像部11。结果,成像部11利用被设定为“低”的分辨率进行成像,并且获取分辨率被设定为“低”的成像数据Da,例如,如图9中的(A)所示(步骤S502)。此外,图像处理器14从系统控制器40获取获取数据Db(步骤S502)。

其后,图像处理器14基于获取数据Db生成情感数据Df(步骤S503)。图像处理器14对每种类型的获取数据Db生成情感数据Df。其后,图像处理器14基于情感数据Df评估成像数据Da(步骤S504)。例如,图像处理器14基于情感数据Df计算至少愉悦/不适或者活跃/不活跃的强度数据,并且将计算的强度数据设定为评估数据Dd。

在得到的评估数据Dd满足预定准则的情况下,图像处理器14把用于将分辨率设定为“中”的指令输出到系统控制器40。在从图像处理器14接收用于将分辨率设定为“中”的指令时,系统控制器40基于指令将控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“中”的控制信号输出到成像部11(步骤S505)。结果,成像部11利用被设定为“中”的分辨率进行成像,并且获取分辨率被设定为“中”的成像数据Da,例如,如图9中的(C)所示。

其后,图像处理器14基于分辨率为“中”的成像数据Da进行面部识别,并且从存储部32读取参考数据De(步骤S506)。在该情况下,图像处理器14判定在与参考数据De匹配的成像数据Da中是否存在人(步骤S507)。作为判定结果,在与参考数据De匹配的成像数据Da中不存在人的情况下,利用被设定为“中”的分辨率继续成像。相比之下,例如,在与参考数据De匹配的成像数据Da中存在人的情况下,图像处理器14把用于将分辨率设定为“高”的指令输出到系统控制器40。在从图像处理器14接收用于将分辨率设定为“高”的指令时,系统控制器40基于指令将控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“高”的控制信号输出到成像部11(步骤S508)。结果,成像部11利用被设定为“高”的分辨率进行成像,并且获取分辨率被设定为“高”的成像数据Da,例如,如图9中的(D)所示。

其后,电子设备1执行上述步骤S201至S205或者上述步骤S301至S305(步骤S509)。以这种方式,进行使用面部识别的分辨率的设定。

接着,将描述使用情感设定分辨率的方法。图11示出控制成像部11和成像信号处理器12的过程的示例。需要注意的是,在该情况下,存储部32存储要用于情感的评估的参考数据De。例如,参考数据De包括与用户的情感有关的参考数据。例如,参考数据De可以包括各种类型的获取数据Db中的与用户的情感有关的参考数据。

需要注意的是,下面描述其中控制成像部11的分辨率的情况。然而,即使在控制成像部11的分辨率、成像部11的帧率、要从成像部11输出的数据的位长、成像部11中包括的像素阵列中的活动像素区域、对要从成像部11输出的数据的影响、或者成像部11的状态(待机状态/成像状态)中的至少一者的情况下,也能够进行相似的控制。

首先,系统控制器40将成像部11的分辨率设定为“低”(步骤S601)。具体地,系统控制器40把用于将成像部11的分辨率设定为“低”的控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“低”的控制信号输出到成像部11。结果,成像部11利用被设定为“低”的分辨率进行成像,并且获取分辨率为“低”的成像数据Da,例如,如图12中的(A)所示(步骤S602)。此外,图像处理器14从系统控制器40获取获取数据Db(步骤S602)。

其后,图像处理器14基于获取数据Db生成情感数据Df(步骤S603)。图像处理器14对每种类型的获取数据Db生成情感数据Df。其后,图像处理器14基于情感数据Df评估成像数据Da(步骤S604)。例如,图像处理器14基于情感数据Df和参考数据De计算至少愉悦/不适或者活跃/不活跃的强度数据,并且将计算的强度数据设定为评估数据Dd。

例如,假设在得到如图12中的(B)所示的包括人的成像数据Da的情况下,得到的评估数据Dd满足预定准则。在该情况下,图像处理器14件把用于将分辨率设定为“高”的指令输出到系统控制器40。在从图像处理器14接收用于将分辨率设定为“高”的指令时,系统控制器40基于指令将控制信号输出到成像控制器13。成像控制器13响应于系统控制器40的控制,把用于将成像部11的分辨率设定为“高”的控制信号输出到成像部11(步骤S605)。结果,成像部11利用被设定为“高”的分辨率进行成像,并且获取分辨率被设定为“高”的成像数据Da,例如,如图12中的(C)所示。

其后,电子设备1执行上述步骤S201至S205或者上述步骤S301至S305(步骤S606)。以这种方式,进行使用情感的分辨率的设定。

[效果]

接着,将描述根据本实施方式的电子设备1的效果。

数码相机或智能手机最近配备了被称为“微笑快门”(注册商标)的功能,该功能响应于拍摄对象是否微笑的判定结果而自动释放快门,以精确地捕捉微笑的时刻。

顺便提及,用户可能不仅希望在微笑的时刻拍照,也希望在例如孩子的自然表情的时刻或者活动中的珍贵时刻拍照。然而,当用户拿着相机时,自然表情可能消失并且表情变为假笑或紧张表情,使得难以拍摄自然表情。另外,珍贵时刻突然到来,从而用户可能在拿着相机时错过拍摄。

相比之下,在根据本实施方式的电子设备1中,成像数据Da与情感数据Df按时间顺序互相关联,并且基于情感数据Df控制成像部11。从而,例如,在情感数据在当用户对拍摄对象反应的时刻改变的情况下,情感数据Df的监控使得能够把握用户可能希望拍照的时刻。结果,例如,变得能够响应于情感数据Df和评估数据Dd的改变得到对用户有意义的场景的成像数据Dc,而无需用户手动释放快门。此外,由于不需要用户手动释放快门,所以用户不需要拿着相机,使得能够拍摄自然表情。

此外,本实施方式使用包括与脉搏、心率、心电图、肌电图、呼吸、出汗、GSR、血压、血氧饱和度、皮肤表面温度、脑电图、血流变化、体温、身体的运动、头部的运动、重心、走路或跑步的节奏、眼睛状况或周围的声音中的至少一者有关的测量数据的获取数据Db。这使得能够精确地生成情感数据Df。

此外,在本实施方式中,基于情感数据Df评估成像数据Da,并且基于评估的结果(评估数据Dd)控制成像部11和成像信号处理器12。这使得能够响应于情感数据Df和评估数据Dd得到对用户有意义的场景的成像数据Dc,而无需用户手动释放快门。

此外,在本实施方式中,基于情感数据Df计算至少愉悦/不适或者活跃/不活跃的强度数据,并且基于通过计算得到的强度数据控制成像部11。这使得能够响应于情感数据Df和评估数据Dd的改变得到对用户有意义的场景的成像数据Dc,而无需用户手动释放快门。

此外,在本实施方式中,基于情感数据Df和评估数据Dd控制分辨率、帧率、位长、影响、或成像部中的有效像素区域中的至少一者。除了当获取对用户有意义的场景的成像数据Dc时之外,这使得系统控制器40能够例如减小分辨率、减小帧率、减小位长、消除影响、或减小成像部中的有效像素区域。在这样的情况下,能够降低使得电子设备1长时间进行成像的功耗。

此外,在本实施方式中,基于情感数据Df将成像部11设定为待机状态和成像状态中的一者。除了当获取对用户有意义的场景的成像数据Dc时之外,这使得系统控制器40能够将成像部11设定为待机状态。在这样的情况下,能够降低使得电子设备1长时间进行成像的功耗。

此外,在本实施方式中,基于情感数据Df判定是否需要存储成像数据Da,并且基于判定将对用户有意义的场景的成像数据Dc存储在存储部32中。这使得能够响应于情感数据Df和评估数据Dd的改变得到对用户有意义的场景的成像数据Dc,而无需用户手动释放快门。

此外,在本实施方式中,对于存储在临时存储器31中的成像数据Da中的、存储在临时存储器中的期间超过预定期间的部分进行数据删除或利用新存储的成像数据Da重写。这使得即使在临时存储器31具有小容量的情况下,电子设备1也能够长时间进行成像。

此外,在本实施方式中,生成其中已经纠正相机抖动的成像数据Da'。这使得即使在用户携带电子设备1的情况下,也能够得到具有较少相机抖动的成像数据Dc。

此外,在时点t1处获取的成像数据Da与在比时点t1晚延迟时间td的时点t2处获取的情感数据Df互相关联。这使得能够在考虑对于情感数据Df唯一的延迟时间的情况下得到成像数据Dc。

此外,在本实施方式中,基于参考数据De与成像数据Da之间的匹配结果控制成像部11。这允许使用面部识别控制成像部11,使得能够选择和存储期望留存的数据作为成像数据Dc。

此外,在本实施方式中,基于参考数据De和情感数据Df控制成像部11和成像信号处理器12。这使得用户能够选择和存储用户特别感动或印象深刻的成像数据Dc。

<2.变形例>

接着,将描述根据上述实施方式的电子设备1的变形例。在下面的描述中,利用相同的参考标号表示与上述实施方式中相同的部件。另外,适当地省略与上述实施方式中相同的部件的描述。

[变形例A]

在上述实施方式中,例如,如图13所示,图像信号生成器15、显示驱动器16、显示控制器17、显示部18、音频信号生成器24、和音频输出部25可以省略。在该情况下,例如,电子设备1可以经由通信部60将用于使如图4所示的显示屏18A显示所需的数据传送到电子设备2,电子设备2包括图像信号生成器15、显示驱动器16、显示控制器17、显示部18、音频信号生成器24、和音频输出部25。在这样的情况下,也可以在电子设备2中设定延迟时间td或者选择传感器的类型。

[变形例B]

在上述变形例A中,可以省略存储部32,例如,如图14所示。在该情况下,电子设备1可以经由通信部60将成像数据Dc存储在包括存储部32的存储设备3中。

[变形例C]

例如,在上述变形例A中,电子设备1可以被构造为经由网络4与显示设备2通信,如图15所示。网络4是能够通过通信部60与显示设备2通信的通信标准。

[变形例D]

例如,在上述变形例B中,电子设备1可以被构造为经由网络4与显示设备2或存储设备3通信,如图16所示。

[变形例E]

在上述实施方式及其变形例中,例如,成像部11可以与电子设备1独立地设置,如图17所示。在该情况下,通过得到成像部11得到的图像经由通信部60等输入到图像块10。在这样的情况下,也可以实现与上述实施方式的效果相似的效果。

[变形例F]

在上述实施方式以及变形例A至D中,电子设备1可以还包括能够将电子设备1附装于用户100的身体的附装部1B,例如,如图18所示。例如,在该情况下,附装部1B耦接到电子设备1的本体部1A。由于用户100不需要拿着电子设备1,所以这使得更容易拍摄对象的自然表情。

[变形例G]

在上述实施方式以及变形例A至D中,成像部11可以包括成像元件1a、1b和1c,其中光轴的各个方向彼此不同,并且获取各个特定方向的成像数据,例如,如图19所示。在该情况下,例如,成像元件1a、1b和1c能够固定地附装于用户100的帽子110并且能够从用户100的帽子110拆卸。这使得能够对宽范围成像。

[变形例H]

在上述实施方式以及变形例A至D和F中,成像部11可以包括透镜1C,例如,如图20所示。例如,透镜1C是广角镜头或鱼眼镜头。这使得能够对宽范围成像。

虽然以上参考示例性实施方式和变形例描述了本公开,但是这些实施方式和变形例不应该被解释为限制本公开的范围,并且可以以多种方式修改。应当理解,这里描述的效果仅仅是示例。本公开的示例性实施方式和变形例的效果不限于在这里描述的效果。本公开可以还包括除了这里描述的效果之外的任意效果。

而且,本公开可以具有下面的构造。

(1)一种电子设备,包括:

成像部,获取成像数据;

数据生成器,基于获取的数据生成情感数据;

数据处理器,将所述成像数据与所述情感数据按时间顺序互相关联;以及

控制器,基于所述情感数据使所述成像部的设定按时间顺序改变。

(2)根据(1)的电子设备,其中,所述获取数据包括与脉搏、心率、心电图、肌电图、呼吸、出汗、GSR、血压、血氧饱和度、皮肤表面温度、脑电图、血流变化、体温、身体的运动、头部的运动、重心、走路或跑步的节奏、眼睛状况或周围的声音中的至少一者有关的测量数据。

(3)根据(1)或(2)的电子设备,其中,所述控制器基于所述情感数据按时间顺序对所述成像数据进行评估,并且基于评估结果控制所述成像部。

(4)根据(1)至(3)的任意一项的电子设备,其中,所述控制器基于所述情感数据进行至少愉悦/不适或者活跃/不活跃的强度数据的计算,并且基于通过计算得到的强度数据控制所述成像部。

(5)根据(1)至(4)的任意一项的电子设备,其中,所述控制器基于所述情感数据控制分辨率、帧率、位长、影响、或者所述成像部中的有效像素区域中的至少一者。

(6)根据(1)至(4)的任意一项的电子设备,其中,所述控制器基于所述情感数据将所述成像部设定为待机状态和成像状态中的任一种状态。

(7)根据(1)至(6)的任意一项的电子设备,其还包括存储所述成像数据的存储部,其中,

所述控制器基于所述情感数据判定是否需要存储所述成像数据,并且基于判定使所述存储部存储所述成像数据。

(8)根据(1)至(6)的任意一项的电子设备,还包括存储所述成像数据的存储部,其中,

所述控制器使所述存储部存储所述成像数据,并且对存储在存储部中的成像数据中的、存储在所述存储部中的期间超过预定期间的部分进行数据删除或利用新存储的成像数据重写。

(9)根据(1)至(8)的任意一项的电子设备,其中,控制器检测成像数据中的相机抖动的量和方向、根据已经检测到的相机抖动的量和方向判定成像数据中的剪切区域、并且基于判定生成其中已经纠正相机抖动的成像数据。

(10)根据(1)至(9)的任意一项的电子设备,其中,所述数据处理器将在第一时点处获取的成像数据与在第二时点处获取的情感数据互相关联,所述第二时点比所述第一时点晚。

(11)根据(1)至(10)的任意一项的电子设备,还包括附装部,该附装部能够将所述电子设备附装于身体。

(12)根据(1)至(11)的任意一项的电子设备,其中,

所述成像部包括多个成像元件,其中,所述多个成像元件的个光轴的方向彼此不同,并且获取各个特定方向的成像数据,并且,

所述数据处理器将通过所述多个成像元件得到的多个特定方向的成像数据与所述情感数据按时间顺序关联,作为成像数据。

(13)根据(1)至(12)的任意一项的电子设备,其中,所述成像部包括广角透镜或鱼眼透镜。

(14)根据(1)至(13)的任意一项的电子设备,还包括存储与对象有关的参考数据的存储部,其中,

所述控制器基于所述参考数据与所述成像数据之间的匹配结果控制所述成像部。

(15)根据(14)的电子设备,其中,对分辨率、帧率、位长、影响或所述成像部中的有效像素区域中的至少一者进行所述成像部的设定。

(16)根据(1)至(15)的任意一项的电子设备,还包括存储与情感有关的参考数据的存储部,其中,

所述控制器基于所述参考数据和所述情感数据控制所述成像部。

(17)一种成像系统,包括:

成像部,获取成像数据;

数据生成器,基于获取的数据生成情感数据;

数据处理器,将所述成像数据与所述情感数据按时间顺序互相关联;以及

控制器,基于所述情感数据控制所述成像部。

(18)根据(17)的成像系统,还包括存储与对象有关的参考数据的存储部,其中,

所述控制器基于所述参考数据与所述成像数据之间的匹配结果控制所述成像部。

依照根据本公开的实施方式的电子设备和成像系统中,成像数据与情感数据按时间顺序互相关联,并且基于情感数据控制成像部。结果,变得能够响应于情感数据的改变得到成像数据,而无需用户手动释放快门。因此,变得使用户能够在不错过他/她想拍摄的时刻的情况下拍照。需要注意的是,这里描述的效果不受限制,并且可以包括在本公开中描述的任意效果。

本申请要求2019年3月29日在日本专利局提交的日本优先权专利申请JP2019-068358的权益,该日本专利申请的全部内容通过引用并入本文。

本领域技术人员应该理解,只要在所附权利要求及其等同物的范围内,可以根据设计要求和其它因素做出各种修改、组合、子组合和变更。

32页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:信息处理设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类