用于在视频中提供焦外成像效果的电子设备、方法和计算机可读介质

文档序号:1836568 发布日期:2021-11-12 浏览:16次 >En<

阅读说明:本技术 用于在视频中提供焦外成像效果的电子设备、方法和计算机可读介质 (Electronic device, method, and computer-readable medium for providing out-of-focus imaging effects in video ) 是由 郑有旻 金正勋 李成镐 洪泰和 朴智允 于 2020-04-03 设计创作,主要内容包括:一种电子设备包括多个相机、存储器和至少一个处理器。至少一个处理器被配置为在获取具有焦外成像效果的视频的同时,在第一帧内通过多个相机中的至少一些相机识别聚焦对象与电子设备之间的距离的改变。至少一个处理器还被配置为响应于识别第一距离与第二距离之间的差值在标准范围内,在第二帧中在第一背景区域内提供视频的焦外成像效果。至少一个处理器进一步被配置为响应于识别差值超出标准范围,在第二帧中在基于第三距离识别的第二背景区域内提供视频的焦外成像效果。(An electronic device includes a plurality of cameras, a memory, and at least one processor. The at least one processor is configured to identify, by at least some of the plurality of cameras, a change in distance between the focused object and the electronic device within a first frame while acquiring the video with the out-of-focus imaging effect. The at least one processor is further configured to provide an out-of-focus imaging effect of the video within the first background region in the second frame in response to identifying that a difference between the first distance and the second distance is within a standard range. The at least one processor is further configured to provide an out-of-focus imaging effect of the video in the second frame within a second background region identified based on the third distance in response to identifying that the difference is outside of the standard range.)

用于在视频中提供焦外成像效果的电子设备、方法和计算机 可读介质

技术领域

本公开涉及一种用于在视频中提供焦外成像效果的电子设备、方法和计算机可读介质。

背景技术

诸如智能电话和平板的便携式电子设备可包括多个相机以提供增强的图像(例如,静止图像和视频)。

上文信息仅作为背景信息被呈现,以辅助理解本公开。关于上文任何一项是否可能会适用于关于本公开的现有技术,尚未作出确定,且没有作出断言。

发明内容

问题的解决方案

电子设备可以通过电子设备内的多个相机中的至少一个相机来测量电子设备与聚焦对象之间的距离,以便在获取到的视频内提供焦外成像效果。测量距离的准确性可能取决于聚焦对象的状态改变或电子设备周围的环境的改变而变化。因此,在电子设备内可能需要一种提供与聚焦对象的状态的改变或电子设备周围的环境的改变无关且具有增强的质量的焦外成像效果的方法。

本公开所追求的技术主题不限于上述技术主题,且本公开所属领域的技术人员通过以下描述可以清楚地理解其它未提及的技术主题。

根据本公开的方面,提供了一种电子设备。电子设备包括:多个相机;存储器,被配置为存储指令;以及至少一个处理器,其中,至少一个处理器被配置为,当运行指令时:在使用多个相机获取具有焦外成像效果的视频的同时,通过多个相机中的至少一些在第一帧内识别聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变;响应于识别第一距离与第二距离之间的差值在标准范围内,在第一帧之后的第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果;以及响应于识别差值超出标准范围,在第二帧中在基于第一距离与第二距离之间的第三距离识别的第二背景区域内提供视频的焦外成像效果。

根据本公开的另一方面,提供了一种由具有多个相机的电子设备执行的方法。方法包括:在使用多个相机获取具有焦外成像效果的视频的同时,通过多个相机中的至少一些在第一帧内识别聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变;响应于识别第一距离与第二距离之间的差值在标准范围内,在第一帧之后的第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果;以及响应于识别差值超出标准范围,在第二帧中在基于第一距离与第二距离之间的第三距离识别的第二背景区域内提供视频的焦外成像效果。

根据本公开的另一方面,提供了一种用于存储一个或多个包括指令的程序的非暂时性计算机可读存储介质。指令被配置为当由具有多个相机的电子设备的一个或多个处理器运行时使电子设备:在使用多个相机获取具有焦外成像效果的视频的同时,通过多个相机中的至少一些在第一帧内识别聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变;响应于识别第一距离与第二距离之间的差值在标准范围内,在第一帧之后的第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果;以及响应于识别差值超出标准范围,在第二帧中在基于第一距离与第二距离之间的第三距离识别的第二背景区域内的视频的焦外成像效果。

根据各种实施例的电子设备、方法和非暂时性计算机可读记录介质可以独立于通过相机识别的聚焦对象的状态来确定焦点距离,从而在获取的视频内提供具有增强质量的焦外成像效果。

可从本公开获得的效果可以不限于上述效果,且本公开所属领域的技术人员通过以下描述可以清楚地理解未提及的其它效果。

在进行下文

具体实施方式

之前,阐述贯穿本专利文档所使用的某些单词和短语的定义可能是有利的:术语“包括(include)”和“包括(comprise)”以及其派生词意味着包括但不限于;术语“或”是包容性的,意味着和/或;短语“与……相关联”和“与之相关联”以及其派生词可能意味着包括、被包括在……内、与……相互连接(interconnect with)、包含、被包含在……内、连接到或与……连接(connect to or with)、耦合到或与……耦合(couple to or with)、可与……通信、与……协作、交错、并置、接近于、被绑定或与……绑定、具有、拥有等;并且术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分,这种设备可以以硬件、固件或软件或其中至少两个的某种组合被实施。应当注意,与任何特定控制器相关联的功能性可以是集中式或分布式的,无论是本地的还是远程的。

此外,下文所描述的各种功能可以由一个或多个计算机程序来实施或支持,每个计算机程序由计算机可读程序代码形成且被体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件部件、指令集、过程、功能、物体、类、实例、相关数据或其被适配用于在合适的计算机可读程序代码中实施的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码,包括源代码、目标代码和可运行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字化视频光盘(DVD)或任何其它类型的存储器。“非暂时性”计算机可读介质不包括输送暂时性电信号或其它信号的有线、无线、光学或其它通信链路。非暂时性计算机可读介质包括数据可以被永久存储的介质和数据可以被存储且在稍后被重写的介质,诸如可重写光盘或可擦除存储器设备。

某些词和短语的定义贯穿本专利文档被提供,且本领域的普通技术人员应该理解,在许多情况下(如果不是大多数情况下),这种定义适用于这种定义的词语和短语的先前以及未来使用。

附图说明

为了更完整地理解本公开及其优点,现结合附图参考以下描述,其中相同的参考标号表示相同的部分:

图1示出了根据各种实施例的网络环境内的在视频内提供焦外成像效果的电子设备的框图;

图2示出了根据各种实施例的提供焦外成像效果的电子设备的相机模块的框图;

图3示出了根据各种实施例的电子设备的简化框图;

图4示出了根据各种实施例的电子设备的处理器的运行示例;

图5是示出根据各种实施例的提供焦外成像效果的方法的流程图;

图6是示出根据各种实施例的基于参考范围和另一参考范围提供焦外成像效果的方法的流程图;

图7A是示出根据各种实施例的识别聚焦对象与电子设备之间的距离中的改变的方法的流程图;

图7B示出了根据各种实施例的从第一数据所细化的第三数据的示例;

图8A是示出根据各种实施例的识别聚焦对象的方法的流程图;

图8B示出了根据各种实施例的被定义以识别聚焦对象的参考的示例;

图9A是示出根据各种实施例的从所获取的视频中逐渐去除焦外成像效果的方法的流程图;以及

图9B示出了根据各种实施例的逐渐去除的焦外成像效果的示例。

具体实施方式

下文讨论的图1至图9B以及用于描述本专利文档中本公开的原理的各种实施例仅作为说明,而不应以任何方式解释为限制本公开的范围。本领域技术人员将理解,本公开的原理可以在任何适当布置的系统或设备中实现施。

图1示出了根据各种实施例的网络环境内的在视频内提供焦外成像效果的电子设备的框图。

参照图1,网络环境100中的电子设备101可经由第一网络198(例如,短距离无线通信网络)与电子设备102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子设备104或服务器108进行通信。根据实施例,电子设备101可经由服务器108与电子设备104进行通信。根据实施例,电子设备101可包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子设备101中省略部件中的至少一个(例如,显示设备160或相机模块180),或者可将一个或多个其它部件添加到电子设备101中。在一些实施例中,可将部件中的一些部件实施为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实施为嵌入在显示设备160(例如,显示器)中。

处理器120可运行例如软件(例如,程序140)来控制电子设备101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理单元(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。额外地或可替代地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实施为与主处理器121分离,或者实施为主处理器121的部分。

在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123可控制与电子设备101(而非主处理器121)的部件之中的至少一个部件(例如,显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子设备101的部件之中的至少一个部件(例如,显示设备160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实施为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。

存储器130可存储由电子设备101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入设备150可从电子设备101的外部(例如,用户)接收将由电子设备101的其它部件(例如,处理器120)使用的命令或数据。输入设备150可包括例如麦克风、鼠标、键盘或数字笔(例如,手写笔)。

声音输出设备155可将声音信号输出到电子设备101的外部。声音输出设备155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,并且接收器可用于呼入呼叫。根据实施例,可将接收器实施为与扬声器分离,或实施为扬声器的部分。

显示设备160可向电子设备101的外部(例如,用户)视觉地提供信息。显示设备160可包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例,显示设备160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。

音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入设备150获得声音,或者经由声音输出设备155或与电子设备101直接(例如,有线地)连接或无线连接的外部电子设备(例如,电子设备102)的耳机输出声音。

传感器模块176可检测电子设备101的操作状态(例如,功率或温度)或电子设备101外部的环境状态(例如,用户的状态),然后生成与检测到的状态相对应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子设备101与外部电子设备(例如,电子设备102)直接(例如,有线地)或无线连接的一个或多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器,其中,电子设备101可经由连接器与外部电子设备(例如,电子设备102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子设备101的供电。根据实施例,可将电力管理模块188实施为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子设备101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子设备101与外部电子设备(例如,电子设备102、电子设备104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的对应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实施为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实施为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。

天线模块197可将信号或电力发送到电子设备101的外部(例如,外部电子设备)或者从电子设备101的外部(例如,外部电子设备)接收信号或电力。根据实施例,天线模块197可包括天线,天线包括辐射元件,辐射元件由形成在基底(例如,PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。

上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。

根据实施例,可经由与第二网络199耦合的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和电子设备104中的每一个可以是与电子设备101相同类型的设备,或者是与电子设备101不同类型的设备。根据实施例,将在电子设备101运行的全部操作或一些操作可在外部电子设备102、外部电子设备104或服务器108中的一个或多个运行。例如,如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务,则电子设备101可请求一个或多个外部电子设备执行功能或服务中的至少部分,而不是运行功能或服务,或者电子设备101除了运行功能或服务以外,还可请求一个或多个外部电子设备执行功能或服务中的至少部分。接收到请求的一个或多个外部电子设备可执行功能或服务中的所请求的至少部分,或者执行与请求相关的另外功能或另外服务,并将执行的结果传送到电子设备101。电子设备101可在对结果进行进一步处理的情况下或者在不对结果进行进一步处理的情况下将结果提供作为对请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户端-服务器计算技术。

图2示出了根据各种实施例的提供焦外成像效果的电子设备的相机模块的框图。

参照图2,相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如,缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或多个透镜。根据实施例,相机模块180可包括多个镜头组件210。在这种情况下,相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如,视角、焦距、自动对焦、f数或光学变焦),或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。

闪光灯220可发光,其中,发出的光用于增强从物体反射的光。根据实施例,闪光灯220可包括一个或多个发光二极管(LED)(例如,红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获得与物体相对应的图像。根据实施例,图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(诸如,RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实施包括在图像传感器230中的每个图像传感器。

图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜,或者响应于相机模块180或包括相机模块180的电子设备101的移动来控制图像传感器230的可操作属性(例如,调整读出时序)。这样,允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如,图像模糊)的至少一部分。根据实施例,图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子设备101的这样的移动。根据实施例,可将图像稳定器240实施为例如光学图像稳定器。

存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如,如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟,则可将获取的原始图像(例如,拜耳图案图像、高分辨率图像)存储在存储器250中,并且可经由显示设备160来预览其相应的副本图像(例如,低分辨率图像)。然后,如果满足了指定的条件(例如,通过用户的输入或系统命令),则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例,可将存储器250配置为存储器130的至少一部分,或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。

图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或多个图像处理。一个或多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如,降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。额外地或可替代地,图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如,图像传感器230)执行控制(例如,曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理,或者可将该图像提供给在相机模块180之外的外部部件(例如,存储器130、显示设备160、电子设备102、电子设备104或服务器108)。根据实施例,可将图像信号处理器260配置为处理器120的至少一部分,或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器,则可由处理器120经由显示设备160将由图像信号处理器260处理的至少一个图像按照其原样显示,或者可将至少一个图像在被进一步处理后进行显示。

根据实施例,电子设备101可包括具有不同属性或功能的多个相机模块180。在这种情况下,多个相机模块180中的至少一个相机模块180可形成例如广角相机,并且多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地,多个相机模块180中的至少一个相机模块180可形成例如前置相机,并且多个相机模块180中的至少另一个相机模块180可形成后置相机。

根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可包括例如便携式通信设备(例如,智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例,电子设备不限于以上所述的那些电子设备。

应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的,术语“模块”可包括以硬件、软件或固件实施的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实施模块。

可将在此阐述的各种实施例实施为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子设备101)读取的一个或多个指令的软件(例如,程序140)。例如,在处理器的控制下,机器(例如,电子设备101)的处理器(例如,处理器120)可在使用或无需使用一个或多个其它部件的情况下调用存储在存储介质中的一个或多个指令中的至少一个指令并运行至少一个指令。这使得机器能够操作用于根据所调用的至少一个指令执行至少一个功能。一个或多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性存储介质”是有形设备,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。例如,“非暂时性存储介质”可以包括临时存储数据的缓存器。

根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户设备(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品(例如,可下载应用)中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。

根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或多个部件,或者可添加一个或多个其它部件。可替代地或者额外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与多个部件中的相应一个部件在集成之前执行一个或多个功能相同或相似的方式,执行多个部件中的每一个部件的一个或多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者操作中的一个或多个操作可按照不同的顺序来运行或被省略,或者可添加一个或多个其它操作。

图3示出了根据各种实施例的电子设备的简化框图。

参照图3,电子设备101可包括处理器120、存储器130、显示器160a和多个相机180a。

根据各种实施例,处理器120可包括图1中所示出的处理器120,存储器130可包括图1中所示出的存储器130,显示器160a可包括图1中所示出的显示设备160,且多个相机180a可包括图1或图2中所示出的相机模块180。

根据各种实施例,多个相机180a可包括第一相机310和第二相机320。根据各种实施例,第一相机310可以是深度相机。例如,第一相机310可以是飞行时间(TOF)相机。例如,第一相机310可包括被配置为发出红外光的发射器和被配置为接收红外光的反射光的接收器。根据各种实施例,可操作地连接到第一相机310的处理器120可以通过第一相机310获取关于从第一相机310发出的红外光的反射光的信息。可以基于获取的信息获取关于第一相机310的视场(FOV)中的多个对象中的每个对象与电子设备101(或第一相机310)之间的距离的信息。根据各种实施例,第二相机320可以是RGB相机。例如,第二相机320可包括被配置为接收可见光的接收器。

根据各种实施例,电子设备101可包括多个相机180a、被配置为存储指令的存储器130和处理器120。处理器120可以被配置为,当运行指令时,在使用多个相机180a获取具有焦外成像效果的视频的同时,通过多个相机中的至少一些在第一帧内识别聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变,且识别第一距离与第二距离之间的差值在标准范围内。处理器120可以被配置为响应于识别差值在标准范围内,在第一帧之后的第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果。处理器120可以被配置为响应于识别差值超出标准范围,在第二帧中在基于第一距离与第二距离之间的第三距离识别的第二背景区域内提供视频的焦外成像效果

根据各种实施例,处理器120可以进一步被配置为,当运行指令时,在第二帧之后的第三帧中在基于第二距离与第三距离之间的第四距离识别的第三背景内提供视频的焦外成像效果。

根据各种实施例,处理器120可以进一步被配置为,当运行指令时,响应于识别差值超出标准范围和另一标准范围,在第二帧中在基于第一距离识别的第三背景区域内提供视频的焦外成像效果。

根据各种实施例,多个相机180a可包括RGB相机(例如,第二相机320)和深度相机(例如,第一相机310)。

根据各种实施例,深度相机可包括被配置为发出红外光的发射器和被配置为接收红外光的反射光的接收器。

根据各种实施例,处理器120可以被配置为,当运行指令时,基于反射光,获取关于包括深度相机的视场(FOV)中的聚焦对象的多个对象中的每个对象与电子设备之间的距离的第一数据。处理器120可以被配置为,当运行指令时,响应于识别多个对象中的一些在距电子设备可以基于第一数据使用深度相机进行测量的最大距离之外,使用通过RGB相机所获取的第二数据来获取从第一数据所细化的第三数据。处理器120可以进一步被配置为,当运行指令时,基于第三数据,识别聚焦对象与电子设备之间的距离在第一帧内从第一距离变为第二距离。

根据各种实施例,处理器120可以被配置为,当运行指令时,基于反射光,获取关于包括深度相机的视场(FOV)中的聚焦对象的多个对象中的每个对象与电子设备之间的距离的第一数据。处理器120可以被配置为,当运行指令时,响应于识别聚焦对象的一部分在距电子设备可以使用深度相机来测量的最大距离之外,使用通过RGB相机所获取的第二数据来获取从第一数据所细化的第三数据。处理器120可以进一步被配置为,当运行指令时,基于第三数据,识别聚焦对象与电子设备之间的距离在第一帧内从第一距离变为第二距离。

根据各种实施例,处理器120可以被配置为,当运行指令时,通过将第一数据中的一些转换为对应于与聚焦对象的其余部分和电子设备之间的距离相对应的数据的数据,使用第二数据获取从第一数据所细化的第三数据。

根据各种实施例,处理器120可以被配置为,当运行指令时,基于在多个标准之中具有最高优先级的标准来在深度相机的视场(FOV)中的多个对象之中识别聚焦对象。多个标准之中的第一标准可以是将多个对象之中由通过显示器接收到的触摸输入指定的对象识别作为聚焦对象。多个标准之中的第二标准可以是将多个对象之中与面部相对应的对象识别作为聚焦对象。多个标准之中的第三标准可以是识别多个对象之中的包括在自动对焦(AF)区域中的至少一个对象和将多个对象之中最靠近电子设备的对象识别作为聚焦对象。第一标准的优先级可以高于第二标准的优先级和第三标准的优先级,且第二标准的优先级可以高于第三标准的优先级。

根据各种实施例,处理器120可以被配置为,当运行指令时,在使用多个相机获取具有焦外成像效果的视频的同时,通过多个相机中的至少一些确定聚焦对象移动到与电子设备相距可使用深度相机测量的最大距离之外。处理器120可以进一步被配置为,在运行指令时,基于确定,从视频中逐渐去除焦外成像效果。

根据各种实施例,处理器120可以被配置为,当运行指令时,响应于识别差值在标准范围之外,通过将标准距离添加到第一距离来识别第三距离。处理器120可以被配置为,在运行指令时,在第二帧中在基于第三距离识别的第二背景区域内提供视频的焦外成像效果,且通过将标准距离添加到第三距离来识别第四距离。处理器120可以进一步被配置为,当运行指令时,在第二帧之后的第三帧中在基于第四距离识别的第三背景区域内提供视频的焦外成像效果。

图4示出了根据各种实施例的电子设备的处理器的运行示例。示例可由图1的处理器120或图3的处理器120执行。

参照图4,处理器120可包括深度信息获取单元410、RGB信息获取单元420、推理引擎430、深度信息细化器440、面部检测器450、用户输入检测器460、焦点识别器470和焦外成像效果应用器480。根据各种实施例,深度信息获取单元410、RGB信息获取单元420、推理引擎430、深度信息细化器440、面部检测器450、用户输入检测器460、焦点识别器470和焦外成像效果应用器480可以实施为软件、硬件或软件与硬件的组合。例如,深度信息获取单元410、RGB信息获取单元420、推理引擎430、深度信息细化器440、面部检测器450、用户输入检测器460、焦点识别器470和焦外成像效果应用器480可以通过运行存储在存储器130中的指令、运行包括在电子设备101中的元件、或者运行存储在存储器130中的指令和包括在电子设备101中的元件两者来实施。

根据各种实施例,处理器120可以通过深度信息获取单元410获取关于电子设备101与多个对象之间的距离的信息。例如,处理器120可以通过第一相机310发出光(例如,红外光)并且通过第一相机310接收从第一相机310的FOV中的多个对象反射的发出光的反射光。处理器120可以从第一相机310接收关于反射光的信息。例如,发出光的频段和反射光的频段可以彼此相同。例如,关于反射光的信息可包括关于反射光的接收强度的数据。然而,这不是限制性的。处理器120可以通过深度信息获取单元410基于关于反射光的信息来获取关于电子设备101与多个对象中的每个对象之间的距离的信息。根据各种实施例,关于距离的信息可以被提供给深度信息细化器440。

根据各种实施例,处理器120可以通过RGB信息获取单元420获取用于配置视频的信息。例如,处理器120可以通过第二相机320获取用于配置视频的多个图像作为用于配置视频的信息,并处理获取的多个图像,以便获取视频。例如,处理器120可以通过第一相机310和第二相机320中的每一个获取用于配置视频的多个图像作为用于配置视频的信息,并合并多个图像,以便获取视频。然而,这不是限制性的。根据各种实施例,用于配置视频的信息可以被提供给深度信息细化器440。

根据各种实施例,处理器120可以通过推理引擎430获取用于细化关于距离的信息的数据和用于识别在包括在视频中的对象之中要聚焦的对象的数据。

根据各种实施例,推理引擎430可包括用于推理的模型。根据各种实施例,推理引擎430可以基于训练数据来训练模型。例如,推理引擎430可以使用训练数据来训练模型,以便提供输入到推理引擎430中的目标数据的结果,该结果具有标准可靠性或更高。

根据各种实施例,推理引擎430可以接收目标数据并将模型应用于接收到的目标数据,以便获取或生成推理结果。根据各种实施例,当模型是训练模型时,推理结果的可靠性可以高于或等于标准可靠性。例如,推理引擎430可以基于电子设备101的过去操作启发法使用模型来获取用于细化由深度信息获取单元410获取的关于距离的数据的数据。在另一示例中,推理引擎430可以基于包括用户的多个相机180a的过去使用历史的电子设备101的过去操作启发法来使用模型获取用于识别聚焦对象的数据。用于细化关于距离的信息的数据可以被提供给深度信息细化器440。用于识别聚焦对象的数据可被提供给聚焦识别器470。

根据各种实施例,深度信息细化器440可以从深度信息获取单元410获取关于距离的信息。根据各种实施例,深度信息细化器440可以从RGB信息获取单元420获取用于配置视频的信息。根据各种实施例,深度信息细化器440可以从推理引擎430获取用于细化关于距离的信息的数据。

根据各种实施例,从深度信息获取单元410获取的关于距离的信息可能有孔。例如,孔可以是使用第一相机310获取的图像内的阴影区域。例如,孔可以是关于距离的信息中尚未接收到反射光的部分。例如,孔可以是反射光的强度低于关于距离的信息中的标准强度的部分。例如,孔可以是接收与反射光的频段不同的频段中的光的区域。例如,孔可能是由包括在第一相机310的FOV中的对象吸收从第一相机310发射的光引起的。例如,孔可能是由包括在第一相机310的FOV中的对象的位置超出了与电子设备101相距的可通过第一相机310测量的最大距离引起的。然而,这不是限制性的。

根据各种实施例,处理器120可以基于用于配置视频的信息通过深度信息细化器440来细化关于距离的信息。例如,处理器120可以基于识别与孔相对应的数据包括在关于距离的信息中,通过深度信息细化器440从用于配置视频的信息中获取孔和孔附近的颜色数据。处理器120可以通过基于孔和孔附近的颜色数据通过深度信息细化器440补偿关于距离的信息来细化关于距离的信息。在另一示例中,处理器120可以基于识别与孔相对应的数据包括在关于距离的信息中,通过深度信息细化器440向推理引擎430提供关于孔和孔附近的状态的信息。此外,处理器120可以响应于提供给推理引擎430的信息通过深度信息细化器440获取指示孔和孔附近的状态的数据。处理器120可以基于从推理引擎430中获取的信息通过深度信息细化器440细化关于距离的信息。然而,这不是限制性的。根据各种实施例,关于距离的细化信息可以被提供给焦点识别器470。

根据各种实施例,处理器120可以通过在视频被获取时分析关于视频的信息,通过面部检测器450识别在包括在多个相机180a中的每个相机180a的FOV中的多个对象之中是否存在包括面部的至少一个对象。根据各种实施例,处理器120可以获取指示是否存在包括面部的至少一个对象的至少一条数据或当基于识别存在包括面部的至少一个对象时指示多个对象中的哪个对象与包括面部的至少一个对象相对应的数据。根据各种实施例,指示是否存在包括面部的至少一个对象的数据或当存在包括面部的至少一个对象时指示多个对象中的哪个对象与包括面部的至少一个对象相对应的数据中的至少一条可以被提供给焦点识别器470。

根据各种实施例,处理器120可以识别在视频被获取时是否通过用户输入检测器460接收到用于指定聚焦区域(或聚焦对象)的用户输入。例如,处理器120可以在视频被获取时在显示器160a上显示视频。在显示器160a上显示的视频可包括与包括在多个相机180中的每个相机180的FOV中的多个对象相对应的多个视觉物体。处理器120可以通过用户输入检测器460识别用于选择多个视觉物体中的一个(一)视觉物体的用户输入被接收作为用于指定聚焦区域(或聚焦对象)的用户输入。根据各种实施例,处理器120可以显示要叠加在显示器160a上显示的视频上的矩形指示符,以便通知用户识别到用户输入的接收。然而,这不是限制性的。根据各种实施例,关于用户输入的信息可以被提供给焦点识别器470。

根据各种实施例,处理器120可以通过焦点识别器470识别包括在多个相机180a的FOV中的多个对象之中的聚焦对象。根据各种实施例,聚焦对象可以是需要被跟踪以便在由电子设备101获取的视频中提供焦外成像效果的对象。根据各种实施例,聚焦对象与电子设备101之间的距离可以是用于在由电子设备101获取的视频中提供焦外成像效果的参数。根据各种实施例,聚焦对象可被称为目标对象或主要对象。然而,这不是限制性的。

例如,处理器120可以基于从面部检测器450、用户输入检测器460或者推理引擎430中的至少一个提供给焦点识别器470的信息来识别多个对象之中的焦点对象。例如,处理器120可基于多个标准之中具有最高优先级的标准通过焦点识别器470识别多个对象之中的聚焦对象。例如,多个标准之中的第一标准可以是从用户输入检测器460接收关于用户输入的信息。例如,多个标准之中的第二标准可以是从面部检测器450的接收指示在多个对象之中存在与面部相对应的对象的信息。例如,多个标准之中的第三标准可以是识别多个对象之中至少一个对象包括在AF区域中和识别所识别的至少一个对象之中最靠近电子设备101的对象。例如,当不存在与面部相对应的用户输入或对象时,AF区域可以是从显示器160a的整个显示区域中分离出来的多个区域之中与显示器160a上显示的视频的中心区域相对应的区域。然而,这不是限制性的。例如,多个标准之中的第四标准可以是存在由推理引擎430基于电子设备101的过去操作启发法提取的聚焦对象。根据各种实施例,包括第一标准、第二标准、第三标准和第四标准的多个标准的优先级可以通过用户选择或电子设备101的配置来确定。例如,第四标准的优先级可以高于第一标准的优先级、第二标准的优先级和第三标准的优先级。第一标准的优先级可以高于第二标准的优先级和第三标准的优先级,且第二标准的优先级可以高于第三标准的优先级。然而,这不是限制性的。根据各种实施例,关于识别的聚焦对象的信息可被提供给焦外成像效果应用器480。

根据各种实施例,处理器120可以经由焦外成像效果应用器480在通过多个相机180获取的视频中提供焦外成像效果。例如,处理器120可以基于关于通过焦外成像效果应用器480识别的聚焦对象的信息识别视频的背景区域以提供焦外成像效果,并提供识别的背景区域内的焦外成像效果。例如,处理器120可以从关于识别的聚焦对象的信息中获取关于聚焦对象与电子设备101之间的距离的数据。处理器120可以基于所获取的数据识别视频的背景区域并提供识别的背景区域内的焦外成像效果。在另一示例中,处理器120可以基于识别聚焦对象与电子设备101之间的距离的改变超出了来自关于识别的聚焦对象的信息的标准范围,通过焦外成像效果应用器480识别用于恰好在当前帧之前的帧中提供焦外成像效果的关于聚焦对象与电子设备101之间的距离的信息。处理器120可以基于识别的信息通过焦外成像效果应用器480提供视频的识别的背景区域内的焦外成像效果。在另一示例中,处理器120可以通过焦外成像效果应用器480识别聚焦对象位于与电子设备101相距的最大距离之外(可以使用第一相机310测量),并逐渐去除焦外成像效果,其正在基于识别从视频中被提供。

下文将参考图5至图9B描述用于应用根据各种实施例的焦外成像效果的示例。

图5是示出根据各种实施例的提供焦外成像效果的方法的流程图。方法可以由图1和图3中所示出的电子设备101或者电子设备101的处理器120执行。

参照图5,在操作510中,处理器120可以识别在第一帧中聚焦对象与电子设备101之间的距离从第一距离到第二距离的改变。例如,处理器120可以通过多个相机180a获取具有焦外成像效果的视频。例如,可以基于第一距离在视频的识别的背景区域内提供第一帧内的焦外成像效果。在提供焦外成像效果时,处理器120可以通过多个相机180a中的至少一些(例如,第一相机310和/或第二相机320)识别在第一帧中聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变。

在操作515中,处理器120可以识别第一距离和第二距离之间的差值是否在标准范围内。根据各种实施例,可以在电子设备101内配置标准范围,以便在使用多个相机180a获取的视频内提供具有增强质量的焦外成像效果。例如,由处理器120识别的聚焦对象与电子设备101之间的距离可能通过聚焦对象的状态的改变(例如,高速移动或对象的颜色的改变)或电子设备101的周围环境的改变而急剧改变。当电子设备基于急剧改变的距离在视频的识别的区域内提供焦外成像效果时,由电子设备获取的视频的质量可能由于急剧的场景改变而劣化。为了防止质量的劣化,根据各种实施例的电子设备101可以基于标准范围来确定用于提供焦外成像效果的距离,并基于确定的距离在第一帧之后的第二帧内提供焦外成像效果。第二帧可以是第一帧之后的帧。根据各种实施例,当识别第一距离与第二距离之间的差值在标准范围内时,处理器120可以执行操作520。否则,处理器120可执行操作525。

在操作520中,处理器120可以基于识别第一距离与第二距离之间的差值在标准范围内,在第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果。第一距离与第二距离之间的在标准范围内的差值可能意味着聚焦对象没有急剧移动。在这种情况下,处理器120可以在基于第二距离识别的第一背景区域内在第二帧中提供焦外成像效果。第一距离与第二距离之间的在标准范围内的差异可能意味着即使基于聚焦对象与电子设备101之间改变的距离提供焦外成像效果,视频的质量也不会劣化。在这种情况下,处理器120可以在基于作为改变距离的第二距离识别的视频的第一背景区域内在第二帧中提供焦外成像效果。

在操作525中,处理器120可以基于识别第一距离与第二距离之间的差值超出标准范围,在第二帧内在基于第三距离识别的第二背景区域中提供视频的焦外成像效果。例如,在操作510中,处理器120可以通过将标准距离添加到用于提供焦外成像效果的第一标准来识别第三距离并在基于第三距离识别的第二背景区域内提供视频的焦外成像效果。例如,处理器120可以在第二背景区域内在第二帧中提供焦外成像效果,该第二背景区域基于独立于作为聚焦对象和电子设备101之间的变化距离的第二距离的第三距离而被识别。例如,处理器120可以在第二背景区域内在第二帧中提供焦外成像效果,该第二背景区域基于第三距离而不使用作为聚焦对象和电子设备101之间的变化距离的第二距离而被识别。例如,,处理器120可以在第二背景区域内在第二帧中提供焦外成像效果,该第二背景区域基于第三距离而不管作为聚焦对象和电子设备101之间的变化距离的第二距离而被识别。

如上文所描述,根据各种实施例的电子设备101可以在通过多个相机180a获取具有焦外成像效果的视频的同时识别聚焦对象与电子设备101之间的距离。当距离的改变超出标准范围时,电子设备101可以基于聚焦对象与电子设备101之间的距离放弃、绕过或延迟提供焦外成像效果,并基于与改变的距离区分开的另一距离提供焦外成像效果。根据各种实施例的电子设备101可以通过这种操作获取具有具增强质量的焦外成像效果的视频。

图6是示出根据各种实施例的基于标准范围和另一标准范围提供焦外成像效果的方法的流程图。方法可以由图1和图3中所示出的电子设备101或者电子设备101的处理器120执行。

图6的操作610至操作625可以与图5的操作525相关。

参照图6,在操作610中,处理器120可以识别第一距离与第二距离之间的差值可能超出标准范围。图6的第一距离、第二距离和标准范围可以分别与通过图5的描述定义的第一距离、第二距离和标准范围相对应。

在操作615中,处理器120可以基于识别第一距离与第二距离之间的差值超出标准范围,识别第一距离与第二距离之间的差值是否在另一标准范围内。根据各种实施例,另一标准范围可以是被定义为尽管第一距离与第二距离之间的差值不会劣化视频的质量,但防止由视频提供的不自然场景改变的参数。根据各种实施例,包括在另一标准范围内的值可以是包括在标准范围内的一些值。例如,超出标准范围并在另一标准范围内的差值可以意味着指示差值的值是从标准范围内的最大值到标准范围外的第一值的值中的一个值。例如,超出标准范围和另一标准范围的差值可以意味着指示差值的值是来自超出标准范围的第一值和超出标准范围的最大值的值中的一个值。然而,这不是限制性的。根据各种实施例,当第一距离与第二距离之间的差值在另一标准范围内时,处理器120可以执行操作620。否则,处理器120可执行操作625。

在操作620中,处理器120可以基于识别第一距离与第二距离之间的差值超出标准范围且在另一标准范围内,在第二帧内在基于第三距离识别的第二背景区域内提供视频的焦外成像效果。例如,第三标准可以是第一距离与第二距离之间的值到视频的场景的自然改变。例如,第三距离可以被定义为逐渐执行视频场景改变,直到在基于第二距离识别的视频的区域内提供焦外成像。例如,可以通过将标准距离(或单位距离)添加到第一距离来确定第三距离。然而,这不是限制性的。

在操作625中,处理器120可以基于识别第一距离与第二距离之间的差值超出标准范围和另一标准范围,在第二帧内在基于第一距离识别的第三背景区域内提供视频的焦外成像效果。例如,由于第一距离与第二距离之间的超出标准范围和另一标准范围的差值意味着关于通过多个相机180a中的至少一些识别的聚焦对象与电子设备101之间的距离的信息由于一些因素而具有误差,因此处理器120可以基于识别第一距离与第二距离之间的差值超出标准范围和另一标准范围,在基于第一距离识别的第三背景区域内在第二帧中提供焦外成像效果。然而,这不是限制性的。

如上文所描述,根据各种实施例的电子设备101可以在通过多个相机180a获取具有焦外成像效果的视频的同时识别聚焦对象与电子设备101之间的距离。当估计通过多个相机180a中的至少一些测量的距离具有误差且距离的改变急剧时,电子设备101可以将用于提供焦外成像效果的距离保持为用于当前提供焦外成像效果的距离。根据各种实施例的电子设备101可以通过这种操作获取具有具增强质量的焦外成像效果的视频。

图7A是示出根据各种实施例的识别聚焦对象与电子设备之间的距离的改变的方法的流程图。方法可以由图1和图3中所示出的电子设备101或者电子设备101的处理器120执行。

图7B示出了根据各种实施例的从第一数据所细化的第三数据的示例。

图7A的操作710至操作730可能与图5的操作510相关。

参照图7A,在操作710中,处理器120可以通过TOF相机(其为第一相机310)获取第一数据。例如,TOF相机可包括被配置为发出红外光的发射器和被配置为接收红外光的反射光的接收器。根据各种实施例,处理器120可以基于反射光获取关于TOF相机的FOV中的多个对象中的每个对象与电子设备101之间的距离的第一数据。

在操作715中,处理器120可以识别在第一数据中的一些中是否存在与通过图4的描述定义的孔相对应的数据。例如,当多个对象中的一些超出与电子设备101相距的可以使用TOF相机测量的最大距离(例如,有效距离)时,第一数据可包括与孔相对应的数据。在另一示例中,当聚焦对象的一部分具有吸收从TOF相机发出的红外光的颜色时,第一数据可包括在与聚焦对象相对应的区域中的与孔相对应的数据。

例如,参照图7B,指示使用TOF相机获取的第一数据的图像750可包括与孔相对应的区域755-1和与孔相对应的区域760-1。例如,区域755-1可以是当对象超出与电子设备101相距的可以使用TOF相机测量的最大距离时生成的区域。例如,区域760-1可以是当聚焦对象的部分具有吸收从TOF相机发出的红外光的颜色时生成的区域。然而,这不是限制性的。根据各种实施例,当在第一数据中的一些中存在与孔相对应的数据时,处理器120可以执行操作720。否则,处理器120可执行操作730。

在操作720中,处理器120可以基于识别在第一数据中的一些中存在与孔相对应的数据,使用通过RGB相机(其为第二相机320)获取的第二数据获取从第一数据所细化(或更新)的第三数据。例如,处理器120可以通过第二数据获取关于与孔和孔附近相对应的像素的信息,并基于关于像素的信息获取从第一数据所细化的第三数据。

例如,参照图7B,处理器120可通过第二数据补偿指示通过TOF相机所获取的第一数据的图像750的区域755-1,并通过第二数据补偿指示通过TOF相机所获取的第一数据的图像750的区域760-1。例如,处理器120可以获取指示基于补偿从第一数据所细化的第三数据的图像780。例如,由处理器120获取的第三数据可包括具有从区域755-1所细化或转换的区域755-2和从区域760-1所细化或转换的区域760-2的图像780。

根据实施例,处理器120可以进一步使用从推理引擎430所获取的数据来获取从第一数据所细化的第三数据。

在操作725中,处理器120可以基于第三数据识别在第一帧内聚焦对象与电子设备101之间的从第一距离到第二距离的距离中的改变。

在操作730中,处理器120可以响应于识别在第一数据中的一些中不存在与孔相对应的数据,在第一帧中在第一数据上识别聚焦对象与电子设备101之间的从第一距离到第二距离的距离中的改变。

如上文所描述,根据各种实施例的电子设备101可以不仅使用通过TOF相机所获取的第一数据而且使用其它信息(例如,由RGB相机获取的第二数据和/或由推理引擎430获取的数据)来测量在电子设备101周围的对象中的每个对象与电子设备101之间的距离。根据各种实施例的电子设备101可以通过将距离信息分配给所有像素以供通过这种测量提供视频来获取增强的深度信息。

图8A是示出根据各种实施例的识别聚焦对象的方法的流程图。方法可以由图1和图3中所示出的电子设备101或者电子设备101的处理器120执行。

图8B示出了根据各种实施例的被定义以识别聚焦对象的标准示例。

图8A的操作810至操作830可以在电子设备101内执行以识别参考图5所描述的聚焦对象。

参照图8A,在操作810中,处理器120可运行实时聚焦视频模式。例如,实时聚焦视频模式可以是用于在使用多个相机180获取视频时在所获取的视频内提供焦外成像效果的模式。例如,处理器120可以在显示器160a上与相机应用的用户接口内的预览图像一起显示指示多种拍摄模式的多个视觉物体。处理器120可以响应于接收到用于在多个视觉物体之中选择指示实时聚焦视频模式的视觉物体的用户输入来执行实时聚焦视频模式。根据各种实施例,用户输入可以是单击输入、双击输入、具有按压强度高于或等于标准强度的强制触摸输入或拖动输入中的至少一种。然而,这不是限制性的。

在操作820中,处理器120可以响应于实时聚焦视频模式的运行,启动多个相机180a中的至少一些。例如,当通过从另一拍摄模式切换来运行实时聚焦视频模式时,处理器120可以保持用于另一拍摄模式的相机的激活状态并且将用于实时聚焦视频模式的相机的状态另外切换到激活状态。在另一示例中,当所有多个相机180a都被停用时,处理器120可以响应于实时聚焦视频模式的运行,启动所有多个相机180a。然而,这不是限制性的。

在操作830中,处理器120可以通过多个相机180a中的至少一些启动的相机基于多个标准之中具有最高优先级的标准来识别多个对象之中的聚焦对象。例如,通过图7A和图7B所描述的第一数据或第三数据可用于识别聚焦对象。

例如,多个标准可以是通过图4的描述定义的标准。例如,参照图8B,处理器120可以通过多个相机180a中的至少一些启动的相机获取关于对象中的每个对象与电子设备101之间的距离的信息。在获取信息时,电子设备101可以处于状态835。在电子设备101处于状态835时,处理器120可以接收用于指定聚焦区域的触摸输入。处理器120可以响应于触摸输入的接收,将电子设备101从状态835切换到状态840。在状态840中,处理器120可以将由触摸输入指定的聚焦区域内的对象识别作为聚焦对象。在状态840中,处理器120可以接收与触摸输入区分开的另一触摸输入。处理器120可以响应于其它触摸输入的接收,将聚焦对象变为包括在由其它触摸输入指定的聚焦区域内的另一对象。

在状态835中,处理器120可以在未接收到用于指定焦点输入的触摸输入的状态中基于通过多个相机180a中的至少一些所获取的图像,识别与面部相对应的一个对象。处理器120可以响应于识别,将电子设备101的状态从状态835切换到状态845。处理器120可以将与面部相对应的对象识别作为聚焦对象。在状态845中,处理器120可以响应于接收到用于指定聚焦区域的触摸输入,将状态845切换到状态840。这是因为状态845的优先级低于状态840的优先级。

在状态835中,处理器120可以在未接收到用于指定焦点输入的触摸输入的状态中基于通过多个相机180a中的至少一些所获取的图像,识别与面部相对应的多个对象。处理器120可以响应于识别,将电子设备101的状态从状态835切换到状态855。在状态855中,处理器120可以将与面部相对应的多个对象之中与具有最大大小的面部相对应的对象识别作为聚焦对象。在状态855中,处理器120可以响应于接收到用于指定聚焦区域的触摸输入,将状态855切换到状态840。这是因为状态855的优先级低于状态840的优先级。根据各种实施例,在状态855中接收到的触摸输入可以是用于选择多个面部中的一个面部的输入。然而,这不是限制性的。

在状态835中,处理器120可以基于未接收到用于指定焦点输入的触摸输入并在所获取的图像内未检测到面部的识别,将状态835切换到状态860。在状态860中,处理器120可以将从显示器160a上显示的视频分离出来的多个区域之中的中心区域识别作为自动对焦(AF)区域。在状态860中,处理器120可以将包括在AF区域中的至少一个对象之中最靠近电子设备101的对象识别作为聚焦对象。处理器120可以响应于接收到用于指定聚焦区域的触摸输入,将状态860切换到状态840。这是因为状态860的优先级低于状态840的优先级。处理器120可以响应于在状态860中所获取的图像中检测到面部,将状态860切换到状态845或状态855。这是因为状态860的优先级可以低于状态845和状态855的优先级。

如上文所描述,虽然通过多个相机180a中的至少一些来获取视频,但是根据各种实施例的电子设备101可以根据规则识别聚焦对象,以便在所获取的视频内应用焦外成像效果。根据各种实施例的电子设备101可以基于识别来搜索和跟踪聚焦对象,以便获取具有增强质量的焦外成像效果的视频。

图9A是示出根据各种实施例的从所获取的视频中逐渐去除焦外成像效果的方法的流程图。方法可以由图1和图3中所示出的电子设备101或者电子设备101的处理器120执行。

图9B示出了根据各种实施例的逐渐去除的焦外成像效果的示例。

在操作905中,处理器120可以通过多个相机180a获取具有焦外成像效果的视频。例如,如在图5的操作510、操作520或操作525中,处理器120可以通过多个相机180a获取具有焦外成像效果的视频。

在操作910中,在使用多个相机180a获得具有焦外成像效果的视频的同时,处理器120可以识别聚焦对象是否移动到与电子设备101相距的最大距离之外,该最大距离可以使用多个相机180a中的第一相机310(其为TOF相机)测量。例如,处理器120可以基于第一数据或从第一数据所细化的第三数据来识别聚焦对象是否移动到最大距离之外。根据各种实施例,当聚焦对象移动到最大距离之外时,处理器120可执行操作915。否则,处理器120可执行操作920。

在操作920中,处理器120可以基于识别聚焦对象移动到最大距离之外,从使用多个相机180a所获取的视频中逐渐去除焦外成像效果。由于聚焦对象移动到最大距离之外可能意味着无法使用TOF相机(其为第一相机310)来测量聚焦对象与电子设备101之间的距离,因此处理器120可从视频中逐渐去除焦外成像效果。例如,当焦外成像效果从视频中立即(直接)去除而不是逐渐去除时,视频可能具有急剧的场景改变。为了防止急剧的场景改变,根据各种实施例的处理器120可以基于识别聚焦对象移动到最大距离之外,从视频中逐渐去除焦外成像效果。

例如,参照图9B,使用多个相机180a中的至少一些所获取的视频的聚焦对象925可以位于与电子设备101相距的最大距离927之外,最大距离927可以使用TOF相机测量,TOF相机是第一相机310。例如,处理器120可以识别对象925位于最大距离927之外,同时如在状态930中在使用多个相机180a中的至少一些所获取的视频内提供第K级的焦外成像效果935。处理器120可以基于识别,将状态930切换到状态940。例如,处理器120可以在状态940中提供低于第K级的第L级的焦外成像效果945,状态940通过从使用多个相机180a中的至少一些所获取的视频中去除在状态930中所提供的第K级的焦外成像效果935中的一些而从状态930切换。在预定时间内提供第L级的焦外成像效果945之后,处理器120可以将状态940切换到状态950。例如,处理器120可以在状态950中提供低于第L级的第M级的焦外成像效果955,状态950通过从使用多个相机180a中的至少一些所获取的视频中去除在状态940中所提供的第L级的焦外成像效果955中的一些而从状态940切换。根据各种实施例的电子设备101的处理器120可以基于识别对象925位于最大距离927之外,将状态930切换到状态940并将状态940切换到状态950,以便从视频中逐渐去除焦外成像效果。

在操作920中,处理器120可以基于识别聚焦对象没有移动到最大距离之外来保持焦外成像效果的提供。例如,处理器120可以提供如图5的操作510、操作520或操作525中的焦外成像效果。

尽管没有在图9A至图9B中示出,但处理器120可以基于识别位于最大距离之外的聚焦对象进入最大距离,逐渐增加焦外成像效果的级别。

如上文所描述,当聚焦对象移动到TOF相机的有效距离之外时,根据各种实施例的电子设备101可以逐渐去除焦外成像效果而不是立即去除焦外成像效果。根据各种实施例的电子设备101可以通过逐渐去除焦外成像效果来获取具有增强质量的焦外成像效果的视频。

一种由上文所描述的根据各种实施例的具有多个相机的电子设备执行的方法可包括:在使用多个相机获取具有焦外成像效果的视频的同时通过多个相机中的至少一些在第一帧内识别聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变的操作;响应于识别第一距离与第二距离之间的差值在标准范围内而在第一帧的第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果的操作;以及响应于识别差值超出标准范围而在第二帧中在基于第一距离与第二距离之间的第三距离识别的第二背景区域内提供视频的焦外成像效果的操作。

根据各种实施例,方法可以进一步包括在第二帧之后的第三帧中在基于第二距离与第三距离之间的第四距离识别的第三背景内提供视频的焦外成像效果的操作。

根据各种实施例,方法可以进一步包括响应于识别差值超出标准范围和另一标准范围而在第二帧中在基于第一距离识别的第三背景区域内提供视频的焦外成像效果的操作。

根据各种实施例,多个相机可包括RGB相机和深度相机,深度相机包括被配置为发出红外光的发射器和被配置为接收红外光的反射光的接收器,且识别在第一帧内从第一距离到第二距离的距离中的改变的操作可包括:基于反射光来获取关于包括深度相机的视场(FOV)中的聚焦对象的多个对象中的每个对象与电子设备之间的距离的第一数据的操作;响应于基于第一数据中的一些识别多个对象中的一些超出与电子设备相距的可以使用深度相机来测量的最大距离而使用通过RGB相机所获取的第二数据来获取从第一数据所细化的第三数据的操作;以及基于第三数据来识别聚焦对象与电子设备之间的距离在第一帧内从第一距离变为第二距离的操作。

根据各种实施例,多个相机可包括RGB相机和深度相机,深度相机包括被配置为发出红外光的发射器和被配置为接收红外光的反射光的接收器,且识别在第一帧内从第一距离到第二距离的距离中的改变的操作可包括:基于反射光来获取关于包括深度相机的视场(FOV)中的聚焦对象的多个对象中的每个对象与电子设备之间的距离的第一数据的操作;响应于基于第一数据中的一些识别多个对象中的一些超出与电子设备相距的可以使用深度相机来测量的最大距离而使用通过RGB相机所获取的第二数据来获取从第一数据所细化的第三数据的操作;以及基于第三数据来识别聚焦对象与电子设备之间的距离在第一帧内从第一距离变为第二距离的操作。

根据各种实施例,多个相机可包括RGB相机和深度相机,深度相机包括被配置为发出红外光的发射器和被配置为接收红外光的反射光的接收器。方法可以进一步包括基于多个标准之中具有最高优先级的标准在深度相机的视场(FOV)中的多个对象之中识别聚焦对象的操作。多个标准之中的第一标准可以是将多个对象之中由通过电子设备的显示器接收到的触摸输入指定的对象识别作为聚焦对象。多个标准之中的第二标准可以是将多个对象之中与面部相应的对象识别作为聚焦对象,多个标准之中的第三标准可以是识别多个对象之中的包括在自动对焦(AF)区域中的至少一个对象和将多个对象之中最靠近电子设备的对象识别作为聚焦对象第一标准的优先级可以高于第二标准的优先级和第三标准的优先级,且第二标准的优先级可以高于第三标准的优先级。

根据各种实施例,多个相机可包括RGB相机和深度相机。方法可以进一步包括:在使用多个相机获取具有焦外成像效果的视频的同时通过多个相机中的至少一些确定聚焦对象移动到与电子设备相距的可使用深度相机测量的最大距离之外的操作;以及基于确定来从视频中逐渐去除焦外成像效果的操作。

方法可以进一步包括:响应于识别差值超出标准范围而通过将标准距离添加到第一距离来识别第三距离的操作;在第二帧中在基于第三距离识别的第二背景区域内提供视频的焦外成像效果的操作;通过将标准距离添加到第三距离来识别第四距离的操作;以及在第二帧之后的第三帧中在基于第四距离识别的第三背景区域内提供视频的焦外成像效果的操作。

一种非暂时性计算机可读存储介质可以存储一个或多个包括指令的程序,指令被配置为当由具有多个相机的电子设备的一个或多个处理器运行时使电子设备:在使用多个相机获取具有焦外成像效果的视频的同时,通过多个相机中的至少一些在第一帧内识别聚焦对象与电子设备之间的从第一距离到第二距离的距离中的改变;响应于识别第一距离与第二距离之间的差值在标准范围内,在第一帧之后的第二帧中在基于第二距离识别的第一背景区域内提供视频的焦外成像效果;以及响应于识别差值超出标准范围,在第二帧中在基于第一距离与第二距离之间的第三距离识别的第二背景区域内提供视频的焦外成像效果。

权利要求书中所公开的方法和/或根据本公开的说明书中所描述的各种实施例的方法可以通过硬件、软件或者硬件与软件的组合来实施。

当方法通过软件实施时,可以提供一种用于存储一个或多个程序(软件模块)的计算机可读存储介质。存储在计算机可读存储介质中的一个或多个程序可以被配置为由电子设备内的一个或多个处理器运行。至少一个程序可以包括使电子设备执行根据如所附权利要求书限定的和/或在此公开的本公开的各种实施例的方法的指令。

程序(软件模块或软件)可以存储在非易失性存储器(包括随机存取存储器和闪速存储器、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、磁盘存储设备、压缩光盘-ROM(CD-ROM)、数字多功能光盘(DVD)或其它类型的光学存储设备或磁带)中。可选择地,它们中的一些或全部的任意组合可以形成存储程序的存储器。此外,多个这种存储器可以包括在电子设备中。

此外,程序可以存储在可连接的存储设备中,所述存储设备可以通过诸如互联网、内联网、局域网(LAN)、广域网(WLAN)和存储区域网(SAN)或其组合的通信网络来访问电子设备。这种存储设备可以经由外部端口访问电子设备。此外,通信网络上的分离的存储设备可以访问便携式电子设备。

在本公开的上文所描述的详细实施例中,根据所呈现的详细实施例以单数或复数形式表达包括在本公开中的元件。然而,为了便于描述,选择了单数形式或复数形式以适用于所呈现的情境,且本公开不限于以单数或复数形式表达的元件。因此,以复数形式表达的元件也可包括单个元件,或者以单数形式表达的元件也可包括多个元件。

尽管已经用各种实施例描述了本公开,但是本领域的技术人员可以提出各种改变和修改。本公开意图涵盖落入所附权利要求书的范围内的这种改变和修改。

34页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:具有反馈回路和多个功率状态的传感器系统架构

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类