拍摄视频的方法和装置

文档序号:1925528 发布日期:2021-12-03 浏览:12次 >En<

阅读说明:本技术 拍摄视频的方法和装置 (Method and device for shooting video ) 是由 赵威 李宏俏 李宗原 赵鑫源 李成臣 曾毅华 廖桂明 周承涛 李欣 周蔚 于 2020-09-28 设计创作,主要内容包括:本申请公开了拍摄视频的方法和装置,涉及拍照和图像处理技术领域,可以使希区柯克变焦视频的白平衡效果更好,以提高希区柯克变焦视频的质量。方法包括:在终端距离目标主体越来越远时,针对第一场景实时采集包括目标主体的N+1个图像。对于后采集的N个图像,基于“用于保证时域相邻图像的白平衡一致性”的神经网络进行白平衡处理,得到N个优化图像。对N个优化图像进行放大裁剪,得到N个目标图像;N个目标图像中目标主体的大小与采集的第一个图像中目标主体的大小一致,N个目标图像中目标主体的相对位置,与第一个图像中目标主体的相对位置一致;N个目标图像与第一个图像的大小一致。基于N个目标图像和第一个图像生成希区柯克变焦视频。(The application discloses a method and a device for shooting a video, which relate to the technical field of shooting and image processing, and can enable the white balance effect of a Hirschhook zoom video to be better so as to improve the quality of the Hirschhok zoom video. The method comprises the following steps: and when the terminal is farther away from the target subject, acquiring N &#43;1 images including the target subject in real time aiming at the first scene. And for N images acquired later, performing white balance processing based on a neural network for ensuring white balance consistency of adjacent images in a time domain to obtain N optimized images. Carrying out amplification cutting on the N optimized images to obtain N target images; the size of a target subject in the N target images is consistent with that of the target subject in the first acquired image, and the relative position of the target subject in the N target images is consistent with that of the target subject in the first image; the N target images are of the same size as the first image. A hessian zoom video is generated based on the N target images and the first image.)

拍摄视频的方法和装置

本申请要求于2020年05月30日提交国家知识产权局、申请号为202010480536.3、申请名称为“一种区分主体人物和背景的变焦方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

本申请涉及拍照

技术领域

和图像处理技术领域,尤其涉及拍摄视频的方法和装置。

背景技术

随着手机摄像功能的飞跃发展,越来越多摄影用户开始尝试在视频中加入电影拍摄元素,以增加画面的丰富性和高级感,同时可以让用户体验到更加炫酷、惊艳的视觉效果。希区柯克变焦视频就是满足这种视觉效果的其中之一。

希区柯克变焦是一种特殊的视频拍摄手法。在拍摄希区柯克变焦视频的过程中,摄像机前进或后退,并且在前进或后退的同时改变焦距,以使目标主体在所采集的图像中大小不变,而背景图像发生剧烈改变。这种效果可以用来体现主体人物丰富的情感,给用户带来空间压缩或扩张的紧张感和冲击感,进而获得超脱常规的视频录制体验。

因此,如何实现希区柯克变焦成为亟待解决的技术问题。

发明内容

本申请实施例提供了拍摄视频的方法和装置,可以使得获得的希区柯克变焦视频的白平衡效果更好,从而提高希区柯克变焦视频的质量,进而提高用户体验。

为达到上述目的,本申请采用如下技术方案:

第一方面,提供一种拍摄视频的方法,该方法应用于终端。该方法包括:针对第一场景实时采集N+1个图像,该N+1个图像中均包括目标主体;其中,在采该集N+1个图像的过程中,终端距离目标主体越来越远。N是大于等于1的整数。对该于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像;预设神经网络用于保证时域相邻图像的白平衡一致性。对该N个优化图像进行放大并裁剪,得到N个目标图像;其中,N个目标图像中的每个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致,N个目标图像中的每个目标图像中的目标主体的相对位置,与第一个图像中目标主体的相对位置一致。N个目标图像与第一个图像的大小一致。基于N个目标图像和第一个图像生成希区柯克变焦视频。

本技术方案,在获取希区柯克变焦视频的过程中,对实时采集到的N+1个图像中的后N个图像进行了白平衡处理,以使得处理后的图像与所采集的N+1个图像中的第一个图像的白平衡一致。这样,可以使得获得的希区柯克变焦视频的白平衡效果更好,从而提高希区柯克变焦视频的质量,进而提高用户体验。

在一种可能的设计中,N+1个图像包括在前采集的N1+1个图像和在后采集的N2个图像,其中,N1+1个图像由终端的第一摄像头采集得到,N2个图像由终端的第二摄像头采集得到;N1和N2均是大于等于1的整数。也就是说,本申请实施例提供的技术方案可以应用于在切换摄像头的场景中拍摄希区柯克变焦视频。

在一种可能的设计中,针对第一场景实时采集N+1个图像,包括:获取N+1个图像中的第i个图像的拍摄倍率;其中,2≤i≤N,i是整数;如果第i个图像的拍摄倍率在第一拍摄倍率范围内,则基于终端的第一摄像头针对第一场景采集N+1个图像中的第i+1个图像;如果第i个图像的拍摄倍率在第二拍摄倍率范围内,则基于终端的第二摄像头针对第一场景采集N+1个图像中的第i+1个图像。其中,第一摄像头的倍率是a,第二摄像头的倍率是b;a<b;第一拍摄倍率范围是[a,b);第二拍摄倍率范围是大于等于b的范围。

也就是说,终端基于第i个图像的拍摄倍率,确定采集第i+1个图像的摄像头。这样,终端可以通过切换摄像头的方式,放大后续采集的图像中的目标主体的大小,相比传统技术,有助于使所获得的希区柯克变焦效果视频的清晰度更高,从而提高用户体验。

在一种可能的设计中,第i个图像的拍摄倍率是基于第i个图像中目标主体的大小相对于第一个图像中目标主体的大小的缩放倍率,和采集第一个图像的摄像头的倍率确定的。

在一种可能的设计中,第i个图像中的目标主体的大小通过以下至少一个特征来表征:第i个图像中的目标主体的宽度,第i个图像中的目标主体的高度,第i个图像中的目标主体的面积,或者,第i个图像中的目标主体的所占的像素点的数量。

在一种可能的设计中,该方法还包括:采用实例分割算法从第i个图像中提取目标主体,以确定第i个图像中的目标主体的大小。这样,有助于提高确定第i个图像中的目标主体的大小的精确度。

在一种可能的设计中,该方法还包括:在当前预览界面中,显示第一信息。第一信息用于指示停止拍摄希区柯克变焦视频。这样,用户可以获知什么时候停止移动终端,从而提高用户体验。

在一种可能的设计中,该方法还包括:在当前预览界面中,显示第二信息。第二信息用于指示目标主体静止。由于希区柯克变焦视频的要求之一是各图像中的目标主体的位置一致,因此,基于该可能的设计,用户可以在获取希区柯克变焦视频的过程中,获知当前是否满足获取希区柯克变焦视频的要求,从而提高用户体验。

在一种可能的设计中,该方法还包括:在当前预览界面中,显示第三信息,第三信息用于指示目标主体在当前预览图像的中央。这样,用户可以基于是否终端显示第三信息确定是否移动终端,从而有助于提高希区柯克视频的质量。其中,当前预览界面包含当前预览图像(即摄像头采集的图像)和除当前预览图像之外的信息(如拍摄控件、指示信息等)。

在一种可能的设计中,该方法还包括:针对第一场景实时采集N+1个图像,包括:在目标主体在当前预览图像的中央时,采集N+1个图像中的第一个图像。这样,有助于提高希区柯克视频的质量。

在一种可能的设计中,该方法还包括:显示用户界面,用户界面中包含第一控件,第一控件用于指示由近及远拍摄希区柯克变焦视频。针对第一场景实时采集N+1个图像,包括:接收针对第一控件的操作,响应于该操作,针对第一场景实时采集N+1个图像。

在一种可能的设计中,终端的移动速度小于等于预设速度。这样,有助于提高希区柯克变焦视频的质量。

在一种可能的设计中,预设神经网络用于结合历史网络层的特征图,对待处理图像的白平衡增益进行预测,以保证时域相邻图像的白平衡一致性;其中,历史网络层是预测在待处理图像之前且与待处理图像时域连续的图像的白平衡增益时所使用的网络层。示例的,待处理图像是上述N个图像中的其中一个。该白平衡网络融合了当前帧和历史帧的网络层特征信息。这样,考虑多帧的信息,有助于使得帧与帧之间的白平衡增益预测值更为接近,从而使得该白平衡网络更稳定,进而使得对连续多个图像进行白平衡处理后所得到的图像之间的白平衡一致性效果更好。

在一种可能的设计中,预设神经网络基于预设约束条件训练得到;其中,预设约束条件包括:用于模拟时域连续的多个图像的白平衡增益预测值一致。

在一种可能的设计中,对于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像,包括:将N+1个图像中的第j个图像输入到预设神经网络,得到第j个图像的白平衡增益预测值;其中,2≤j≤N-1,j是整数。将第j个图像的白平衡增益预测值作用于第j个图像,得到第j个图像对应的优化图像;其中,N个优化图像包括第j个图像对应的优化图像。

第二方面,提供一种拍摄视频的方法,该方法应用于终端,该方法包括:针对第一场景采集N+1个图像,N+1个图像中均包括目标主体;其中,在采集N+1个图像的过程中,终端距离目标主体越来越近;N是大于等于1的整数。N+1个图像中的第一个图像由终端的第一摄像头采集得到,N+1个图像中的后N个图像中的部分或全部图像由终端的第二摄像头采集得到,第二摄像头的倍率小于第一摄像头的倍率。N+1个图像中后采集的N个图像中目标主体的大小小于或等于N+1个图像中采集的第一个图像中的目标主体的大小。对于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像;预设神经网络用于保证时域相邻图像的白平衡一致性。对N个优化图像进行放大并裁剪,得到N个目标图像。其中,N个目标图像中的每个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致,N个目标图像中每个目标图像中的目标主体的相对位置,与第一个图像中目标主体的相对位置一致;N个目标图像与第一个图像的大小一致。基于N个目标图像和第一个图像,生成希区柯克变焦视频。

可选的,该N+1个图像可以是连续采集的N+1个图像,即实时采集的N+1个图像。

该技术方案中,在终端距离目标主体越来越近的场景中,通过切换成倍率更小的摄像头采集在后的图像,从而实现在后采集的图像中目标主体的大小小于或等于在前采集的图像中目标主体的大小。并且,在获取希区柯克变焦视频的过程中,对采集到的N+1个图像中的后N个图像进行了白平衡处理,以使得处理后的图像与所采集的N+1个图像中的第一个图像的白平衡一致。这样,可以使得获得的希区柯克变焦视频的白平衡效果更好,从而提高希区柯克变焦视频的质量,提高了用户体验。

在一种可能的设计中,N个图像包括在前采集的N1个图像和在后采集的N2个图像,其中,N1个图像由第二摄像头采集得到,N2个图像由终端的第三摄像头采集得到;N1和N2均是大于等于1的整数。

在一种可能的设计中,针对第一场景实时采集N+1个图像,包括:获取N+1个图像中的第i个图像的拍摄倍率;其中,2≤i≤N,i是整数;如果第i个图像的拍摄倍率在第一拍摄倍率范围内,则基于第二摄像头针对第一场景采集N+1个图像中的第i+1个图像;如果第i个图像的拍摄倍率在第二拍摄倍率范围内,则基于终端的第三摄像头针对第一场景采集N+1个图像中的第i+1个图像;其中,第二摄像头的倍率是b,第三摄像头的倍率是c;b>c;第一拍摄倍率范围是大于等于b的范围;第二拍摄倍率范围是[c,b)。

也就是说,终端基于第i个图像的拍摄倍率,确定采集第i+1个图像的摄像头。这样,终端可以采用比采集在前的图像时所使用的摄像头的倍率更小的摄像头采集在后的图像,即通过切换成更小倍率的摄像头实现对目标主体的缩小,这样,不需要对采集后的图像进行“补边”,从而提高用户体验。

在一种可能的设计中,第i个图像的拍摄倍率是基于第i个图像中目标主体的大小相对于第一个图像中目标主体的大小的缩放倍率,和采集第一个图像的摄像头的倍率确定的。

在一种可能的设计中,第i个图像中的目标主体的大小通过以下至少一个特征来表征:第i个图像中的目标主体的宽度,第i个图像中的目标主体的高度,第i个图像中的目标主体的面积,或者,第i个图像中的目标主体的所占的像素点的数量。

在一种可能的设计中,该方法还包括:采用实例分割算法从第i个图像中提取目标主体,以确定第i个图像中的目标主体的大小。这样,有助于提高确定第i个图像中的目标主体的大小的精确度。

在一种可能的设计中,该方法还包括:在当前预览界面中,显示第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。这样,有助于指示用户在合适的时候,停止移动终端,从而提高用户体验。

在一种可能的设计中,该方法还包括:在当前预览界面中,显示第二信息,第二信息用于指示目标主体静止。基于该可能的设计,用户可以在获取希区柯克变焦视频的过程中,获知当前是否满足获取希区柯克变焦视频的要求,从而提高用户体验。

在一种可能的设计中,该方法还包括:在当前预览界面中,显示第三信息,第三信息用于指示目标主体在当前预览图像的中央。这样,用户可以基于是否终端显示第三信息确定是否移动终端,从而有助于提高希区柯克视频的质量。

在一种可能的设计中,该针对第一场景采集N+1个图像,包括:在目标主体在当前预览图像的中央时,采集第一个图像。这样,有助于提高希区柯克视频的质量。

在一种可能的设计中,该方法还包括:显示用户界面,所述用户界面中包含第二控件,第二控件用于指示由远及近拍摄希区柯克变焦视频。针对第一场景采集N+1个图像,包括:接收针对第二控件的操作,响应于该操作,针对第一场景采集N+1个图像。

在一种可能的设计中,终端的移动速度小于等于预设速度。这样,有助于提高高希区柯克变焦视频的质量。

在一种可能的设计中,预设神经网络用于结合历史网络层的特征图,对待处理图像的白平衡增益进行预测,以保证时域相邻图像的白平衡一致性;其中,历史网络层是预测在待处理图像之前且与待处理图像时域连续的图像的白平衡增益时所使用的网络层。其有益效果可以参考上述第一方面的相关可能的设计。

在一种可能的设计中,预设神经网络基于预设约束条件训练得到;其中,预设约束条件包括:用于模拟时域连续的多个图像的白平衡增益预测值一致。

在一种可能的设计中,对于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像,包括:将N+1个图像中的第j个图像输入到预设神经网络,得到第j个图像的白平衡增益预测值;其中,2≤j≤N-1,j是整数。将第j个图像的白平衡增益预测值作用于第j个图像,得到第j个图像对应的优化图像;其中,N个优化图像包括第j个图像对应的优化图像。

第三方面,提供了一种拍摄视频的方法,应用于终端,终端包括第一摄像头和第二摄像头,第一摄像头的倍率与第二摄像头的倍率不同。该方法包括:通过第一摄像头和第二摄像头在第一时刻针对第一场景分别采集第一图像和第二图像;其中,第一图像和第二图像中均包含目标主体。基于视频的预设播放时长和预设播放帧率,确定第一图像和第二图像之间的待插入图像的帧数N,N是大于等于1的整数。基于帧数N、第一图像和第二图像,确定N个待插入图像。基于第一图像、第二图像和N个待插入图像,生成视频;该视频中各图像中的目标主体的大小逐渐变大或逐渐变小。

该技术方案中,终端通过多个摄像头在同一时刻针对同一场景采集多帧图像,并基于该多帧图像进行插帧,从而生成视频,该视频中各图像中的目标主体的大小逐渐变大或逐渐变小。这样,相比传统技术,有助于提高所生成的视频的质量。另外,有助于提升动图效果的趣味性,增强用户对终端的粘性。

在一种可能的设计中,终端还包括第三摄像头,第三摄像头的倍率在第一摄像头与第二摄像头的倍率之间。该方法还包括:通过第三摄像头在第一时刻针对第一场景采集第三图像;其中,第三图像包含目标主体。基于帧数N、第一图像和第二图像,确定N个待插入图像,包括:基于帧数N、第一图像、第二图像和第三图像,确定N个待插入图像。这样,有助于进一步提升视频的质量。

第四方面,提供了一种终端。

在一种可能的设计中,该终端可以用于执行上述第一方面至第三方面提供的任一种方法。本申请可以根据上述第一方面至第三方面提供的任一种方法,对该终端进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。示例性的,本申请可以按照功能将该终端划分为采集单元、处理单元和显示单元等。上述划分的各个功能模块执行的可能的技术方案和有益效果的描述均可以参考上述第一方面至第三方面提供的相应技术方案,此处不再赘述。

在另一种可能的设计中,该装置包括存储器和处理器,所述存储器用于存储计算机指令,所述处理器用于调用所述计算机指令,以执行如第一方面至第三方面提供的任一种方法。其中,上述第一方面至第三方面提供的任一种方法中的采集步骤,在该可能的设计中具体可以替换为控制采集步骤。上述相应方法中的显示步骤,在该可能的设计中具体可以替换为控制显示步骤。

第五方面,提供了一种终端,包括:处理器、存储器和摄像头。该摄像头用于采集图像等,存储器用于存储计算机程序和指令,处理器用于调用该计算机程序和指令,与该一个或多个摄像头协同执行上述第一方面至第三方面提供的相应技术方案。

第六方面,提供了一种计算机可读存储介质,如计算机非瞬态的可读存储介质。其上储存有计算机程序(或指令),当该计算机程序(或指令)在计算机上运行时,使得该计算机执行上述第一方面至第三方面提供的任一种方法。其中,上述第一方面至第三方面提供的任一种方法中的采集步骤,在该可能的设计中具体可以替换为控制采集步骤。上述相应方法中的显示步骤,在该可能的设计中具体可以替换为控制显示步骤。

第七方面,提供了一种计算机程序产品,当其在计算机上运行时,使得第一方面至第三方面提供的任一种方法被执行。其中,上述第一方面至第三方面提供的任一种方法中的采集步骤,在该可能的设计中具体可以替换为控制采集步骤。上述相应方法中的显示步骤,在该可能的设计中具体可以替换为控制显示步骤。

可以理解的是,上述提供的任一种终端、计算机存储介质、计算机程序产品或芯片系统等均可以应用于上文所提供的对应的方法,因此,其所能达到的有益效果可参考对应的方法中的有益效果,此处不再赘述。

在本申请中,上述终端或者各功能模块的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例可适用的一种终端的硬件结构示意图;

图2为本申请实施例可适用的一种终端的软件结构框图;

图3为本申请实施例提供的一种启动希区柯克变焦视频拍摄模式的界面变化示意图;

图4为本申请实施例提供的一种计算机设备的硬件结构示意图;

图5为本申请实施例提供的一种训练白平衡网络之前的训练数据准备过程的流程示意图;

图6为本申请实施例提供的一种训练白平衡网络时所使用的网络架构的示意图;

图7为本申请实施例提供的另一种训练白平衡网络时所使用的网络架构的示意图;

图8为本申请实施例提供的一种预测阶段所使用的网络架构的示意图;

图9为本申请实施例提供的一种白平衡增益预测方法的流程示意图;

图10为本申请实施例提供的一种拍摄视频的方法的流程示意图;

图11为本申请实施例提供的一种启动由近及远模式拍摄希区柯克变焦视频的界面变化示意图;

图12为本申请实施例提供的一组界面示意图;

图13为本申请实施例提供的另一组界面示意图;

图14为本申请实施例提供的另一组界面示意图;

图15为本申请实施例提供的另一组界面示意图;

图16为本申请实施例提供的另一组界面示意图;

图17为本申请实施例提供的另一组界面示意图;

图18为本申请实施例提供的另一组界面示意图;

图19a为本申请实施例提供的一种终端采集图像的方法的流程示意图;

图19b为本申请实施例提供的一种确定采集图像的摄像头的方法的流程示意图;

图20为本申请实施例提供的一种实例分割的示意图;

图21为本申请实施例提供的一种终端采集图像的过程示意图;

图22a为本申请实施例提供的一种终端采集到的图像的示意图;

图22b为本申请实施例提供的另一种终端所采集到的图像的示意图;

图23a为本申请实施例提供的一种当前预览界面的示意图;

图23b为本申请实施例提供的另一种当前预览界面的示意图;

图23c为本申请实施例提供的另一种当前预览界面的示意图;

图24为本申请实施例提供的一种对所采集的图像进行放大并裁剪的示意图;

图25为本申请实施例提供的另一种拍摄视频的方法的流程示意图;

图26为传统技术中希区柯克变焦视频中对所采集的图像进行处理的过程示意图;

图27为本申请实施例提供的另一种拍摄视频的方法的流程示意图;

图28为本申请实施例提供的一种对图像进行处理的过程示意图;

图29为本申请实施例提供的一种终端的结构示意图;

图30为本申请实施例提供的另一种终端的结构示意图。

具体实施方式

在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。

在本申请实施例中,术语“一致”仅用于描述相同或相似(即相差不大)。相差不大可以通过相应参数之差小于等于阈值来体现。例如,目标主体的大小一致,是指目标主体的大小相同或相差小于等于阈值等。

本申请实施例提供的拍摄视频的方法可以应用于终端中,该终端可以是带有摄像头的终端,如智能手机、平板电脑、可穿戴设备、AR/VR设备,也可以是个人计算机(personalcomputer,PC)、个人数字助理(personal digital assistant,PDA)、上网本等设备,还可以是其他任一能够实现本申请实施例的终端。本申请对终端的具体形态不予限定。

在本申请中,终端的结构可以如图1所示。如图1所示,终端100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。

可以理解的是,本实施例示意的结构并不构成对终端100的具体限定。在另一些实施例中,终端100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。例如,在本申请中,处理器110可以控制摄像头193针对第一场景实时采集N+1个图像,N+1个图像中均包括目标主体。其中,在采集N+1个图像的过程中,摄像头193距离目标主体越来越远;N是大于等于1的整数。然后,对于N+1个图像中后采集的N个图像,处理器110可以基于预设神经网络进行白平衡处理,得到N个优化图像;预设神经网络用于保证时域相邻图像的白平衡一致性。接着,处理器110可以对N个优化图像进行放大并裁剪,得到N个目标图像;其中,N个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致,N个目标图像中目标主体的相对位置,与第一个图像中目标主体的相对位置一致;N个目标图像与第一个图像的大小一致。最后,处理器110可以基于N个目标图像和第一个图像生成希区柯克变焦视频。该技术方案的相关说明可以参考下文。

其中,控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。

MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现终端100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现终端100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。

USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB TypeC接口等。USB接口130可以用于连接充电器为终端100充电,也可以用于终端100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端,例如AR设备等。

可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端100的结构限定。在本申请另一些实施例中,终端100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。

电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。

终端100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。

终端100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oled,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端100可以包括1个或N个显示屏194,N为大于1的正整数。

终端100的显示屏194上可以显示一系列图形用户界面(graphical userinterface,GUI),这些GUI都是该终端100的主屏幕。一般来说,终端100的显示屏194的尺寸是固定的,只能在该终端100的显示屏194中显示有限的控件。控件是一种GUI元素,它是一种软件组件,包含在应用程序中,控制着该应用程序处理的所有数据以及关于这些数据的交互操作,用户可以通过直接操作(direct manipulation)来与控件交互,从而对应用程序的有关信息进行读取或者编辑。一般而言,控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

终端100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端100可以包括1个或N个摄像头193,N为大于1的正整数。例如,上述摄像头193可以包括主摄像头、长焦摄像头、广角摄像头、红外摄像头、深度摄像头或者黑白摄像头等一种或者至少两种摄像头。结合本申请实施例提供的技术方案,第一终端可以采用上述一种或者至少两种摄像头采集图像,并将采集到的图像进行处理(如融合等),得到预览图像(如第一预览图像或第二预览图像等)。

数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样,终端100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。

NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行终端100的各种功能应用以及数据处理。例如,在本实施例中,处理器110可以通过执行存储在内部存储器121中的指令,获取终端100的姿势。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端100的各种功能应用以及数据处理。

终端100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。终端100可以通过扬声器170A收听音乐,或收听免提通话。

受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当终端100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。

麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。终端100可以设置至少一个麦克风170C。在另一些实施例中,终端100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。

压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。终端100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,终端100根据压力传感器180A检测所述触摸操作强度。终端100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。

陀螺仪传感器180B可以用于确定终端100的运动姿势。在一些实施例中,可以通过陀螺仪传感器180B确定终端100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测终端100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中,终端100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。

磁传感器180D包括霍尔传感器。终端100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当终端100是翻盖机时,终端100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。

加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。还可以用于识别终端姿势,应用于横竖屏切换,计步器等应用。

距离传感器180F,用于测量距离。终端100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,终端100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。终端100通过发光二极管向外发射红外光。终端100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端100附近有物体。当检测到不充分的反射光时,终端100可以确定终端100附近没有物体。终端100可以利用接近光传感器180G检测用户手持终端100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测终端100是否在口袋里,以防误触。

指纹传感器180H用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中,终端100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,终端100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端100对电池142加热,以避免低温导致终端100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端100对电池142的输出电压执行升压,以避免低温导致的异常关机。

触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端100的表面,与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端100可以接收按键输入,产生与终端100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

另外,在上述部件之上,运行有操作系统。例如苹果公司所开发的iOS操作系统,谷歌公司所开发的Android开源操作系统,微软公司所开发的Windows操作系统等。在该操作系统上可以安装运行应用程序。

终端100的操作系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明终端100的软件结构。

图2是本申请实施例的终端100的软件结构框图。

分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。

应用程序层可以包括一系列应用程序包。如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。例如,在拍照时,相机应用可以访问应用程序框架层提供的相机接口管理服务。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。例如,在本申请实施例中,在拍照时,应用程序框架层可以为应用程序层提供拍照功能相关的API,并为应用程序层提供相机接口管理服务,以实现拍照功能。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端振动,指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。

三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。

需要说明的是,本申请实施例虽然以Android系统为例进行说明,但是其基本原理同样适用于基于iOS或Windows等操作系统的终端。

下面结合图1和视频拍摄场景,示例性说明终端100软件以及硬件的工作流程。

首先,触摸传感器180K接收到对相机应用图标的触摸操作触摸操作,上报给处理器110,使得处理器110响应于上述触摸操作,启动相机应用,并在显示屏194上显示该相机应用的用户界面,如图3中的a图所示。此外,本申请实施例中还可以通过其它方式使得终端100启动相机应用,并在显示屏194上显示相机应用的用户界面。例如,终端100在黑屏、显示锁屏界面或者解锁后显示某一用户界面时,可以响应于用户的语音指令或者快捷操作等,启动相机应用,并在显示屏194上显示相机应用的用户界面。其中,相机的用户界面上包含“夜景”“人像”“拍照”“录像”“更多”等控件。

其次,触摸传感器180K接收到对“录像”控件的触摸操作,上报给处理器110,使得处理器110响应于上述触摸操作,将“录像”控件突出显示,如图3中的b图所示,图3中的b图中“录像”控件加边框以突出显示;并启动录像功能,显示录像功能下的用户界面,如图3中的c图所示。录像功能下的用户界面包括“希区柯克变焦视频”“普通视频”“更多”等控件。

接着,触摸传感器180K接收到对“希区柯克变焦视频”控件的触摸操作,上报给处理器110,使得处理器110响应于上述触摸操作,将“希区柯克变焦视频”控件突出显示,如图3中的d图所示,图3中的d图中“希区柯克变焦视频”控件加边框以突出显示;并采用希区柯克变焦视频拍摄模式开始录像,即开始拍摄希区柯克变焦视频。

本申请实施例中还可以通过其它方式使得终端100启动希区柯克变焦视频拍摄模式。例如,终端100可以响应于用户的语音指令或快捷操作等,启动希区柯克变焦视频拍摄模式。

如图4所示,为本申请实施例提供的一种计算机设备30的硬件结构示意图。该计算机设备30包括处理器301、存储器302、通信接口303以及总线304。其中,处理器301、存储器302以及通信接口303之间可以通过总线304连接。

处理器301是计算机设备30的控制中心,可以是一个通用CPU,也可以是其他通用处理器等。其中,通用处理器可以是微处理器或者是任何常规的处理器等。

作为示例,处理器301可以包括一个或多个CPU,例如图4中所示的CPU 0和CPU 1。

存储器302可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。

一种可能的实现方式中,存储器301可以独立于处理器301存在。存储器302可以通过总线304与处理器301相连接,用于存储数据、指令或者程序代码。处理器301调用并执行存储器302中存储的指令或程序代码时,能够实现本申请实施例提供的训练白平衡网络之前的训练数据准备过程的相应方法,以及训练白平衡网络的方法等。

另一种可能的实现方式中,存储器302也可以和处理器301集成在一起。

通信接口303,可以是任意能够输入参数信息的器件如通信接口等,本申请实施例不作限定。其中,通信接口可以包括接收单元和发送单元。例如,该通信接口303可以用于向终端100发送训练好的白平衡网络的相关信息(如相关参数的值)等。

总线304,可以是工业标准体系结构(industry standard architecture,ISA)总线、外部设备互连(peripheral component interconnect,PCI)总线或扩展工业标准体系结构(extended industry standard architecture,EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

需要指出的是,图4中示出的结构并不构成对该计算机设备30的限定,除图4所示部件之外,该计算机设备30可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

另外需要指出的是,图4所示的计算机设备30具体可以是上文中提供的任一种终端100,也可以是任一种网络设备,如接入网设备(如基站)等。

以下,结合附图,说明本申请实施例提供的技术方案:

本申请实施例提供的拍摄视频的方法,可以应用于拍摄希区柯克变焦视频。并且,在拍摄希区柯克变焦视频的过程中,基于白平衡网络对所采集的图像进行白平衡处理,以使时域相邻图像的白平衡一致。其中:

白平衡是描述中红、绿、蓝三基色混合生成后白色精确度的一项指标。白平衡是电视摄像领域一个非常重要的概念,通过它可以解决和色调处理的一系列问题。

白平衡增益,是对图像的白平衡进行矫正的参数。

白平衡网络是用于对图像的白平衡增益进行预测的网络。白平衡网络可以是深度学习网络,如神经网络等。

白平衡一致性是指通过使用近似的白平衡增益对时域相邻的图像进行处理,使得处理后得到的图像之间的白平衡效果相同或相似。具体的,使用本申请实施例提供的白平衡网路对时域相邻的图像进行处理,使得处理后得到的图像之间的白平衡效果相同或相似。

作为举例说明,终端连续采集的图像,或者基于终端连续采集的图像进行处理后得到的图像;都可以理解为时域相邻的图像。

以下,对本申请实施例中提供的白平衡网络进行说明:

训练数据准备过程:

如图5所示,为本申请实施例提供的一种训练白平衡网络之前的训练数据准备过程的流程示意图。训练白平衡网络之前的训练数据准备过程可以由上文中所描述的计算机设备30执行。图5所示的方法包括以下步骤:

S101:计算机设备获取通过多个摄像头(如主摄像头、广角摄像头等)采集的多种环境(如不同色温、不同亮度、不同视角等的室内外环境)下的原始图像。

S102:对于每个原始图像,计算机设备对该原始图像中灰色或白色部分进行参数提取,得到该原始图像的白平衡增益。

这里的白平衡增益在训练阶段用于作为白平衡网络的预测目标,因此,为了区别下文中的白平衡增益预测值,下文中将此处得到的白平衡增益称为白平衡增益参考值。

可选的,原始图像中的灰色或白色部分可以基于标准色卡对比得到。

S103:对于每个原始图像,计算机设备对该原始图像进行数据增强,得到一组增强后的图像。一组增强后的图像用于确定一个原始样本。

为了方便描述,下文中将每一组增强后的图像称为一个图像组。

实现方式1:一个图像组作为一个原始样本。一个图像组包括P个图像,P是大于等于2的整数。一个图像组中的P个图像用于模拟摄像头采集的时域连续的P个图像。

可选的,一个图像组中的P个图像用于模拟同一摄像头采集的P个时域连续的图像。

可选的,一个图像组中的P个图像用于模拟不同摄像头切换前后采集的P个时域连续的图像。

其中,一个图像组中的第一个图像可以是基于该图像组对应的原始图像在一组随机数的基础上生成的,当然本申请实施例不限于此。

实现方式2:一个图像组和该图像组对应的原始图像作为一个原始样本。一个图像组包括Q个图像,Q是大于等于1的整数。一个图像组中的图像和该图像组对应的原始图像,用于模拟摄像头采集的时域连续的Q+1个图像。

可选的,一个图像组中的Q个图像和该图像组对应的原始图像,用于模拟同一摄像头采集的Q+1个时域连续的图像。

可选的,一个图像组中的Q个图像和该图像组对应的原始图像,用于模拟不同摄像头切换前后采集的Q+1个时域连续的图像。

示例的,在一个原始样本中,原始图像可以作为第1个图像,该原始图像对应的图像组中的图像作为该原始样本中的第2个图像至第Q+1个图像。

通常,一部分原始样本用于模拟同一摄像头采集的多个时域连续的图像,另一部分原始样本用于模拟不同摄像头切换前后采集的多个时域连续的图像。这样,能够使得基于所有原始样本训练得到的白平衡网络,同时适用于不切换摄像头的场景和切换摄像头的场景。

需要说明的是,为了方便说明,下文中均以一个原始样本是一个图像组(即上述实现方式1)为例进行说明。

S104:对于每个原始样本,计算机设备将该原始样本中的图像转换到同一颜色空间,得到一个样本。所有样本组成训练数据。

可选的,颜色空间可以是红绿蓝(red green blue,RGB)颜色空间等,当然具体实现时不限于此。

可选的,训练数据中的所有样本均使用同一颜色空间。

需要说明的是,样本中的图像属于同一颜色空间,是为了在预测阶段,避免(或消除)不同摄像头模组之间的差异。另外,如果一个原始样本中的多个图像本身就在同一个颜色空间,则可以不执行转换到同一颜色空间的步骤。该情况下,基于同一原始图像得到的一组增强后的图像被称为一个图像组。

训练阶段:

如图6所示,为本申请实施例提供的一种训练白平衡网络时所使用的网络架构的示意图。

in(n)表示样本中的第n个图像。n是一个样本中的图像个数,n大于等于2,n是整数。in(n-a)表示样本中的第n-a个图像。a<n,a是整数。

out(n)表示第一子网络的输入是in(n)时第一子网络的输出。out(n-a)表示第一子网络的输入是in(n-a)时第一子网络的输出。

mem(n-1,1)表示样本中的第n-1个图像对应的特征图至第1个图像对应的特征图。mem(n-a-1,1)表示样本中的第n-a-1个图像对应的特征图至第1个图像对应的特征图。

其中,第n-1个图像对应的特征图是第一子网络的输入为in(n-1)时,第一子网络包括的网络层的特征图。本申请实施例对该网络层具体是第一子网络中的哪个或哪些网络层,以及每个网络层的具体实现方式均不进行限定。另外,一个样本中的不同图像对应的特征图可以是第一子网络中的同一网络层的特征图或不同网络层的特征图。

损失函数(loss)用于在训练过程进行约束,从而实现“out(n)、out(n-1)……out(n-a)一致”的训练目标。

在训练过程中,对于训练数据中的任意一个样本:

首先,计算机设备将该样本中的第n-a个图像至第n个图像分别输入到图6所示的网络架构中,该网络架构输出一组白平衡增益预测值out(n-a)至out(n)。

其次,计算机设备使用该样本对应的原始图像的白平衡增益参考值作为监督,使“out(n-a)……out(n)”中的每个值,尽量接近该原始图像的白平衡增益参考值为目标,调整第一子网络中的参数的取值。

以此类推,依次将多个样本输入到该网络架构中,重复执行上述步骤。并且,在执行的过程中,使用损失函数进行约束,以使得同一样本对应的“out(n-a)……out(n)”、以及该样本对应的原始图像的白平衡增益参考值一致。当该网络架构的准确率达到某一预设准确率时,说明该白平衡网络已训练好。

也就是说,白平衡网络是基于“用于模拟时域连续的多个图像的白平衡增益预测值一致”的这一约束条件训练得到的。

图6中,时域连续的a+1个图像的白平衡增益预测值之间采用一致性监督方式进行监督。

在一个示例中,如果n=2,a=1,则训练白平衡网络时所使用的网络架构可以如图7所示。

在训练时,对于训练数据中的任意一个样本:

首先,计算机设备将该样本中的第一个图像作为in(1),第二个图像作为in(2)输入到图7所示的网络架构中,该网络架构输出一对白平衡增益预测值out(1)和out(2)。

其次,计算机设备使用样本对应的原始图像的白平衡增益参考值作为监督,并结合该网络架构输出的白平衡增益预测值out(1)和out(2),调整该白平衡网络的参数的取值。

以此类推,依次将多个样本输入到该网络架构中,重复执行上述步骤。并且,在执行的过程中,使用损失函数进行约束,以使得同一样本对应的“out(1)和out(2)”、以及该样本对应的原始图像的白平衡增益参考值一致。当该网络架构的准确率达到某一预设准确率时,说明该白平衡网络已训练好。

图7中,时域连续的2个图像的白平衡增益预测值之间采用一致性监督方式进行监督。

预测阶段:

如图8所示,为本申请实施例提供的一种预测阶段所使用的网络架构的示意图。

图8中的白平衡网络中的第一子网络是训练阶段结束时的第一子网络。

in(t)表示该白平衡网络的输入,用于输入待预测图像。

out(t)是该白平衡网络的输入是in(t)时,该白平衡网络的输出。

mem(t-1,t-T)表示基于该白平衡网络对采集的第t-1个图像的白平衡增益进行预测的过程中所使用的第一目标网络层输出的特征图(下文中称为第t-1个图像对应的特征图),至基于该白平衡网络对采集的第t-T个图像的白平衡增益进行预测的过程中所使用的第二目标网络层输出的特征图(下文中称为第t-T个图像对应的特征图)。

可选的,T的取值是可以调整的。通常,T的取值越大,使用该白平衡网络预测的时域连续的多个图像的白平衡增益的整体波动范围越小,也就是说,T的取值越大,使用该白平衡网络对时域连续的多个图像进行白平衡处理后,所得到的图像之间的白平衡一致性效果更好。

mem(t-1,t-T)具体是哪个或哪些特征图,会随着t的取值的更新而更新。例如,在T=3的情况下,假设t=5,则mem(t-1,t-T)表示采集的第4个图像对应的特征图至采集的第1个图像对应的特征图。假设t=6,则mem(t-1,t-T)表示采集的第5个图像对应的特征图至采集的第2个图像对应的特征图。

在预测时,对于采集的第t个图像,将该图像作为in(t)输入到图8所示的白平衡网络中,该白平衡网络在mem(t-1,t-T)的约束下,输出的out(t)为白平衡增益预测值。

也就是说,该白平衡网络用于结合历史网络层的特征图(即mem(t-1,t-T)),对待处理图像(即in(t))的白平衡增益进行预测,以保证时域相邻图像的白平衡一致性。其中,历史网络层是预测在待处理图像之前且与待处理图像时域连续的图像的白平衡增益时所使用的网络层。

如图9所示,为本申请实施例提供的一种白平衡增益预测方法的流程示意图。该技术方案的执行主体可以是上文中提供的计算机设备30。图9所示的方法可以包括以下步骤:

S201:计算机设备获取第一待预测图像和第一待预测图像的原始颜色空间。其中,第一待预设图像的原始颜色空间,是采集该待预测图像时所使用的摄像头的颜色空间。

其中,第一待预测图像可以是同一摄像头采集的连续多个图像中的非首个图像中的任意一个图像,也可以是不同摄像头采集的连续多个图像中的非首个图像中的任意一个图像。

S202:计算机设备将第一待预测图像的原始颜色空间转换到预设颜色空间,得到第二待预测图像。其中,预设颜色空间为训练阶段中所使用的颜色空间。

需要说明的是,如果第一待预测图像的原始颜色空间为预设颜色空间,则可以不执行S202,该情况下,以下步骤中的“第二待预测图像”可以替换为“第一待预测图像”。

S203:计算机设备将第二待预测图像作为in(t)输入到白平衡网络(例如图8所示的白平衡网络),该白平衡网络在mem(t-1,t-T)的约束之下,输出的out(t)为白平衡增益预测值。

S204:计算机设备将该预测值转换到原始颜色空间,并将转换后的预测值作用于第一待预测图像,得到第一待预测图像对应的优化图像。

将转换后的预测值作用于第一待预测图像,得到第一待预测图像对应的优化图像,可以包括:将转换后的预测值与第一待预测图像中的每个像素的像素值相乘,得到新的像素值,并将该像素值作为第一待预测图像对应的优化图像中与该像素对应的像素的像素值。

其中,该优化图像为基于白平衡网络对第一待预测图像进行处理后得到的图像。在本申请实施例认为:对时域连续的多个图像中非首个图像中的每个图像执行S201-S204的处理之后所得到的图像与该时域连续的多个图像中的第一个图像之间具有白平衡一致性。

传统的白平衡网络,通常只考虑单帧信息,这会导致帧与帧之间的白平衡增益预测值存在跳变,也就是说,帧与帧之间的白平衡增益预测值的整体波动范围较大。

而本申请实施例提供的白平衡网络融合了当前帧和历史帧的网络层特征(feature)信息(即特征图,具体为上文中的mem(t-1,t-T))。这样,考虑多帧的信息,有助于使得帧与帧之间的白平衡增益预测值更为接近,从而使得该白平衡网络更稳定。更具体的,由于上述技术方案中,当前帧与历史帧之间是时域连续的。因此,上述技术方案提供的白平衡网络,使得时域连续的多个图像的白平衡增益预测值更为接近,即,使用该白平衡网络预测的连续多个图像的白平衡增益的整体波动范围更小,从而使得该白平衡网络更稳定,也就是说,使得对连续多个图像进行白平衡处理后所得到的图像之间的白平衡一致性效果更好。

需要说明的是,本申请实施例提供的白平衡网络在训练过程中,以“同一原始图像增强得到的图像的白平衡增益预测值一致”为约束。而实际上,并不能保证连续多个图像的白平衡增益预测值完全相同,而是有一定的波动。但是,相比现有技术中基于单帧预测白平衡增益的网络来说,本申请实施例提供的白平衡网络有助于使得时域连续多个图像的白平衡增益的整体波动范围降低,从而提高白平衡网络的稳定性。

此外,传统的白平衡网络,是基于同一摄像头采集的多个图像进行训练的,这会导致传统的白平衡网络不能应用于多摄切换场景中。

而本申请实施例针对多摄切换场景进行了数据增强。具体可以体现在对白平衡网络进行训练时,所使用的训练数据中包含用于模拟多摄切换场景前后连续多个图像的样本。由于多摄切换时一般有视角、尺寸和入图统计的变化,在训练时通过数据增强模拟多摄切换场景,这样,有助于约束网络的预测值在多摄切换场景下保持一致。

本申请实施例对上文提供的白平衡网络的应用不做限制。

以下,说明本申请实施例提供的白平衡网络的在拍摄希区柯克变焦视频时的应用。

希区柯克变焦视频中不同图像中的目标主体的大小一致(如相同或相差不大)、且不同图像中的目标主体的相对位置一致(如相同或相差不大)。可选的,不同图像中的目标主体的姿势一致(如姿势相同或姿势相似)。例如,不同图像中的目标主体的大小一致,可以包括:不同图像中的目标主体的轮廓(或最小外接矩形)相对于一致。例如,不同图像中的目标主体的相对位置一致,可以包括:不同图像中的目标主体相对于背景中的同一静态对象的相对位置一致。例如,不同图像中的目标主体的中心位置(或轮廓或最小外接矩形)相对于背景中的同一静态对象的中心位置(或轮廓或最小外接矩形)一致。例如,姿势相似可以包括整体姿势相同(如均是站姿、坐姿或卧姿),而局部姿势存在差异(如手势不同等)。

需要说明的是,在一个实例中,希区柯克变焦视频中不同图像中的目标主体的大小一致,是指希区柯克变焦视频的不同图像中的目标主体不存在跳变,或者跳变程度较小,从而使得用户感觉不到这种跳变,或者用户能够接受这种跳变。

需要说明的是,在一个实例中,希区柯克变焦视频中不同图像中的目标主体的相对位置一致,是指希区柯克变焦视频的不同图像中的目标主体是静止的,或者是动态变化程度较小的,从而使得用户感觉不到这种动态变化,或者用户能够接受这种动态变化。

如图10所示,为本申请实施例提供的一种拍摄视频的方法的流程示意图。该方法应用于终端。该终端包括至少两个摄像头。本实施例提供的技术方案应用于由近及远地拍摄希区柯克变焦视频的场景中,即在拍摄希区柯克变焦视频的过程中,终端与目标主体之间的距离越来越远。

本实施例中是在终端距离目标主体越来越远的条件下拍摄希区柯克变焦视频,不切换摄像头时,在后采集的图像中的目标主体的大小小于在前采集的图像中的目标主体的大小,而希区柯克变焦视频的不同图像中的目标主体的大小一致,因此,为了实现希区柯克变焦视频,需要对后采集的图像进行放大。而直接对图像进行放大,会导致放大后的图像不清晰。

基于此,本实施例提供的技术方案的基本原理为:终端可以采用比采集在前的图像时所使用的摄像头的倍率更大的摄像头采集在后的图像,即通过切换成更大倍率的摄像头实现对目标主体的放大,这样,相比“对后采集的图像进行放大”的技术方案,有助于提高图像的清晰度。

图10所示的方法可以包括以下步骤:

S300:终端确定由近及远地拍摄希区柯克变焦视频,并确定初始摄像头。

可选的,终端可以在用户的指示下,确定由近及远地拍摄希区柯克变焦视频。

例如,结合图3中的d图,响应于对“希区柯克变焦视频”控件的触摸操作,终端还可以在用户界面上显示“由近及远模式”401控件和“由远及近模式”402控件,如图11中的a图所示。基于此,用户可以通过对“由近及远模式”401控件进行触摸操作,响应于该触摸操作,终端突出显示“由近及远模式”401控件(如加粗显示该控件的边框),如图11中的b图所示,同时开始启动由近及远模式拍摄希区柯克变焦视频。

需要说明的是,终端还可以以其他方式(如语音指令方式或快捷键方式等)启动由近及远模式拍摄希区柯克变焦视频,本申请实施例对此不进行具体限定。

由于在本实施例中,如果终端切换摄像头,则切换成更大倍率的摄像头,因此,初始摄像头的倍率通常不是终端中倍率最大的摄像头,通常可以预定义初始摄像头是终端中倍率较小(如最小)的一个摄像头。

S301:终端针对第一场景实时采集N+1个图像,N+1个图像中均包括目标主体。其中,在采集N+1个图像的过程中,该终端距离目标主体越来越远。N是大于等于1的整数。

可选的,N+1个图像可以是终端连续采集的N+1个图像。

可选的,N+1个图像中的第一个图像,是终端在“希区柯克变焦视频”模式下,开始拍摄时,终端保存的第一个图像。

其中,第一场景可以理解为终端执行S301时,终端的摄像头拍摄视野内的拍摄场景或者其周边可以遍及的场景,与用户所处的环境、终端的姿态或者摄像头的参数有关,本申请不做限定。

其中,目标主体可以为一个物体,该目标主体的位置在拍摄过程中可以不发生移动,也可以在同一深度横向移动。

或者,该目标主体也可以包括深度相同的多个物体,该多个物体的整体可以作为目标主体。在一些实施例中,当目标主体包括多个物体时,该多个物体的图像相连接或有部分重叠。在视频拍摄过程中,随着用户与目标主体之间的距离的变化,不同深度的物体成像大小的变化幅度不同。因而,在用户与目标主体之间的距离变化时,不同深度的物体难以同时实现图像的大小基本不变。因此,为保持目标主体图像的大小基本不变,目标主体中的多个物体应具有相同的深度。

其中,该目标主体可以是终端自动确定的或者用户指定的,以下针对这两种情况分别进行说明。

(1)、终端自动确定目标主体,该目标主体可以包括一个或多个物体。

在一些实施例中,目标主体为预设类型的物体。例如,该预设类型的物体为人物、动物、著名建筑或标志物等。终端基于预览图像确定预设类型的物体为目标主体。

在另一些实施例中,目标主体为在预览图像上的图像位于中心区域的物体。用户感兴趣的目标主体通常会正对着变焦摄像头,因而目标主体在预览图像上的图像通常位于中心区域。

在另一些实施例中,目标主体为在预览图像上的图像靠近中心区域且面积大于预设阈值1的物体。用户感兴趣的目标主体通常会对着变焦摄像头且离变焦摄像头较近,从而目标主体在预览图像上的图像靠近中心区域且面积大于预设阈值1。

在另一些实施例中,目标主体为在预览图像上的图像靠近中心区域的预设类型的物体。

在另一些实施例中,目标主体为在预览图像上的图像靠近中心区域,且面积大于预设阈值的预设类型的物体。

在另一些实施例中,目标主体为在预览图像上的图像靠近中心区域,且深度最小的预设类型的物体。当在预览图像上的图像靠近中心区域的预设类型的物体包括多个深度不同的物体时,目标对象为其中深度最小的物体。

在一些实施例中,终端默认目标主体仅包括一个物体。

可以理解的是,终端自动确定目标主体的方式还可以有多种,本申请实施例对该方式不予具体限定。

在一些实施例中,终端确定目标主体后,可以通过显示提示信息或语音播报等方式将目标主体提示给用户。

例如,预设类型为人物,终端确定目标主体为在预览图像上的图像靠近中心区域的预设类型的人物1。示例性的,参见图12中的(a),终端可以通过方框501将人物1框选出来,以提示用户该人物1为目标主体。

再例如,预设类型为人物,终端确定目标主体为在预览图像上的图像靠近中心区域,且具有相同深度的预设类型的人物2和人物3。示例性的,参见图12中的(b),终端可以通过圆圈502将人物2和人物3框选出来,以提示用户人物2和人物3为目标主体。

再例如,预设类型包括人物和动物,终端确定目标主体为在预览图像上的图像靠近中心区域且具有相同深度的预设类型的人物4和动物1。示例性的,参见图12中的(c),终端可以通过显示提示信息来提示用户人物4和动物1为目标主体。

可以理解的是,终端将目标主体提示给用户的方式还可以有多种,本申请实施例对该方式不予具体限定。

在一些实施例中,终端自动确定目标主体后,还可以响应于用户的操作修改目标主体,例如切换、增加或删除目标主体等。

例如,在图13中的(a)所示的情况下,终端自动确定的目标主体为人物1,终端检测到用户点击预览图像上的人物5的操作后,如图13中的(b)所示,将目标主体由人物1修改为人物5。

再例如,在图14中(a)所示的情况下,终端自动确定的目标主体为人物1,终端检测到用户拖动方框以同时框选人物1和人物5的操作后,如图14中的(b)所示,将目标主体由人物1修改为人物1和人物5。

再例如,在图15中的(a)所示的情况下,终端自动确定的目标主体为人物1和人物5,终端检测到用户可以点击人物5的操作后,如图15中的(b)所示,将目标主体由人物1和人物5修改为人物1。

再例如,终端根据用户的指示首先进入目标主体修改模式后,再响应于用户的操作修改目标主体。

可以理解的是,用户修改目标主体的方式还可以有多种,本申请实施例对该方式不予具体限定。

(2)、用户指定目标主体,该目标主体包括一个或多个物体。

终端进入希区柯克模式后,可以响应于用户在预览界面上的预设操作确定目标主体。该预设操作用于指定某个或某些物体为目标对象。其中,该预设操作可以是触摸操作、语音指令操作或手势操作等,本申请实施例不予限定。例如,该触摸操作可以是单击、双击、长按、压力按或圈定对象的操作等。

示例性的,在图16中的(a)所示的预览界面上,终端检测到用户双击预览图像上人物1的操作后,如图16中的(b)所示将人物1确定为目标主体。

在另一些实施例中,终端进入希区柯克模式后,可以提示用户指定目标主体。示例性的,参见图17中的(a),终端可以显示提示信息:请指定目标主体,以使得目标主体在拍摄过程中的图像大小基本不变。而后,终端响应于用户在预览界面上的预设操作确定目标主体。比如,终端检测到用户划圈圈定图17中的(a)所示的人物1的操作后,如图17中的(b)所示将对应的人物1确定为目标主体。再比如,终端检测到用户语音指示人物为目标主体的操作后,将人物1确定为目标主体。

再示例性的,在目标主体为预设物体类型且预设物体类型为人物的情况下,参见图18中的(a),终端可以显示提示信息:检测到一个人物,是否指定该人物为目标主体,以使得目标主体在拍摄过程中的图像大小基本不变?而后,终端响应于用户点击“是”控件的操作后,如图18中的(b)所示确定该人物为目标主体。

在一些实施例中,若终端默认目标主体仅包括一个物体,则当用户指定多个物体为目标主体时,终端可以提示用户:请仅选择一个物体作为目标主体。

与终端自动确定目标主体后类似,终端响应于用户的预设操作确定目标主体后,也可以通过显示提示信息或语音播报等方式将目标主体提示给用户。并且,终端也可以响应于用户的操作修改目标主体,例如切换、增加或删除目标主体。此处不再赘述。

其中,终端针对第一场景实时采集N+1个图像,是指终端在拍摄的过程中针对第一场景采集N+1个图像,而非在拍摄之前已经获取到的针对第一场景的N+1个图像。

可选的,如图19a所示,S301可以包括以下步骤S301 a-S301d:

S301 a:终端采用初始摄像头针对第一场景采集第一个图像,第一个图像包括目标主体。

S301 b:终端采用初始摄像头针对第一场景采集第二个图像,第二个图像包括目标主体。

S301c:终端基于第i个图像的拍摄倍率,确定采集第i+1个图像的摄像头。i≥2,i是整数。具体实现方式可以参考下文。第i个图像包括目标主体。

S301d:终端采用所确定的采集第i+1个图像的摄像头,采集第i+1个图像。

以此类推,终端可以采集到N+1个图像。

在一种实现方式中,N+1个图像包括在前采集的N1+1个图像和在后采集的N2个图像,其中,N1+1个图像是由终端的第一摄像头采集得到,N2个图像是由终端的第二摄像头采集得到;N1和N2均是大于等于1的整数。也就是说,本申请实施例提供的技术方案可以应用于在切换摄像头的场景中拍摄希区柯克变焦视频。当然,具体实现时,在拍摄一段希区柯克变焦视频的过程中,可以多次切换摄像头。

在该实现方式中,结合上述S301 a-S301d可知:

N1+1个图像中的第二个图像至第N1个图像相对第一个图像的缩放倍率,均属于第一拍摄倍率范围。第一拍摄倍率范围与第一摄像头对应。

N1+1个图像中的第N1+1个图像和N2个图像中的前N2-1个图像相对第一个图像的缩放倍率,均属于第二拍摄倍率范围。第二拍摄倍率范围与第二摄像头对应。

在另一种实现方式中,N+1个图像均由第一摄像头拍摄采集得到。也就是说,本申请实施例提供的技术方案可以应用于在不切换摄像头的场景中拍摄希区柯克变焦视频。

可选的,如图19b所示,S301c可以包括以下步骤:S301c-1至S301c-3:

S301c-1:终端基于第一个图像对第i个图像进行防抖处理。具体的,终端确定第一个图像中的特征点的位置,并基于第一个图像中的特征点的位置,对第i个图像中的与该特征点相匹配的特征点的位置进行运动补偿,从而实现对第i个图像进行防抖处理。

本申请实施例对终端执行防抖处理时所采用的防抖处理技术不进行限定,例如,防抖处理技术可以是光学防抖处理技术、人工智能(artificial intelligence,AI)防抖处理技术或电子处理防抖技术等。

需要说明的是,S301c-1是可选的步骤。对于上述N个图像中的每个图像均执行S301c-1之后,从整体上而言,有助于进入缩放倍率计算模块(即终端中用于计算缩放倍率的模块)的视频(即所采集的后N个图像)抖动较弱(即使得该视频整体更佳稳定/平滑),从而使得所获得的缩放倍率的精确度更大。

S301c-2:终端获取第i个图像的拍摄倍率。如果终端执行S301c-1,则这里的第i个图像具体是经防抖处理后的第i个图像。

可选的,第i个图像的拍摄倍率是基于第i个图像相对于第一个图像的缩放倍率,和采集第一个图像的摄像头的倍率确定的。第i个图像相对第一个图像的缩放倍率是:基于第i个图像中的目标主体的大小和第一个图像中的目标主体的大小确定的。

例如,ci=c1/(di/d1)。其中,di是第i个图像中的目标主体的大小,d1是第一个图像中的目标主体的大小。di/d1是第i个图像相对第一个图像的缩放倍率。c1是第一摄像头的倍率,ci是第i个图像的拍摄倍率。

可选的,图像中的目标主体的大小通过以下特征1-4中的至少一个特征来表征:

特征1:该图像中的目标主体的宽度。

特征2:该图像中的目标主体的高度。

特征3:该图像中的目标主体的面积。

特征4:该图像中的目标主体所占的像素点的数量。

例如,以特征2表征目标主体在一个图像中的大小为例,第i个图像的拍摄倍率可以基于公式ci=c1/(hi/h1)得到。其中,hi是第i个图像中的目标主体的高度,h1是第一个图像中的目标主体的高度。hi/h1是第i个图像相对于第一个图像的缩放倍率。c1是第一摄像头的倍率,ci是第i个图像的拍摄倍率。

可选的,S301c-2可以包括:终端从第i个图像中提取目标主体,并基于该目标主体的大小与第一个图像的目标主体的大小,确定第i个图像相对于第一个图像的缩放倍率。

本申请实施例对终端从图像中提取目标主体的具体实现方式不进行限定。例如,终端通过主体分割算法、主体骨骼点检测算法和主体轮廓检测算法等中的一种或多种,从图像中提取目标主体。

示例的,主体分割算法包括实例分割算法。具体的,终端使用实例分割算法从第i个图像提取目标主体的实例分割掩膜,然后,将从第i个图像提取的目标主体的实例分割掩膜的大小除以从第一个图像提取的目标主体的实例分割掩膜的大小,得到第i个图像相对于第一个图像的缩放倍率。如图20所示,为本申请实施例提供的一种实例分割的示意图。其中,图20中的a图表示第i个图像,图20中的b图表示第i个图像中的目标主体的实例分割掩膜,在该掩膜中,像素值大于0的像素是表示目标主体的像素,其他区域是表示背景的像素。

实例分割算法是像素级别的分割方法,基于实例分割算法提取的目标主体的精确度更大,这有助于使得终端计算得到的缩放倍率更精确。比如,在目标主体包括多人的情况下,也可以有效地区分主体人像和背景。

S301c-3:如果第i个图像的拍摄倍率在第一拍摄倍率范围,则终端确定采集第i+1个图像的摄像头是第一摄像头。如果第i个图像的拍摄倍率在第二拍摄倍率范围,则确定采集第i+1个图像的摄像头是第二摄像头。第一拍摄倍率范围与第一摄像头对应,第二拍摄倍率范围与第二摄像头对应。

也就是说,终端基于第i个图像的拍摄倍率,确定采集第i+1个图像的摄像头。由于相邻两个图像中的目标主体的大小/目标主体的位置相差不会太大,因此,终端可以基于第i个图像的拍摄倍率所确定的摄像头,采集第i+1个图像。

可选的,第一摄像头的倍率是a,第二摄像头的倍率是b;a<b;第一拍摄倍率范围是[a,b),第二拍摄倍率范围是大于等于b的范围。

例如,以终端中包括广角摄像头、主摄摄像头为例,由于广角摄像头的倍率是0.6,主摄摄像头的倍率等于1,因此,广角摄像头对应的拍摄倍率范围是[0.6,1),主摄摄像头对应的拍摄倍率范围是大于等于1的范围。

进一步可选的,如果终端中还包括第三摄像头,且第三摄像头的倍率是c,a<b<c,则第一拍摄倍率范围是[a,b),第二拍摄倍率范围是[b,c);第三摄像头对应的拍摄倍率范围是大于等于c的范围。

例如,以终端中包括广角摄像头、主摄摄像头和长焦摄像头为例,由于广角摄像头的倍率是0.6,主摄摄像头的倍率是1,长焦摄像头的倍率是w,w是大于1的整数,因此,广角摄像头对应的拍摄倍率范围是[0.6,1),主摄摄像头对应的拍摄倍率范围是[1,w),长焦摄像头对应的拍摄倍率范围是大于等于w的范围。

基于此,在示例1中,若通过广角摄像头采集第一个图像,且经计算得到第i个图像相对于第一个图像的缩放倍率是0.5,则第i个图像的拍摄倍率是0.6/0.5=1.2。假设长焦摄像头的倍率是10(即w=10),由于第i个图像的拍摄倍率(即1.2)在主摄摄像头对应的拍摄倍率范围(即[1,10))内,因此,终端确定使用主摄摄像头采集第i+1个图像。

又如,以终端中包括广角摄像头、主摄摄像头、第一长焦摄像头和第二长焦摄像头为例,由于广角摄像头的倍率是0.6,主摄摄像头的倍率是1,第一长焦摄像头的倍率是w1,第二长焦摄像头的倍率是w2,1<w1<w2,则广角摄像头对应的拍摄倍率范围是[0.6,1),主摄摄像头对应的拍摄倍率范围是[1,w1),第一长焦摄像头对应的拍摄倍率范围是[w1,w2),第二长焦摄像头对应的拍摄倍率范围是大于等于w2的范围。

基于此,在示例2中,若通过广角摄像头采集第一个图像,且经计算得到第i个图像相对于第一个图像的缩放倍率是0.2,则第i个图像的拍摄倍率是0.6/0.2=3。假设第一长焦摄像头的倍率是2(即w1=2),第二长焦摄像头的倍率是10(即w2=10),由于第i个图像的拍摄倍率(即3)在第一长焦摄像头对应的拍摄倍率范围(即[2,10))内,因此,终端确定使用第一长焦摄像头采集第i+1个图像。

需要说明的是,在具体实现时,终端也可以在第i个图像的拍摄倍率达到某一摄像头对应的拍摄倍率范围的最小临界值之前的一个小范围内时,就切换成该摄像头,以降低因切换摄像头而导致的拍摄时延的问题。

如图21所示,为本申请实施例提供的一种终端采集N+1个图像的过程示意图。其中,该终端包括摄像头1至摄像头x,x是大于等于2的整数,编号越大的摄像头的倍率越大。

基于图21,终端采集N+1个图像的过程可以包括以下步骤:

终端使用摄像头1(即初始摄像头)采集第1个图像。

终端使用摄像头1采集第2个图像,并基于第1个图像对第2个图像进行防抖处理,然后获取经防抖处理的第2个图像相对第1个图像的缩放倍率。如果基于该缩放倍率确定第2个图像的拍摄倍率在摄像头a对应的拍摄倍率范围内,则使用摄像头a采集第3个图像。其中,1≤a≤x。

终端使用摄像头a采集第3个图像,并对第3个图像进行防抖处理,然后获取经防抖处理的第3个图像相对第1个图像的缩放倍率。如果基于该缩放倍率确定第3个图像的拍摄倍率在在摄像头b对应的拍摄倍率范围内,则使用摄像头b采集第4个图像。其中,a≤b≤x。

以此类推,终端采集第4个至第N+1个图像。

可选的,N+1个图像中在后采集的图像中的目标主体的大小小于第一个图像中的目标主体的大小。

在一种实现方式中,N+1个图像中,在后采集的图像中的目标主体的大小,小于在前采集的图像中的目标主体的大小。如图22a所示,为本申请实施例提供的一种终端在S301中所采集到的图像的示意图。图22a中的a图表示终端采集的第一个图像,b图表示终端采集的第二个图像,c图表示终端采集的第三个图像。

在另一种实现方式中,N+1个图像中,在后采集的图像中的目标主体的大小,可能大于在前采集的图像中的目标主体的大小,但小于第一个图像中的目标主体的大小。如图22b所示,为本申请实施例提供的一种终端在S301中所采集到的图像的示意图。图22b中是以N+1=3为例。图22b中的a图表示终端采集的第一个图像,b图表示终端采集的第二个图像,c图表示终端采集的第三个图像。

以下通过一个示例说明,N+1个图像中,在后采集的图像中的目标主体的大小,可能大于在前采集的图像中的目标主体的大小,但小于第一个图像中的目标主体的大小。

假设第一个图像中的目标主体的大小是d,采集第一个图像的摄像头是1X摄像头,那么,由于采集第一个图像和第二个图像使用的均是1X摄像头,因此,以第二个图像中的目标主体的大小是d/2为例,第二个图像相对于第一个图像的缩放倍率是0.5,因此,第二个图像的拍摄倍率是1/0.5=2。后续终端可以采用2X摄像头采集第三个图像。一方面,由于终端采用2X摄像头采集第三个图像,而采用1X摄像头采集第二个图像,因此,可能第三个图像中的目标主体的大小大于第二个图像中的目标主体的大小。另一方面,由于在采集第二个至第三个图像的过程中,终端距离目标主体越来越远,因此,第三个图像中的目标主体的大小小于第一个图像中的目标主体的大小。

可选的,该方法还可以包括:终端在当前预览界面中,显示第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。

例如,终端可以在当前使用的摄像头是该终端中最大倍率的摄像头时,在当前预览界面中,显示第一信息。对于用户来说,可以在获取到第一信息之后的一段时间内停止拍摄希区柯克变焦视频。

在终端与目标主体之间的距离越来越远的情况下拍摄希区柯克变焦视频,若当前使用的摄像头是该终端中最大倍率的摄像头,则由于当前摄像头的倍率不能更大,因此终端不能再切换摄像头,此时,通过在当前预览界面上显示第一信息,有助于提示用户及时停止拍摄视频,否则终端后续采集的图像仅能通过放大,来使得放大后的图像中的目标主体的大小与第一个图像中的目标主体的大小一致,这会导致基于后续采集的图像生成的目标图像的清晰度不高。也就是说,本申请实施例提供了一种指导用户停止拍摄希区柯克变焦视频的方法,这有助于提高用户体验。

本申请实施例对第一信息具体包含哪些信息,来指示停止拍摄希区柯克变焦视频不进行限定。例如,可以直接指示“当前使用的摄像头是该终端中最大倍率的摄像头”,也可以通过指示“请停止录制视频”来间接指示当前使用的摄像头是该终端中最大倍率的摄像头”。如图23a所示,为本申请实施例提供的一种当前预览界面的示意图。当前预览界面中包含当前播放的希区柯克变焦视频的图像501(即当前预览图像),以及第一信息“请停止录制视频”502。

可选的,该方法还可以包括:终端在当前预览界面中,显示第二信息,第二信息用于指示目标主体静止。

例如,终端可以在确定当前预览图像中的目标主体的位置,与在前的预览图像中的目标主体的位置一致的情况下,在当前预览界面中显示第二信息。由于希区柯克变焦视频的要求之一是各图像中的目标主体的位置一致,因此,这样,用户可以在获取希区柯克变焦视频的过程中,获知当前是否满足获取希区柯克变焦视频的要求,从而提高用户体验。

本申请实施例对第一信息具体包含哪些信息,来指示目标主体静止不进行限定。例如,如图23b所示,为本申请实施例提供的一种当前预览界面的示意图。当前预览界面中包含当前呈现的希区柯克变焦视频的图像501(即当前预览图像),以及第二信息“目标主体静止”503。

可选的,该方法还可以包括:终端在当前预览界面中,显示第三信息,第三信息用于指示目标主体在当前预览图像的中央。这样,用户可以基于在终端中没有显示第三信息时,移动终端,从而使得目标主体在当前预览图像的中央,这有助于提高希区柯克视频的质量。

例如,终端可以在检测到当前预览图像中目标主体的位置(如目标主体的中心,或目标主体的轮廓或目标主体的最小外界矩形等),在当前预览图像的预设中央区域(即以当前预览图像的中心为中心的一个预设区域)中时,在当前预览界面中,显示第三信息。

本申请实施例对第三信息具体包含哪些信息,来指示目标主体在当前预览图像的中央不进行限定。例如,如图23c所示,为本申请实施例提供的一种当前预览界面的示意图。当前预览界面中包含当前呈现的希区柯克变焦视频的图像501(即当前预览图像),以及第三信息“目标主体在当前预览图像的中央”504。

可替换地,终端可以在当前预览界面中,显示第四信息,第四信息用于指示目标主体不在当前预览图像的中央。这样,用户可以基于在终端中显示了第四信息时,移动终端,从而使得目标主体在当前预览图像的中央,这有助于提高希区柯克视频的质量。

可选的,针对第一场景实时采集N+1个图像,包括:在目标主体在当前预览图像的中央时,采集第一个图像。这样,有助于提高希区柯克视频的质量。

可选的,在采集N+1的图像的过程中,终端的移动速度小于等于预设速度。

由于终端中的摄像头的数量有限,而终端移动速度过快可能导致切换摄像头的速度过快,而当切换到最大倍率的摄像头时,不能再切换摄像头。在使用最大倍率的摄像头采集图像时,随着终端距离目标主体越来越远,在后采集的图像中的目标主体越来越小,在生成希区柯克变焦视频时,需要对这些图像进行放大,这会导致图像的清晰度不高。基于此,提出该可能的设计。这样,有助于提高希区柯克变焦视频的质量。

本申请实施例对预设速度的具体取值不进行限定,例如,可以是经验值。

S302:对于N+1个图像中后采集的N个图像,终端基于预设神经网络进行白平衡处理,得到N个优化图像。预设神经网络用于保证时域相邻图像的白平衡一致性。

这里的预设神经网络,可以是上文由本申请实施例提供的白平衡网络,如图8所示的白平衡网络。终端可以在网络设备中下载预设神经网络,或者可以通过本地训练得到预设神经网络。本申请实施例对此不进行限定。

可选的,由于不同摄像头拍摄的图像之间存在一些差异,因此,终端可以将N+1个图像中后采集的N个图像中的每个图像,除了进行白平衡处理之外,还可以进行亮度、色度等参数进行矫正,以避免(或尽量避免)因切换摄像头而导致的图像不一致的问题。

例如,对于图像色度和亮度来说,分别获取时域相邻的图像的亮度值/色度值,并获取亮度值/色度值的乘性因子或加性因子对该图像的亮度值/色度进行换算,使在后的图像的亮度/色度值换算后接近在前的图像的亮度值/色度值,从而使得时域相邻的图像的亮度值/色度值保持一致性。

S303:终端对N个优化图像进行放大并裁剪,得到N个目标图像;其中,N个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致,N个目标图像中目标主体的相对位置,与第一个图像中目标主体的相对位置一致;N个目标图像与第一个图像的大小一致。

基于上文中的描述可知,在后采集的图像中的目标主体的大小小于第一个图像中的目标主体的大小,因此,终端需要对在后采集的N个图像的对应的N个优化图像进行放大并裁剪。

终端对N个优化图像进行放大,以使得放大后的N个优化图像中的目标主体的大小与第一个图像中的目标主体大小一致,且放大后的N个优化图像中的目标主体的相对位置,与第一个图像中目标主体的相对位置一致。终端对放大后的N个图像进行裁剪,得到N个目标图像,以使得N个目标图像中的每个图像与第一图像的大小一致。

在一个示例中,如图24所示。图24中的a图表示N+1个图像中的第一个图像,图24中的b图表示N个优化图像中的其中一个优化图像。图24中的c图表示对图24中的b图所示的优化图像进行放大后得到的图像,其中,放大后的图像中的目标主体的大小与图24中的a图中所示的第一个图像中的目标主体的大小一致。图24中的d图表示对图24中的c图所示的图像进行裁剪后得到的目标图像,该目标图像的尺寸与图24中的a图所示的第一个图像的尺寸相同,其中,在裁剪的过程中,尽量保证该目标图像中目标主体的位置与第一个图像中目标主体的位置一致。

需要说明的是,由于“终端与目标主体之间的距离”与“终端与背景中的对象之间的距离”不同,因此,在采集N+1个图像中的不同的两个图像中,这两个图像中的目标主体的缩放倍率与这两个图像中背景中的同一对象的缩放倍率不同。这会使得对一个优化图像进行放大裁剪之后得到的目标图像中的背景,与第一个图像中的背景不同。例如,图24中的a图和d图中的背景不同。基于此,终端可以基于N个目标图像和第一个图像生成“不同图像中的目标主体的大小一致,相对位置一致,而背景不一致”的希区柯克变焦视频。

S304:终端基于N个目标图像和第一个图像生成希区柯克变焦视频。

希区柯克变焦视频中的相邻图像之间的播放时间间隔可以是预定义的。

在一种实现方式中,终端在拍摄的过程中,实时呈现希区柯克变焦视频。也就是说,边生成希区柯克变焦视频边呈现所生成的希区柯克变焦视频。

该情况下,终端执行上述S302和S303时:对于第i个图像,在执行S301d之后将第i个图像输入到预设神经网络中,得到第i个图像对应的优化图像。并对第i个图像对应的优化图像进行放大并裁剪,得到该优化图像对应的目标图像。也就是说,在采集到一个图像之后,即可对该图像进行白平衡处理、放大、裁剪、呈现(即显示目标图像)等。并且,在对该图像进行处理的过程中,可以采集并处理下一个图像。而非在获得N+1个图像之后才执行S302,以及在针对所有图像执行S302之后才执行S303。

在另一种实现方式中,终端可以在获得N+1个图像之后才执行S302,以及在针对所有图像执行S302之后才执行S303。也就是说,终端对所采集的N+1个图像进行后处理,从而获得希区柯克变焦视频。

需要说明的是,如果在获得N+1个图像的过程中,采集图像的摄像头进行了切换,则可能由于切换摄像头导致目标主体在切换摄像头前后所采集的不同图像中的位置不同,也就是说,目标主体可能会出现不稳定的情况。

基于此,可选的,该方法还可以包括:终端获取第一个图像中的目标主体的位置信息,以及,N个目标图像中的每个目标图像中的目标主体的位置信息;然后,对于N个目标图像中的每个目标图像,基于主体稳像算法和第一个图像中的目标主体的位置信息,对该目标图像进行稳像处理,得到新的目标图像。其中,新的目标图像中目标主体的位置与第一个图像中的目标主体的位置一致。

示例的,若上文中采用实例分割算法得到目标主体的掩膜,则可以基于目标主体掩膜获得目标主体在相应图像中的位置信息。结合目标主体的位置信息对目标主体位置区域进行特征点检测,可以有效排除目标主体区域外的特征点的影响。通过对目标主体区域的特征点进行稳像处理,可以得到新的目标图像。

本申请实施例对主体稳像算法不进行限定。例如,可以是AI稳像算法。

基于此,上述S304中,终端基于N个目标图像和第一个图像生成希区柯克变焦视频,具体包括:终端基于N个新的目标图像和第一个图像生成希区柯克变焦视频。这样,可以使得所得到的希区柯克变焦视频的主体稳定。

本申请实施例提供的拍摄视频的方法中,在获取希区柯克变焦视频的过程中,对实时采集到的N+1个图像中的后N个图像进行了白平衡处理,以使得处理后的图像与所采集的N+1个图像中的第一个图像的白平衡一致。这样,可以使得获得的希区柯克变焦视频的白平衡效果更好,从而提高希区柯克变焦视频的质量,提高了用户体验。另外,在本申请实施例中,终端可以通过切换摄像头的方式,放大后续采集的图像中的目标主体的大小,相比传统技术,有助于使所获得的希区柯克变焦效果视频的清晰度更高,从而提高用户体验。

如图25所示,为本申请实施例提供的另一种拍摄视频的方法的流程示意图。该方法应用于终端。该终端包括至少两个摄像头。本实施例提供的技术方案应用于由远及近地拍摄希区柯克变焦视频的场景,即在拍摄希区柯克变焦视频的过程中,终端与目标主体之间的距离越来越近。

本实施例中是在终端距离目标主体越来越近的条件下拍摄希区柯克变焦视频,不切换摄像头时,在后采集的图像中的目标主体的大小大于在前采集的图像中的目标主体的大小。而希区柯克变焦视频中不同图像中的目标主体的大小一致,因此,需要对后采集的图像进行缩小。由于对在后采集的图像进行缩小之后,需要进行“补边”处理,以使“补边”后的图像的大小与终端采集的第一个图像的大小一致,这会导致出现“补边”后的图像出现黑边,从而在图像呈现时导致用户体验差。

例如,终端采集的第一个图像如图26中的a图所示,第二个图像如图26中的b图所示,对第二个图像进行缩小后得到的图像如图26中的c图所示,对图26中的c图进行“补边”后得到的图像如图26中的d图所示。

基于此,本实施例提供的技术方案的基本原理为:终端可以采用比采集在前的图像时所使用的摄像头的倍率更小的摄像头采集在后的图像,即通过切换成更小倍率的摄像头实现对目标主体的缩小,这样,不需要对采集后的图像进行“补边”,从而提高用户体验。

图25所示的方法可以包括以下步骤:

S400:终端确定由远及近地拍摄希区柯克变焦视频,并确定初始摄像头。

可选的,终端可以在用户的指示下,确定由远及近地拍摄希区柯克变焦视频。

例如,基于图11中的a图所示的用户界面,用户可以通过触摸操作点击“由远及近模式”402控件,响应于该触摸操作,终端突出显示“由远及近模式”402控件,同时开始启动以由远及近模式拍摄希区柯克变焦视频。

需要说明的是,终端还可以以其他方式(如语音指令方式等)启动以由远及近模式拍摄希区柯克变焦视频,本申请实施例对此不进行具体限定。

由于在本实施例中,如果终端切换摄像头,则切换成更小倍率的摄像头,因此,初始摄像头的倍率通常不是终端中倍率最小的摄像头,通常可以预定义该摄像头是终端中倍率较大(如最大)的一个摄像头。

S401:终端针对第一场景采集N+1个图像,N+1个图像中均包括目标主体。其中,在采集N+1个图像的过程中,该终端距离目标主体越来越近。N是大于等于1的整数。N+1个图像中的第一个图像由终端的第一摄像头采集得到,N+1个图像中的后N个图像中的部分或全部图像由终端的第二摄像头采集得到,第二摄像头的倍率小于第一摄像头的倍率。N+1个图像中后采集的N个图像中目标主体的大小小于或等于N+1个图像中采集的第一个图像中的目标主体的大小。

也就是说,在本实施例中,终端采集图像的过程中,由大倍率的摄像头切换成了小倍率的摄像头,这有助于使得在终端距离目标主体越来越近的场景中,在后采集的图像中的目标主体的大小小于或等于在前采集的图像中的目标主体的大小。

在一种实现方式中,该N+1个图像是连续采集的N+1个图像,即实时采集的N+1个图像。

可选的,N+1个图像中的后N个图像包括在前采集的N1个图像和在后采集的N2个图像,其中,N1个图像由第二摄像头采集得到,N2个图像由终端的第三摄像头采集得到;N1和N2均是大于等于1的整数。

可选的,针对第一场景采集N+1个图像,包括:获取N+1个图像中的第i个图像的拍摄倍率;其中,2≤i≤N,i是整数;如果第i个图像的拍摄倍率在第一拍摄倍率范围内,则基于第二摄像头针对第一场景采集N+1个图像中的第i+1个图像;如果第i个图像的拍摄倍率在第二拍摄倍率范围内,则基于终端的第三摄像头针对第一场景采集N+1个图像中的第i+1个图像。其中,第二摄像头的倍率是b,第三摄像头的倍率是c;b>c;第一拍摄倍率范围是大于等于b的范围;第二拍摄倍率范围是[c,b)。该可选的实现方式中相关内容的解释以及示例基于参考上文中的示例推理得到,此处不再赘述。

可选的,第一个图像的拍摄倍率大于第二摄像头的倍率。也就是说,终端的初始拍摄倍率大于采集第二个图像时所采用的摄像头的倍率。例如,终端中包含5X摄像头和1X摄像头,采集第一个图像所使用的摄像头可以是5X摄像头,此时的拍摄倍率可以是大于5的范围,或者[1,5)。采集第二个图像所使用的摄像头是1X摄像头。

可选的,该方法还可以包括:在当前预览界面中,显示第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。

例如,终端可以在当前使用的摄像头是该终端中最小倍率的摄像头时,在当前预览界面中,显示第一信息。对于用户来说,可以在获取到第一信息之后的一段时间内停止拍摄希区柯克变焦视频。

在终端与目标主体之间的距离越来越近的情况下拍摄希区柯克变焦视频,若当前使用的摄像头是该终端中最小倍率的摄像头,则由于当前摄像头的倍率不能更小,因此终端不能再切换摄像头,此时,通过在当前预览界面上显示第一信息,有助于提示用户及时停止拍摄视频,否则终端后续采集的图像需要进行缩小和补边,从而降低播放希区柯克变焦视频时的用户体验。也就是说,本申请实施例提供了一种指导用户停止拍摄希区柯克变焦视频的方法,这有助于提高用户体验。

可选的,该方法还可以包括:在当前预览界面中,显示第二信息,第二信息用于指示目标主体静止。可选的,该方法还可以包括:在当前预览界面中,显示第三信息,第三信息用于指示目标主体在当前预览图像的中央。可选的,针对第一场景采集N+1个图像,包括:在目标主体在当前预览图像的中央时,采集第一个图像。其具体实现方式和示例可以参考上文,此处不再赘述。

在一种可能的设计中,终端的移动速度小于等于预设速度。由于终端中的摄像头的数量有限,而终端移动速度过快可能导致切换摄像头的速度过快,而当切换到最小倍率的摄像头时,不能再切换摄像头。在使用最小倍率的摄像头采集图像时,随着终端距离目标主体越来越近,在后采集的图像中的目标主体越来越大,可能导致在后采集的图像中的目标主体的大小大于上述N+1个图像中的第一个图像中目标主体的大小。在生成希区柯克变焦视频时,需要对这些图像进行缩小并补边,从而降低用户体验。基于此,提出该可能的设计。这样,有助于提高高希区柯克变焦视频的质量。

S402:对于N+1个图像中后采集的N个图像,终端基于预设神经网络进行白平衡处理,得到N个优化图像。其中,预设神经网络用于保证时域相邻图像的白平衡一致性。

S403:终端对N个优化图像进行放大并裁剪,得到N个目标图像。其中,该N个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致。该N个目标图像中的目标主体的相对位置与第一个图像中目标主体的相对位置一致。该N个目标图像与第一个图像的大小一致。

S404:终端基于该N个目标图像和第一个图像,生成希区柯克变焦视频。

关于S402-S404的具体实现方式可以参考上述S302-S304的相关描述,此处不再赘述。

本申请实施例提供的拍摄视频的方法中,在终端距离目标主体越来越近的场景中,通过切换成更小倍率的摄像头,使得在后采集的图像中目标主体的大小小于或等于在前采集的图像中的目标主体的大小,从而基于所采集的图像得到希区柯克变焦视频。并且,对采集到的N+1个图像中的后N个图像进行了白平衡处理,以使得处理后的图像与所采集的N+1个图像中的第一个图像的白平衡一致。这样,可以使得获得的希区柯克变焦视频的白平衡效果更好,从而提高希区柯克变焦视频的质量,提高了用户体验。另外,在本申请实施例中,终端可以通过切换摄像头的方式,缩小后续采集的图像中的目标主体的大小,相比传统技术,不需要对采集的图像进行“补边”处理,因此,能够提高用户体验。

另外,本申请还提供的一种拍摄希区柯克变焦视频的方法,该方法可以应用于终端距离目标主体越来越近的场景中。该方法可以包括以下步骤:

步骤1:可以参考上述S400。

步骤2:终端针对第一场景实时采集N+1个图像,N+1个图像中均包括目标主体。其中,在采集N+1个图像的过程中,该终端距离目标主体越来越近。N是大于等于1的整数。N+1个图像中的第一个图像由终端的第一摄像头采集得到,N+1个图像中的后N个图像中的部分或全部图像由终端的第二摄像头采集得到,第二摄像头的倍率小于第一摄像头的倍率。

在一些示例中,该步骤的具体实现方式可以参考上述S301的相关描述,此处不再赘述。

在另一些示例中,基于上述S301中确定采集图像所使用的摄像头的方案(如图19a所示)可知,采集N+1个图像中的第一个图像和第二个图像时所采用的摄像头相同。而本实施例中,在拍摄希区柯克变焦视频的过程中,终端距离目标主体越来越近,在不切换摄像头的情况下,在后采集的图像中的目标主体的大小大于在前采集的图像中的目标主体的大小。因此,采用如图19a所示的方法确定采集图像所使用的摄像头,会导致第二个图像中的目标主体的大小大于第一个图像中的目标主体的大小。

对此,在本申请实施例的一种解决方案中,终端采集第二个图像所使用的摄像头与采集第一个图像所使用的摄像头不同。并且,采集第二个图像所使用的摄像头的倍率小于采集第一个图像所使用的摄像头的倍率,这有助于实现第二个图像中的目标图像的大小小于第一个图像中的目标主体图像的大小。

步骤3:可以参考上述S402。

步骤4:终端对N个优化图像中满足第一条件的优化图像进行放大并裁剪,得到至少一个目标图像。其中,满足第一条件的优化图像是所包含的目标主体的大小小于第一个图像中的目标图像的大小的优化图像。该至少一个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致。该至少一个目标图像中的目标主体的相对位置与第一个图像中目标主体的先对位置一致。该至少一个目标图像与第一个图像的大小一致。

关于满足第一条件的优化图像的处理方式可以参考S303中的相关描述,此处不再赘述。

步骤5:终端基于该至少一个目标图像和第一个图像,生成希区柯克变焦视频。

例如,终端基于该至少一个目标图像和第一个图像和N个优化图像中不满足第一条件的图像,生成希区柯克变焦视频。

由于本实施例提供的技术方案,可能导致在后采集的图像中的目标主体的大小大于、等于或小于第一个图像中的目标主体的大小。因此,本实施例区分了满足第一条件的优化图像和不满足第一条件的优化图像。对于不满足第一条件的优化图像,可以将其直接作为希区柯克变焦视频中的一个图像,而不需要执行放大裁剪。

步骤5的具体实现方式,也可以参考S304中的相关描述。

可选的,第N+1个图像中采集的第N+1个图像中目标主体的大小小于或等于第一个图像中目标主体的大小。

可选的,第N+1个图像中目标主体的大小大于第一个图像中目标主体的大小,且第N+1个图像中目标主体的大小与第一个图像中目标主体的大小的差值小于或等于预设阈值。也就是说,当第N+1个图像中目标主体的大小大于第一个图像中目标主体的大小时,二者相差不能太大,以使得基于第N+1个图像生成希区柯克变焦视频时能够满足“希区柯克变焦视频的不同图像中目标主体的大小一致”。

需要说明的是,在终端距离目标主体越来越近的场景下获取希区柯克变焦视频,在实际实现中,实时采集图像的过程中,如果终端因靠近目标主体而导致所采集的图像中的目标主体变大的程度,大于终端因将当前摄像头切换成更小倍率的摄像头(或因不切换摄像头)而导致所采集的图像中的目标主体缩小的程度,那么,可能导致在后采集的图像中的目标主体的大小大于第一个图像中的目标主体的大小。

对此:

在本申请实施例的一种解决方案中,如果终端当前采集的图像中的目标主体的大小与第一个图像中的目标主体的大小的差值大于预设阈值,且当前采集的图像中的目标主体的大小大于第一个图像中的目标主体的大小,则停止采集图像。相应的,终端采用在此之前采集的图像生成希区柯克变焦视频。

由于希区柯克变焦视频的要求之一是不同图像中目标主体的大小一致,“终端当前采集的图像中的目标主体的大小与第一个图像中的目标主体的大小的差值大于预设阈值,且当前采集的图像中的目标主体的大小大于第一个图像中的目标主体的大小”,说明:基于终端当前采集的图像,不能满足希区柯克变焦视频中不同图像中目标主体的大小一致,因此,停止采集图像。

基于此,可选的,该方法还可以包括:针对第一场景采集第N+2个图像,第N+2个图像包括目标主体;采集N+2个图像时终端与目标主体之间的距离,小于采集N+1个图像时终端与目标主体之间的距离。该情况下,上述步骤4包括:在第N+2个图像中的目标主体的大小与第一个图像中的目标主体的大小的差值大于预设阈值,且第N+2个图像中的目标主体的大小大于第一个图像中的目标主体的大小时,基于该N个目标图像和第一个图像,生成希区柯克变焦视频。

可选的,终端在基于上述方案停止采集图像时,可以输出第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。也就是说,本申请实施例提供了一种指导用户停止拍摄希区柯克变焦视频的方法,这样,用户可以基于该图像停止移动终端,从而提高用户体验。

本申请实施例对第一信息的具体实现方式不进行限定,例如第一信息可以以图像、文字、语音等方式输出。本实施例中,终端可以在基于上述方案,确定停止采集图像时,显示如图23a所示的当前预览界面,从而提示用户停止拍摄希区柯克变焦视频。

在本申请实施例的再一种解决方案中,N+1个图像由终端中的最小倍率的摄像头采集得到。在第N+1个图像中目标主体的大小大于第一个图像中目标主体的大小,且第N+1个图像中目标主体的大小与第一个图像中目标主体的大小的差值等于预设阈值时,输出第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。

一方面,由于N+1个图像由终端中的最小倍率的摄像头采集得到,因此,后续如果继续采集图像,则不能再切换摄像头。另一方面,希区柯克变焦视频的要求不同图像中目标主体的大小一致。而第N+1个图像中目标主体的大小大于第一个图像中目标主体的大小,且第N+1个图像中目标主体的大小与第一个图像中目标主体的大小的差值等于预设阈值时,说明第N+1个图像中目标主体的大小相比第一个图像中目标主体的大小的跳变程度,已达到获得希区柯克变焦视频的临界值,此时,如果继续采集图像,会因不能再切换摄像头而导致继续采集的图像中目标主体的大小相比第一个图像中目标主体的大小的跳变程度更大,从而导致不能获得希区柯克变焦视频。考虑到这一点,本申请实施例提供了上述停止拍摄希区柯克变焦视频的方法。

在本申请实施例的另一种解决方案中,S403中满足第一条件的优化图像可以替换为:所包含的目标主体的大小小于参考图像中的目标图像的大小的优化图像。该参考图像是N+1个图像中的“在该优化图像对应的图像之前,与该图像之间的距离最近,且所包含的目标主体的大小大于或等于第一个图像中所包含的目标主体的大小”的图像。

例如,以终端中包括0.6X、1X、2X、5X和10X摄像头为例,这几个摄像头对应的拍摄倍率范围分别为:[0.6,1),[1,2),[2,5),[5,10),大于等于10的范围。

采用10X摄像头采集第1个图像,该图像中目标主体的大小是d。

采用5X摄像头采集第2个图像,该图像中目标主体的大小是0.8d。由此可知,第2个图像的拍摄倍率是:5/(0.8d/d)=6.25,6.25∈[5,10),因此采集第3个图像的摄像头是5X摄像头。

采用5X摄像头采集第3个图像,该图像中目标主体的大小是1.5d。由此可知,第3个图像的拍摄倍率是:5/(1.5d/d)=3.33,3.33∈[2,5),因此采集第4个图像的摄像头是2X摄像头。

采用2X摄像头采集第4个图像,该图像中目标主体的大小是0.8d。由此可知,第4个图像的拍摄倍率是:2/(0.8d/d)=2.5,2.5∈[2,5),因此采集第5个图像的摄像头是2X摄像头。

……

基于该示例,满足第一条件的优化图像是第2个图像对应的优化图像,以及第4个图像对应的优化图像。对于第4个图像的优化图像来说,对其进行放大裁剪时,参考图像是第3个图像。对于第2个图像的优化图像来说,对其进行放大裁剪时,参考图像是第1个图像。

如图27所示,为本申请实施例提供的一种拍摄视频的方法的流程示意图。图27所示的方法应用于终端,终端包括至少两个摄像头,该至少两个摄像头的倍率不同。图27所示的方法可以包括以下步骤:

S500:终端通过至少两个摄像在第一时刻针对第一场景分别采集至少两个图像;其中,一个摄像头对应一个图像,且至少两个图像中均包含目标主体。

也就是说,本申请实施例中,针对待拍摄视频所采集的图像是多个摄像头在同一时刻针对同一场景采集的图像。

S501:终端基于视频的预设播放时长和预设播放帧率,确定至少两个图像中的第一图像和第二图像之间的待插入图像的帧数N;其中,第一图像是至少两个图像中的通过第一摄像头采集的图像,第一摄像头是至少两个摄像头中倍率最大的摄像头。第二图像是至少两个头图像中通过第二摄像头采集的图像,第二摄像头是至少两个摄像头中倍率最小的摄像头。N是大于等于1的整数。

这是在考虑到:基于不同摄像头在同一时刻针对同一场景采集的图像中,通过最大倍率的摄像头采集的图像中的目标主体的大小最大,而通过最小倍率的摄像头采集的图像中的目标主体的大小最小,而提出的技术方案。

S502:终端基于待插入图像的帧数N和该至少两个图像中的部分或全部图像,确定N个待插入图像。其中,该部分或全部图像至少包含第一图像和第二图像。

具体实现时,终端先提取所采集的该部分或全部图像中的每个图像中的目标主体的大小,再基于相应图像中的目标主体的大小,确定相应待插入图像的像素的值。具体示例可以参考图28所示的示例。

终端基于该至少两个图像中的越多图像确定待插入图像,越有助于提高插帧的准确率,从而使得最终生成的视频中的图像更能反映真实场景,进而提高用户体验。

S503:终端基于该至少两个图像和N个待插入图像,生成视频。其中,该视频的各图像中的目标主体的大小逐渐变大或逐渐变小。

在一个示例中,终端中设置有10X摄像头,3X摄像头、1X摄像头和0.6X摄像头。

执行S500时,终端在同一时刻基于这4个摄像头分别采集图像,得到图像1-4,如图28所示。其中,图28中的图a-d分别表示图像1-4。

执行S501时,假设待拍摄视频的预设播放时长是n秒,n是大于等于1的整数,且预设播放帧率是24帧/秒,即每秒共播放24帧图像,则该视频总共需要的图像的个数是n*24。由此可以得到待拍摄视频中相邻两帧之间的缩放倍率是以n=1为例,待拍摄视频中相邻两帧之间的缩放倍率为

执行S502时,终端可以执行以下步骤:

首先,终端确定参考图像,并基于参考图像和待拍摄视频中相邻两帧之间的缩放倍率确定待插入图像的拍摄倍率,待插入图像的个数是N。其中,该参考图像可以是最大倍率的摄像头采集的图像(即图像1),或最小倍率的摄像头采集的图像(即图像4)。以参考图像是图像4为例,N个待插入图像的拍摄倍率分别是:0.6*1.124=0.6744,0.6744*1.124=0.758,0.758*1.124=0.852,……

其次,终端基于任一待插入帧图像的拍摄倍率,以及终端所采集的拍摄倍率大于该待插入帧图像的拍摄倍率和小于该待插入帧图像的拍摄倍率的两个图像中的像素的值,进行插帧,得到该待插入图像中的像素的值。以此类推,终端可以获得N个待插入图像。

可以理解的是,在进行插帧之前,终端需要对这两个图像进行目标主体检测,从而得到目标主体的大小。如图28中的e-h图示意出了目标主体检测的示意图,这些图中矩形框中的部分表示目标主体。并且,图28中示意了插帧的步骤。

可选的,这两个图像是拍摄倍率大于该待插入帧图像的拍摄倍率且与该待插入帧图像的拍摄倍率之差最小的图像,以及,拍摄倍率小于该待插入帧图像的拍摄倍率与该待插入帧图像的拍摄倍率之差最小的图像。

例如,对于拍摄倍率在0.6-1之间的待插入图像,采用图像4和图像3进行插帧。对于拍摄倍率在1-3之间的待插入图像,采用图像3和图像2进行插帧。对于拍摄倍率在3-10之间的待插入图像,采用图像2和图像1进行插帧。

最后,终端将待插入图像和图像1-4,按照所包含的目标主体的大小由大到小的顺序或由小到大的顺序,生成视频(或动态图)。图28中示意了生成视频的步骤。

传统技术中,通常采用同一摄像头采集不同物距下的图像,从而生成视频,该视频的各图像中的目标主体的大小逐渐变大或逐渐变小。这可能因不同时刻采集的图像时,终端的位置偏移(如左右偏移或上下偏移),或者背景中的动态对象的移动等,而导致不同图像中的背景差异较大,从而降低了视频的质量。本实施例提供的拍摄视频的方法,终端通过多个摄像头在同一时刻针对同一场景采集多帧图像,并基于该多帧图像进行插帧,从而生成该视频。这样,相比传统技术,有助于提高所生成的视频的质量。另外,有助于提升动图效果的趣味性,增强用户对终端的粘性。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

如图29所示,为本申请实施例提供的一种终端的结构示意图。图29所示的终端220可以用于实现上述方法实施例中终端的功能,因此也能实现上述方法实施例所具备的有益效果。在本申请的实施例中,该终端可以是如图1所示的终端100。

如图29所示,终端220包括采集单元221和处理单元222。可选的,如图30所示,终端220还包括显示单元223。

在一些实施例中:

采集单元221,用于针对第一场景实时采集N+1个图像,N+1个图像中均包括目标主体;其中,在采集N+1个图像的过程中,终端距离目标主体越来越远。N是大于等于1的整数。处理单元222,用于执行以下步骤:对于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像;预设神经网络用于保证时域相邻图像的白平衡一致性。对N个优化图像进行放大并裁剪,得到N个目标图像;其中,N个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致,N个目标图像中目标主体的相对位置,与第一个图像中目标主体的相对位置一致;N个目标图像与第一个图像的大小一致;基于N个目标图像和第一个图像生成希区柯克变焦视频。例如,结合图10,采集单元221用于执行S301,处理单元222用于执行S302-S304。

可选的,N+1个图像包括在前采集的N1+1个图像和在后采集的N2个图像,其中,N1+1个图像由终端的第一摄像头采集得到,N2个图像由终端的第二摄像头采集得到;N1和N2均是大于等于1的整数。

可选的,采集单元221具体用于:获取N+1个图像中的第i个图像的拍摄倍率,其中,2≤i≤N,i是整数;如果第i个图像的拍摄倍率在第一拍摄倍率范围内,则基于第一摄像头针对第一场景采集N+1个图像中的第i+1个图像。如果第i个图像的拍摄倍率在第二拍摄倍率范围内,则基于第二摄像头针对第一场景采集N+1个图像中的第i+1个图像;其中,第一摄像头的倍率是a,第二摄像头的倍率是b;a<b;第一拍摄倍率范围是[a,b);第二拍摄倍率范围是大于等于b的范围。例如,结合图19b,采集单元221可以用于执行S301c-3。

可选的,第i个图像的拍摄倍率是基于第i个图像中目标主体的大小相对于第一个图像中目标主体的大小的缩放倍率,和采集第一个图像的摄像头的倍率确定的。

可选的,第i个图像中的目标主体的大小通过以下至少一个特征来表征:第i个图像中的目标主体的宽度,第i个图像中的目标主体的高度,第i个图像中的目标主体的面积,或者,第i个图像中的目标主体的所占的像素点的数量。

可选的,处理单元222还用于,采用实例分割算法从第i个图像中提取目标主体,以确定第i个图像中的目标主体的大小。

可选的,显示单元223,用于在当前预览界面中,显示第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。

可选的,显示单元223,用于在当前预览界面中,显示第二信息,第二信息用于指示目标主体静止。

可选的,显示单元223,用于在当前预览界面中,显示第三信息,第三信息用于指示目标主体在当前预览图像的中央。

可选的,采集单元221具体用于,在目标主体在当前预览图像的中央时,采集第一个图像。

可选的,显示单元223,用于显示用户界面,用户界面中包含第一控件,第一控件用于指示由近及远拍摄希区柯克变焦视频;以及,接收针对第一控件的操作。采集单元221具体用于,响应于操作,针对第一场景实时采集N+1个图像。

可选的,终端的移动速度小于等于预设速度。

可选的,预设神经网络用于结合历史网络层的特征图,对待处理图像的白平衡增益进行预测,以保证时域相邻图像的白平衡一致性;其中,历史网络层是预测在待处理图像之前且与待处理图像时域连续的图像的白平衡增益时所使用的网络层。

可选的,预设神经网络基于预设约束条件训练得到;其中,预设约束条件包括:用于模拟时域连续的多个图像的白平衡增益预测值一致。

可选的,处理单元222在对于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像的方面,具体用于:将N+1个图像中的第j个图像输入到预设神经网络,得到第j个图像的白平衡增益预测值;其中,2≤j≤N-1,j是整数。将第j个图像的白平衡增益预测值作用于第j个图像,得到第j个图像对应的优化图像;其中,N个优化图像包括第j个图像对应的优化图像。

在另一些实施例中:

采集单元221,用于针对第一场景实时采集N+1个图像,N+1个图像中均包括目标主体;其中,在采集N+1个图像的过程中,终端距离目标主体越来越近;N是大于等于1的整数。N+1个图像中的第一个图像由终端的第一摄像头采集得到,N+1个图像中的后N个图像中的部分或全部图像由终端的第二摄像头采集得到,第二摄像头的倍率小于第一摄像头的倍率。N+1个图像中后采集的N个图像中目标主体的大小小于或等于N+1个图像中采集的第一个图像中的目标主体的大小。处理单元222,用于执行以下步骤:对于后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像;预设神经网络用于保证时域相邻图像的白平衡一致性。对N个优化图像进行放大并裁剪,得到N个目标图像,N个目标图像中的目标主体的大小与N+1个图像中采集的第一个图像中目标主体的大小一致,该N个目标图像中目标主体的相对位置,与第一个图像中目标主体的相对位置一致。该N个目标图像与第一个图像的大小一致。基于该N个目标图像和第一个图像,生成希区柯克变焦视频。例如,结合图25,采集单元221可以用于执行S401,处理单元222可以用于执行S402-S404。

可选的,后采集的N个图像包括在前采集的N1个图像和在后采集的N2个图像,其中,N1个图像由第二摄像头采集得到,N2个图像由终端的第三摄像头采集得到;N1和N2均是大于等于1的整数。

可选的,采集单元221在针对第一场景采集N+1个图像的方面,具体用于:获取N+1个图像中的第i个图像的拍摄倍率,其中,2≤i≤N,i是整数;如果第i个图像的拍摄倍率在第一拍摄倍率范围内,则基于第二摄像头针对第一场景采集N+1个图像中的第i+1个图像。如果第i个图像的拍摄倍率在第二拍摄倍率范围内,则基于第三摄像头针对第一场景采集N+1个图像中的第i+1个图像。其中,第二摄像头的倍率是b,第三摄像头的倍率是c;b>c;第一拍摄倍率范围是大于等于b的范围;第二拍摄倍率范围是[c,b)。

可选的,第i个图像的拍摄倍率是基于第i个图像中目标主体的大小相对于第一个图像中目标主体的大小的缩放倍率,和采集第一个图像的摄像头的倍率确定的。

可选的,第i个图像中的目标主体的大小通过以下至少一个特征来表征:第i个图像中的目标主体的宽度,第i个图像中的目标主体的高度,第i个图像中的目标主体的面积,或者,第i个图像中的目标主体的所占的像素点的数量。

可选的,处理单元222还用于,采用实例分割算法从第i个图像中提取目标主体,以确定第i个图像中的目标主体的大小。

可选的,显示单元223,用于在当前预览界面中,显示第一信息,第一信息用于指示停止拍摄希区柯克变焦视频。

可选的,显示单元223,用于在当前预览界面中,显示第二信息,第二信息用于指示目标主体静止。

可选的,显示单元223,用于在当前预览界面中,显示第三信息,第三信息用于指示目标主体在当前预览图像的中央。

可选的,采集单元221具体用于:在目标主体在当前预览图像的中央时,采集第一个图像。

可选的,显示单元223,用于显示用户界面,用户界面中包含第二控件,第二控件用于指示由远及近拍摄希区柯克变焦视频;以及接收针对第二控件的操作。采集单元221具体用于,响应于操作,针对第一场景采集N+1个图像。

可选的,终端的移动速度小于等于预设速度。

可选的,预设神经网络用于结合历史网络层的特征图,对待处理图像的白平衡增益进行预测,以保证时域相邻图像的白平衡一致性;其中,历史网络层是预测在待处理图像之前且与待处理图像时域连续的图像的白平衡增益时所使用的网络层。

可选的,预设神经网络基于预设约束条件训练得到;其中,预设约束条件包括:用于模拟时域连续的多个图像的白平衡增益预测值一致。

可选的,对于N+1个图像中后采集的N个图像,基于预设神经网络进行白平衡处理,得到N个优化图像,包括:将N+1个图像中的第j个图像输入到预设神经网络,得到第j个图像的白平衡增益预测值;其中,2≤j≤N-1,j是整数。将第j个图像的白平衡增益预测值作用于第j个图像,得到第j个图像对应的优化图像;其中,N个优化图像包括第j个图像对应的优化图像。

在另一些实施例中:

采集单元221包括第一摄像头和第二摄像头,第一摄像头的倍率与第二摄像头的倍率不同。采集单元221,用于通过第一摄像头和第二摄像头在第一时刻针对第一场景分别采集第一图像和第二图像;其中,第一图像和第二图像中均包含目标主体。处理单元222,用于执行以下步骤:基于视频的预设播放时长和预设播放帧率,确定第一图像和第二图像之间的待插入图像的帧数N;其中,N是大于等于1的整数。基于帧数N、第一图像和第二图像,确定N个待插入图像。基于第一图像、第二图像和待插入图像,生成视频;其中,该视频的各图像中目标主体的大小逐渐变大或逐渐变小。例如,结合图27,采集单元221可以用于执行S500,处理单元222可以用于执行S501-S503。

可选的,采集单元221还包括第三摄像头,第三摄像头的倍率在第一摄像头与第二摄像头的倍率之间。采集单元221还用于,通过第三摄像头在第一时刻针对第一场景采集第三图像;其中,第三图像包含目标主体。处理单元222在基于帧数、第一图像中的目标主体的大小和第二图像中的目标主体的大小,确定N个待插入图像的方面,具体用于:基于帧数N、第一图像和第二图像,确定N个待插入图像的方面,具体用于:基于帧数N、第一图像、第二图像和第三图像,确定N个待插入图像。

关于上述可选方式的具体描述可以参见前述的方法实施例,此处不再赘述。此外,上述提供的任一种终端220的解释以及有益效果的描述均可参考上述对应的方法实施例,不再赘述。

作为示例,结合图1,上述采集单元可以通过摄像头193实现。上述处理单元222的功能,均可以通过处理器110调用存储内部存储器121中的程度代码实现。

本申请另一实施例还提供一种终端,包括:处理器、存储器和摄像头,摄像头用于采集图像,存储器用于存储计算机程序和指令,处理器用于调用计算机程序和指令,与摄像协同执行上述方法实施例所示的方法流程中该终端执行的相应步骤。

本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在终端执行上述方法实施例所示的方法流程中该终端执行的各个步骤。

在一些实施例中,所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。

应该理解,这里描述的布置仅仅是用于示例的目的。因而,本领域技术人员将理解,其它布置和其它元素(例如,机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用,并且一些元素可以根据所期望的结果而一并省略。另外,所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

77页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:数字人视频生成方法、装置、电子设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类