阅读说明：本技术 图像处理方法、装置、图像拍摄设备及移动终端 (Image processing method and device, image shooting equipment and mobile terminal ) 是由 李广 李静 郭浩铭 于 2019-08-14 设计创作，主要内容包括：本申请实施例提供一种图像处理方法、装置、图像拍摄设备及移动终端,该方法包括：对待处理图像进行分解,得到两个以上不同频段的层,确定各层的曝光补偿参数,并使用曝光补偿参数对各层进行曝光补偿处理,基于曝光补偿处理后的各层进行图像重建,得到目标图像。该方法能够对于图像全局进行更加平滑的曝光补偿,从而能够对齐全局图像的亮度差异,进而极大提升图像的拍摄质量。(The embodiment of the application provides an image processing method, an image processing device, an image shooting device and a mobile terminal, wherein the method comprises the following steps: decomposing an image to be processed to obtain more than two layers with different frequency bands, determining exposure compensation parameters of each layer, performing exposure compensation processing on each layer by using the exposure compensation parameters, and performing image reconstruction on each layer after the exposure compensation processing to obtain a target image. The method can perform smoother exposure compensation on the image overall situation, so that the brightness difference of the overall image can be aligned, and the shooting quality of the image is greatly improved.)

图像处理方法、装置、图像拍摄设备及移动终端

技术领域

本申请实施例涉及计算机技术，尤其涉及一种图像处理方法、装置、图像拍摄设备及移动终端。

背景技术

目前的一些成像设备能够支持拍摄全景图像。全景图像是通过拼接多幅不同角度拍摄的图像，将这些图像融合为一幅大视场角或360度全视场角的图像。由于全景图像是在不同角度拍摄的，因此，一副全景图像中可能同时涉及顺光、逆光、天空、地面等场景，针对这些场景所需要使用的曝光值可能并不相同，而同时，全景图像又需要满足图像亮度的拼接平滑以及图像主体亮度的一致性。

现有技术中，为了满足全景图像的图像亮度的拼接平滑以及图像主体亮度的一致性，可以使用锁曝光的方式拍摄全景图像。在锁曝光的方式中，形成全景图像的每幅图像均使用相同的曝光值。

但是，现有技术的方法可能导致全景图像中的部分景出现过曝光或欠曝光的情况，导致全景图像的图像质量差。

发明内容

本申请实施例提供一种图像处理方法、装置、图像拍摄设备及移动终端，用以提升全景图像的图像质量。

第一方面，本申请实施例提供一种图像处理方法，该方法包括：对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。

在该方法中，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。

第二方面，本申请实施例提供一种图像处理装置，包括：

分解模块，用于对待处理图像进行分解，得到两个以上不同频段的层；

确定模块，用于确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；

重建模块，用于基于曝光补偿处理后的各层进行图像重建，得到目标图像。

第三方面，本申请实施例提供一种图像拍摄设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，执行如下操作：

对待处理图像进行分解，得到两个以上不同频段的层；

确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；

基于曝光补偿处理后的各层进行图像重建，得到目标图像。

第四方面，本申请实施例提供一种移动终端，包括：

机体；

图像拍摄设备，所述图像拍摄设备安装在所述机体上；

所述图像拍摄设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，执行如下操作：

对待处理图像进行分解，得到两个以上不同频段的层；

确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；

基于曝光补偿处理后的各层进行图像重建，得到目标图像。

第五方面，本申请实施例提供一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，执行：

对待处理图像进行分解，得到两个以上不同频段的层；

确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理；

基于曝光补偿处理后的各层进行图像重建，得到目标图像。

本申请实施例所提供的图像处理方法、装置、图像拍摄设备及移动终端，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的流程示意图；

图2为本申请实施例提供的图像处理方法的流程示意图；

图3为基于本申请实施例得到全景图像的处理示意图；

图4为本申请实施例提供的图像处理装置的模块结构图；

图5为本申请实施例提供的图像处理装置的模块结构图；

图6为本申请实施例提供的图像拍摄设备的结构示意图；

图7为本申请实施例提供的移动终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提出一种图像处理方法，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。

图1为本申请实施例提供的图像处理方法的流程示意图，该方法的执行主体为任何具有图像处理能力的电子设备。如图1所示，该方法包括：

S101、对待处理图像进行分解，得到两个以上不同频段的层。

待处理图像可以为单幅，即对单张图像进行分解得到两个以上不同频段的层，从而对单张图像的不同区域进行不同的曝光补偿处理；而可选的，本申请实施例的方法也可以应用于全景图像处理场景中，在该场景中，成像设备从各角度分别拍摄图像，得到多幅图像。其中，该多幅图像为本步骤中的待处理图像，即对于该多幅图像中的每幅图像，分别按照频段进行分解，得到两个以上不同频段的层。

值得说明的是，上述多幅图像中的每幅图像所分解的层的数量相同，每一层对应的频段相同。

可选的，在全景图像处理场景中，成像设备拍摄的图像需要两两之间存储重叠区域以完成全景融合，因此，上述待处理图像为若干两两存在重叠区域的图像。

作为一种示例，上述按照频段进行分解时，分解方式具体可以为拉普拉斯分解或高斯分解。通过拉普拉斯分解或高斯分解，可以将一幅图像分解到不同的频段上，每个频段对应一个层。

在本步骤中，使用拉普拉斯分解或高斯分解方式分别将上述多幅图像中的每幅图像进行分解，得到多个层，在每个层中，包含各幅图像在该层对应频段下的多幅图像。通过该预处理，可以令各幅图像的分解结果对齐到相应频段，为下一步的各层进行曝光补偿处理做准备。

S102、确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理。

在将待处理图像分解为不同频段的层之后，可以分别确定各层的曝光补偿参数，从而使得各层中的各幅图像分别具有各自的曝光补偿参数，使用这些曝光补偿参数分别对各层进行曝光补偿处理。较之对待处理图像的全画面进行统一的曝光补偿或曝光值调节，对各层各自确定曝光补偿参数并分别进行曝光补偿处理能够对图像的暗部或亮部进行单独加强，防止局部过曝或过暗，避免照片泛白、细节丢失，带来更好的观感体验。

S103、基于曝光补偿处理后的各层进行图像重建，得到目标图像。

示例性的，在全景图像处理场景下，成像设备捕获到多幅图像，在经过前述步骤对多幅图像所分解的各层进行曝光补偿之后，可以对曝光补偿之后的图像进行重建，以得到一幅完整的全景图像。

在图像处理中，对待处理图像的全画面进行统一的曝光补偿或曝光值调节时，一旦曝光过度，后期无法还原，只能修复，若是曝光不足，也会造成大量细节的丢失，所以本实施例中，通过将图像分解为不同频段的层，针对每层分别使用该层的曝光补偿参数进行曝光补偿处理，并对补偿后的各层进行图像重建，该方法能够对于图像全局进行更加平滑的曝光补偿，从而能够对齐全局图像的亮度差异，进而极大提升图像的拍摄质量。

在一种可选的实施方式中，上述步骤S102中在确定各层的曝光补偿参数时，可以按照如下方式中的任意一种进行。

第一种方式中，根据第一中间图像和第二中间图像重叠区域的像素数量以及该重叠区域像素值的平均信息，确定第一中间图像的曝光补偿参数。

第二种方式中，根据第一中间图像和第二中间图像重叠区域的像素数量、该重叠区域像素值的平均信息、误差的标准偏差以及增益的标准偏差，确定第一中间图像的曝光补偿参数。

其中，上述两种方式中的第一中间图像和第二中间图像为同一层中任意两个存在重叠区域的中间图像。

采用第一种方式，在待处理图像的各局部曝光情况相差不大时，采用该方法可以有效节约处理资源，同时确保整体的曝光补偿效果。采用第二种方式，进一步通过某一个时段内误差上下波动的幅度的统计、增益数据离散程度的停机，从而对于不同区域曝光情况差别较大的待处理图像具有更佳的补偿效果，且能保留尽可能多的特定细节，同时满足图像处理的个性化需求。

在得到一个层中各图像的曝光补偿参数后，可以将这些曝光补偿参数作为该层的曝光补偿参数。

可选的，在上述两种方式中，第一中间图像和第二中间图像重叠区域的像素数量可以通过遍历重叠区域的像素，并统计重叠区域的像素数量来获得。通过该方法，可以求得中间图像的最佳曝光参数。

可选的，在上述两种方式中，重叠区域的像素值的平均信息可以包括重叠区域所有像素值的平均欧氏距离，或者，可以包括重叠区域所有像素值的均值以及重叠区域所有像素值的均方差。令重叠区域的像素值的平均信息包括重叠区域所有像素值的平均欧氏距离，可以通过接近真实的数据得出曝光补偿参数；而通过令重叠区域的像素值的平均信息包括重叠区域所有像素值的均值以及重叠区域所有像素值的均方差，可以进一步完善重叠区域的像素值的平均信息的处理方式，避免较大误差值带来的影响。具体的，以分解方式为拉普拉斯分解为例，待处理图像可以分解为拉普拉斯金字塔，金字塔的每一层对应一个频段。对于除最高层外的各层，重叠区域的像素值的平均信息可以包括重叠区域所有像素值的平均欧氏距离，通过该平均欧氏距离计算各层中各图像的曝光补偿参数。金字塔的最高层为高斯层，对于该最高层，可以重叠区域的像素值的平均信息可以包括重叠区域所有像素值的均值和均方差，通过该均值和均方差计算高斯层中各图像的曝光补偿参数。

可选的，当重叠区域的像素值的平均信息包括重叠区域所有像素值的均值以及重叠区域所有像素值的均方差时，可以分别将该均值和该均方差计算出两个曝光补偿参数，为便于区分，将由均值得到的曝光补偿参数称为第一曝光补偿参数，将由均方差得到的曝光补偿参数称为第二曝光补偿参数。进而，在使用曝光补偿参数对各层进行曝光补偿时，可以根据该第一曝光补偿参数和该第二曝光补偿参数对各层进行曝光补偿。

示例性的，可以对第一曝光补偿参数和第二曝光补偿参数取均值，并使用该均值进行曝光补偿。或者，可以对第一曝光补偿参数和第二曝光补偿参数分别进行加权计算，并将加权计算后的结果求和，使用求和结果进行曝光补偿。

作为一种可选的实施方式，本申请实施例的分解方式还可以为基于交直流分解的方式。在该分解方式中，可以将待处理图像分解为2层，分别为图像直流分量层和图像交流分量层。以使用前述的第二种方式确定各层中各中间图像的曝光补偿参数为例，可以基于直流分量层中各中间图像重叠区域所有像素的均值和标准均方差，计算直流分量层中各图像的曝光补偿参数，得到直流分量层的曝光补偿参数，并交流分量层中各中间图像重叠区域所有像素的均值和标准均方差，得到交流分量层的曝光补偿参数。进而，在进行补偿处理时，可以分别将直流分量层的图像与直流分量层的曝光补偿参数相乘，以及将交流分量层的图像与交流分量层的曝光补偿参数相乘，将相乘的结果整合为一幅图像。

基于交直流分解的方式可以视作本申请中的一种简化方式或退化方案，该方式无需在曝光补偿阶段将图像分解为多层或进行拉普拉斯分解，同时，统计和计算的补偿参数也更少，却在特定场景下可以达到近似完全方案的补偿效果，可以有效节省处理资源。在一种可选的实施方式中，在通过前述的过程得到曝光补偿参数后，可以处理曝光补偿参数，使其生成大于或等于1的增益曝光补偿参数，并使用该增益曝光补偿参数对各层进行曝光补偿处理。

图2为本申请实施例提供的图像处理方法的流程示意图，如图2所示，处理曝光补偿参数并进行曝光补偿的处理的过程包括：

S201、确定各层的曝光补偿参数中的最小曝光补偿参数。

S202、根据各层的曝光补偿参数与所述最小曝光补偿参数的比值，确定各层的增益曝光补偿参数，使用所述增益曝光补偿参数对各层进行曝光补偿处理。

示例性的，上述过程可以使用下述公式(1)和公式(2)得到。

min_gain＝min(g1-1，g1-2，…，g1-n，g2-1，g2-2，…，g2-n，…gm-1，...gm-n) (1)

gi-j＝gi-j/min_gain (2)

其中，m为对待处理图像分解出的层的数量，n为层m的中间图像的数量。示例性的，g2-1表示层2中的第1幅图像，g2-2表示层2中的第2幅图像，以此类推。

利用上述公式(1)，计算出各层的曝光补偿参数中的最小曝光补偿参数。进而，利用上述公式(2)，计算各层中各中间图像的曝光补偿参数与最小曝光补偿参数的比值，得到各层中各中间图像的增益曝光补偿参数，进而使用该增益曝光补偿参数对各层进行曝光补偿处理。

经过上述过程对曝光补偿参数进行处理之后，可以在不压缩图像信息的同时保留高动态范围，同时扩展了图像位宽。是否压缩图像信息可以在后期处理中根据需求进行选择。

可选的，在上述步骤S103中基于曝光补偿处理后的各层进行图像重建，得到目标图像时，可以使用下述两种方式中的任意一种进行。

第一种方式中，对各图像基于曝光补偿后的层进行图像重建，再对重建后的图像进行图像融合。

以分解方式为拉普拉斯分解为例，将多幅待处理图像分别分解为多层，每层对应一个频段，则对于一幅待处理图像，在每层具有一个特定频段的图像，经过前述处理之后，每层的图像均具有曝光补偿参数，对每层的图像进行曝光补偿处理之后，将各层的图像进行重建，得到一幅待处理图像重建后的图像，对多幅待处理图像均完成图像重建之后，对重建后的多幅待处理图像进行图像融合，即可得到全景图像。

第二种方式中，当融合算法使用多频段融合，则可以先对曝光处理后的各频段的层进行融合，再进行图像重建。

以分解方式为拉普拉斯分解为例，将多幅待处理图像分别分解为多层，每层对应一个频段，每层中包括多幅待处理图像在对应频段下的多幅中间图像，则在该方式中，对属于同一层的各中间图像首先进行图像融合，每层可以得到一幅融合后的图像，再对各层中的融合后的图像进行图像重建，从而得到全景图像。

经过前述实施例所得到的目标图像为高位宽全景图像，这种处理能够保留图像的数据信息和高动态范围。而在相关技术中，全景图像为低位宽图像。

作为一种可选的实施方式，在得到重建后的目标图像后，还可以将该目标图像从第一位宽转换为第二位宽，其中，该第二位宽小于该第一位宽。

经过前述实施例所得到的目标图像为高位宽全景图像，而部分显示屏幕的位宽为低位宽，因此，将目标图像从高位宽转换为低位宽，可以使得显示屏幕可以正常显示全景图像。

可选的，可以通过色调映射，将上述目标图像从第一位宽转换为第二位宽。

示例性的，色调映射的方法例如可以为局部算法、全局算法等，本申请实施例对于色调映射的方式不做限定。通过色调映射，可以使得以人眼视觉为准，保留更多高位宽图像细节到低位宽图像上。

图3为基于本申请实施例得到全景图像的处理示意图，如图3所示，拍摄并得到全景图像的过程依次包括：图像配准、图像合成以及色调映射。其中，在图像配准过程中，图像拍摄设备可以对从不同角度拍摄的图像进行图像配准，得到前述的待处理图像。具体的，图像拍摄设备分别提取不同角度拍摄的图像的特征点，对各角度拍摄的图像的特征点进行特征点匹配，从而得到多幅待处理图像。可选的，图像拍摄设备还可以对图像进行畸变校正，得到校正后的图像。并基于矫正后的图像进行图像配准。在图像合成阶段，分别使用前述的方式对待处理图像进行曝光补偿以及图像融合，具体过程可以参照前述实施例，此处不再赘述。在色调映射阶段，将图像融合所得到的高位宽图像映射为低位宽图像，并将该低位宽图像作为输出的图像。

图4为本申请实施例提供的图像处理装置的模块结构图，如图4所示，该装置包括：

分解模块401，用于对待处理图像进行分解，得到两个以上不同频段的层。

确定模块402，用于确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理。

重建模块403，用于基于曝光补偿处理后的各层进行图像重建，得到目标图像。

图5为本申请实施例提供的图像处理装置的模块结构图，如图5所示，该装置还包括：

转换模块404，用于将上述目标图像从第一位宽转换为第二位宽，其中，第二位宽小于第一位宽。

在一种可选的实施方式中，转换模块404具体用于：

通过色调映射，将上述目标图像从第一位宽转换为第二位宽。

图6为本申请实施例提供的图像拍摄设备的结构示意图，如图6所示，该图像拍摄设备600包括：

存储器601，用于存储计算机程序。

处理器602，用于执行上述计算机程序，执行如下操作：

对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。

继续参照图6，可选的，该图像拍摄设备还可以包括：通信接口603和系统总线604，所述存储器601和所述通信接口603通过所述系统总线604与所述处理器602连接并完成相互间的通信，所述通信接，603用于和其他设备进行通信。

该图6中提到的系统总线可以是外设部件互连标准(peripheral componentinterconnect，PCI)总线或扩展工业标准结构(extended industry standardarchitecture，EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

图7为本申请实施例提供的移动终端的结构示意图，如图7所示，该移动终端包括：机体701和图像拍摄设备702，图像拍摄设备702安装在机体701上。

图像拍摄设备702包括：

存储器7021，用于存储计算机程序。

处理器7022，用于执行上述计算机程序，执行如下操作：

对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。

可选的，该图像拍摄设备还可以包括通信接口、系统总线，该通信接口和系统总线的连接方式、功能描述与上述图6中的通信接口和系统总线一致，可以参照前述的图6中的描述，此处不再赘述。

在一种可选的实施方式中，上述移动终端包括无人飞行器、云台、自动驾驶汽车、手机等的一种或多种。

本申请实施例还提供一种计算机可读存储介质，包括程序或指令，当该程序或指令在计算机上运行时，执行：

对待处理图像进行分解，得到两个以上不同频段的层，确定各层的曝光补偿参数，并使用曝光补偿参数对各层进行曝光补偿处理，基于曝光补偿处理后的各层进行图像重建，得到目标图像。