具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1是本申请实施例提供的电子设备的结构示意图。该电子设备100可以用于执行本申请实施例提供的图像处理方法。如图1所示，该电子设备100包括：一个或多个处理器102、一个或多个存储处理器可执行指令的存储器104。其中，所述处理器102被配置为执行本申请下述实施例提供的图像处理方法。

所述处理器102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备100中的其它组件的数据进行处理，还可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

在一实施例中，图1所示电子设备100还可以包括输入装置106、输出装置108以及数据采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备100也可以具有其他组件和结构。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。所述数据采集装置110可以采集对象的图像，并且将所采集的图像存储在所述存储器104中以供其它组件使用。示例性地，该数据采集装置110可以为摄像头。

在一实施例中，用于实现本申请实施例的图像处理方法的示例电子设备100中的各器件可以集成设置，也可以分散设置，诸如将处理器102、存储器104、输入装置106和输出装置108集成设置于一体，而将数据采集装置110分离设置。

在一实施例中，用于实现本申请实施例的图像处理方法的示例电子设备100可以被实现为诸如智能手机、平板电脑、智能手表、车载设备等智能终端。

图2是本申请实施例提供的一种图像处理方法的流程示意图。如图2所示，该方法包括以下步骤S210-步骤S240。

步骤S210：获取待处理图像。

其中，待处理图像可以是拍摄的原始图像，也可以是原始图像经过预处理后得到的图像。预处理过程可以参见下文，在此不再赘述。带有摄像头的电子设备对拍摄的原始图像经过预处理后可以得到所述待处理图像。待处理图像也可以直接从外部设备获取或提前存储在本地。

步骤S220：对所述待处理图像进行边缘检测，生成边缘图。

所谓边缘是指其周围像素灰度急剧变化的那些像素的集合，它是图像最基本的特征。边缘存在于目标、背景和区域之间。边缘检测可以采用现有的边缘检测方法，边缘检测的主要工具是边缘检测模板，常用的边缘检测模板有DOG(高斯差分边缘检测)算子、Roberts(罗伯茨)算子、Sobel(索贝尔)算子和Prewitt算子等。

边缘图是对待处理图像进行边缘提取后得到的图像，用于指示待处理图像中灰度急剧变化的点。

在一实施例中，可以利用DOG算子进行待处理图像的边缘检测。如图3所示，(A)的σ组合为(1.1，1.1)，(B)的σ组合为(0.3，0.4)，可以发现大的σ组合会过滤掉很多细碎的噪声，小的σ组合会保留更多的细节。故在一实施例中，可以通过参数搜索的方法确定DOG算子的目标参数(即σ组合)，并基于DOG算子的目标参数对所述待处理图像进行边缘检测，生成边缘图。目标参数可以认为是可以过滤掉很多细碎噪声又可以保留更多细节的σ参数。

步骤S230：根据所述边缘图的梯度方向和梯度强度，将所述待处理图像划分为多种类别的纹理区域。

每个像素点的梯度方向与边缘的方向垂直，梯度方向可以用相对x轴正方向的角度值表示；每个像素点的梯度强度可以是边缘图中该像素点的灰度值。根据边缘图中每个像素点的梯度方向和梯度强度，可以做出如下划分：

表1纹理区域类别表

不同类别的纹理区域包括重复纹理区域、噪声区域、强边缘区域和弱边缘区域中的一种或几种。

这样的划分主要是想把噪声区域划分出来，主要利用的是噪声的无向性，具体来说，就是噪声通常有两个特点，其一是强度较低，其二局部的梯度方向是乱序(方差较大)，利用这两个特点，可以将噪声和重复纹理区域区分开。同时只有噪声的区域是平坦区域，弱边缘区域通常是梯度的响应强度低，但是局部的梯度方向是有主方向的(方差较小)，由此也可将噪声区域和弱边缘区域区分开。

据此，在一实施例中，如图4所示，上述步骤S230具体包括以下步骤S231-步骤S232。

步骤S231：根据单位区域内每个像素点的梯度方向和梯度强度，计算所述单位区域内梯度方向的局部方差和所述单位区域内梯度强度的局部均值。

其中，单位区域可以是若干像素点，例如3×3的像素区域。局部方差是指单位区域内梯度方向的方差值。局部均值是指单位区域内梯度强度的均值。

步骤S232：根据每个单位区域内所述梯度方向的局部方差和所述梯度强度的局部均值，将所述待处理图像划分为多种类别的纹理区域。

由于噪声区域和重复纹理区域是无方向性的(即乱序)，因此局部方差较大的单位区域可以认为可能是噪声区域或重复纹理区域。由于噪声区域的梯度强度较弱，故如果单位区域的梯度强度的均值较小，可以确定单位区域是噪声区域，而非重复纹理区域。

在一实施例中，可以为局部方差和局部均值设置相应的阈值。将待处理图像中局部方差大于第一阈值且局部均值大于第二阈值的单位区域标记为重复纹理区域；将局部方差大于第一阈值且局部均值小于等于第二阈值的单位区域标记为噪声区域；将局部方差小于等于第一阈值且局部均值大于第二阈值的单位区域标记为强边缘区域；将局部方差小于等于第一阈值且局部均值小于等于第二阈值的单位区域标记为弱边缘区域。

举例来说，可以生成纹理掩膜图像，用不同颜色表示不同的纹理区域。红色代表强边缘区域，绿色代表重复纹理区域，蓝色代表弱边缘区域，黑色代表噪声区域。

步骤S240：针对不同类别的纹理区域，通过不同的锐化强度进行锐化处理，得到清晰化图像。

锐化处理是指补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，分为空间域处理和频域处理两类。图像锐化是为了突出图像上的地物的边缘、轮廓，或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强。

锐化强度是指锐化权重的大小。锐化强度大，则边界更明显。分区域进行不同强度的锐化，可以在降低噪声的同时，保留更多细节。清晰化图像是指对待处理图像进行锐化处理后得到的图像，为进行区分，称为清晰化图像。

具体的，可以在噪声区域使用较弱的锐化，减低锐化放大噪声使的平坦区域看起来比较杂乱的负向影响。弱边缘区域需要比较大的锐化，保证这些不显性的边缘看着会更锐利，从视觉的方面使图片看起来更有细节。

故本申请上述实施例提供的技术方案，通过对待处理图像进行边缘检测，生成边缘图，根据边缘图的梯度方向和梯度强度，将待处理图像划分为多种类别的纹理区域，进而对于不同的纹理区域可以采用不同的锐化强度进行锐化处理，可以噪声区域可以减弱锐化，保证噪声不会被锐化放大，弱边缘区域可以加强锐化，使边缘更明显，从而使图像更清晰。

在一实施例中，如图5所示，在上述步骤S230之后，在步骤240之前，本申请实施例提供的方法还包括:步骤S501。

步骤S501：当待处理图像包含重复纹理区域时，对所述重复纹理区域利用参考图像进行替换，得到更新后的重复纹理区域。

其中，参考图像是指参考帧中的重复纹理区域。参考帧可以认为是与待处理图像同时拍摄的清晰度最高的一张图像，也即参考帧的清晰度比待处理图像的清晰度高。

待处理图像的重复纹理区域用参考图像进行替换，保证进入锐化之前的图可以保留更多的信息，补偿降噪带来的影响，减少在细节损失图上做锐化带来的黑白边。

在一实施例中，上述步骤S240具体包括：根据不同类别的纹理区域对应配置的锐化参数，将所述待处理图像中每种类别的纹理区域按照对应的锐化参数进行锐化处理。

图6是不同类别的纹理区域的锐化参数示意图。纵轴表示锐化权重，横轴表示灰度值。如图6所示，601表示噪声区域的锐化参数，602表示弱边缘区域的锐化参数，603表示重复纹理区域的锐化参数，604表示强边缘区域的锐化参数。不同类别的纹理区域的锐化参数可以提前配置好并存储在电子设备中。

故对于待处理图像中的噪声区域可以基于601的锐化参数进行锐化区域。对于待处理图像中的弱边缘区域可以基于602的锐化参数进行锐化处理。对于待处理图像中的重复纹理区域可以基于603的锐化参数进行锐化处理，对于待处理图像中的强边缘区域可以基于604的锐化参数进行锐化处理，故噪声区域采用较弱的锐化强度，从而避免锐化放大噪声。弱边缘区域和重复纹理区域采用较强的锐化强度，可以使边界更清晰，进而使最终的图像更清晰。

图7是本申请另一实施例提供的图像处理方法的流程示意图，如图7所示，该方法可以包括以下过程：

①清晰度选帧：获取多帧拍摄图像，从所述多帧拍摄图像中选取参考帧，剩余的拍摄图像为目标帧；

其中，参考帧可以是多帧拍摄图像中全图sobel响应最高的图像。全图sobel响应最高的图像可以认为是全图梯度强度的均值最大的拍摄图像。为进行区分，多帧拍摄图像中除参考帧以外的其他图像可以称为目标帧。

②对齐：以所述参考帧为基础，对多个所述目标帧进行对齐。

其中，对齐算法可以使用经典的ECC算法，利用单个homography矩阵(单应性矩阵)来完成图像的对齐，基于单应性矩阵对目标帧进行变换，为了防止多次上采样带来的精度损失，在图片对齐过程中，可以调整图片对齐使用的单应性矩阵的scale系数，即将缩放因子调整为期望的上采样倍数。从而在计算对齐需要的插值过程中，直接进行上采样(bicubic)，避免对齐一次插值，后续的上采样再一次插值的多次插值带来的精度损失。

③多帧融合：将对齐后的多个所述目标帧与所述参考帧进行融合，获得所述待处理图像。

其中，对齐后的多帧拍摄图像进行融合后，可以得到一帧待处理图像。举例来说，可以逐个像素点计算对齐后的多帧拍摄图像的灰度均值，作为该像素点的灰度值，从而得到新的图像，作为待处理图像。

如图7所示，在多帧融合过程中，还可以结合④去重影步骤。

在一实施例中，可以逐像素点计算对齐后的目标帧与所述参考帧之间的像素差异；将所述像素差异与预设门限值进行比较，确定所述目标帧中像素差异小于门限值的融合区域。

具体的，通过计算每个目标帧和参考帧之间逐个像素点的灰度之差(即像素差异)，利用这个差异值和设定的门限值进行比较，可以寻找到目标帧中和参考帧差异较大的区域，这些区域不做多帧融合，从而避免了重影的产生。而目标帧中像素差异小于门限值的区域，可以称为融合区域，可以进行多帧融合。

之后根据所述融合区域中每个像素点对应的所述像素差异，为每个像素点生成相应的融合权重；针对每个像素点，将所述参考帧与所述融合区域按照相应的融合权重进行融合，获得所述待处理图像。

多帧融合过程中，可以根据目标帧和参考帧之间的像素差异，再利用高斯权重来映射这些差异值，使得和参考帧差距较大的像素点融合的比例较小，和参考帧越相似的像素点融合权重越大。即像素差异较大的像素点对应的融合权重较大，像素差异较小的像素点的融合权重较小。

之后，逐个像素点，将参考帧与每个目标帧的融合区域，按照相应的融合权重进行灰度值加权相加，得到一张新的图像。在一实施例中，该新的图像可以作为待处理图像。

从而保证运动的物体在最终的结果中不会出现重影，对于超分任务中比较难处理的重复纹理区域，通过多帧融合可以保留各帧中的细节和亚像素，同时可以起到降噪的作用。

在一实施例中，针对每个像素点，将所述参考帧与所述融合区域按照相应的融合权重进行融合，得到第一中间图像。即多帧融合后的图像可以做进一步预处理后再作为待处理图像。故为进行区分，多帧融合且去重影后得到的图像可以称为第一中间图像。如图7所示，⑤可以进行判断第一中间图像的感光度是否大于标准值。由于图像融合并不会影响图像的感光度，因此第一中间图像的感光度即采集多帧拍摄图像时相机的感光度(ISO)。若所述感光度大于标准值，⑥对所述第一中间图像进行单帧降噪，得到所述待处理图像。其中，单帧降噪可以采用现有的降噪方式，例如均值滤波器去噪、小波去噪等。相反的，如果感光度小于等于标准值，可以将第一中间图像作为待处理图像，执行上述步骤S210-步骤S240。

在一实施例中，如图7所示，⑦可以先将待处理图像，生成纹理强度掩膜图。即将待处理图像划分个多种类别的纹理区域。⑧对重复纹理区域回贴参考帧。⑨对于不同的纹理区域采用不同的锐化强度进行锐化处理。

在一实施例中，如图7所示，可以进一步将锐化处理后得到的清晰化图像进行对比度拉伸(⑩)，得到第二清晰图像。对所述第二清晰图像进行饱和度调整得到第三清晰图像。

需要说明的是，为进行区分，分区域锐化处理后得到的图像称为清晰化图像，对清晰化图像进行对比度拉伸得到的图像称为第二清晰图像，对第二清晰化图像进行饱和度调整得到的图像称为第三清晰图像。对比度拉伸可以采用经典的CLAHE算法，饱和度调整主要是因为整个图像处理过程是基于YUV图的Y(明亮度，即灰阶值)通道进行的，过程中会改变Y通道的强度，进而影响Y和UV(色度)的比例关系，导致饱和度变低，为了补偿这个过程，可以根据最后输出图Y通道的值和输入图Y通道的值来调整UV通道的值，保证Y-U-V三个通道的比值关系保持不变，进而达到饱和度补偿的目的，最后得到的图像，可以称为第三清晰图像。

下述为本申请装置实施例，可以用于执行本申请上述图像处理方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请图像处理方法实施例。

图8为本申请一实施例示出的图像处理装置的框图。如图8所示，该装置包括：图像获取模块810、边缘检测模块820、区域划分模块830以及分区锐化模块840。

图像获取模块810，用于获取待处理图像；

边缘检测模块820，用于对所述待处理图像进行边缘检测，生成边缘图；

区域划分模块830，用于根据所述边缘图的梯度方向和梯度强度，将所述待处理图像划分为多种类别的纹理区域；

分区锐化模块840，用于针对不同类别的纹理区域，通过不同的锐化强度进行锐化处理，得到清晰化图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述图像处理方法中对应步骤的实现过程，在此不再赘述。

在一实施例中，所述不同类别的纹理区域包括重复纹理区域、噪声区域、强边缘区域和弱边缘区域中的一种或几种。

在一实施例中，所述区域划分模块830包括：

计算单元，用于根据单位区域内每个像素点的梯度方向和梯度强度，计算所述单位区域内梯度方向的局部方差和所述单位区域内梯度强度的局部均值；

区域划分单元，用于根据每个单位区域内所述梯度方向的局部方差和所述梯度强度的局部均值，将所述待处理图像划分为多种类别的纹理区域。

在一实施例中，所述区域划分单元具体用于执行以下步骤中的一步或多步：

将所述待处理图像中所述局部方差大于第一阈值且所述局部均值大于第二阈值的单位区域标记为重复纹理区域；

将所述局部方差大于第一阈值且所述局部均值小于等于第二阈值的单位区域标记为噪声区域；

将所述局部方差小于等于第一阈值且所述局部均值大于第二阈值的单位区域标记为强边缘区域；

将所述局部方差小于等于第一阈值且所述局部均值小于等于第二阈值的单位区域标记为弱边缘区域。

在一实施例中，所述装置还包括纹理替换模块，用于当所述待处理图像包含重复纹理区域时，对所述重复纹理区域利用参考图像进行替换，得到更新后的重复纹理区域。参考图像是指参考帧中的重复纹理区域，参考帧是指清晰度大于待处理图像的一帧图像。

在一实施例中，所述分区锐化模块840具体用于：根据不同类别的纹理区域对应的锐化参数，将所述待处理图像中每种类别的纹理区域按照对应的锐化参数进行锐化处理。

在一实施例中，所述图像获取模块810包括：

图像采集单元，用于获取多帧拍摄图像；

帧选取单元，用于从所述多帧拍摄图像中选取参考帧，剩余的拍摄图像为目标帧；

对齐单元，用于以所述参考帧为基础，对多个所述目标帧进行对齐；

融合单元，用于将对齐后的多个所述目标帧与所述参考帧进行融合，获得所述待处理图像。

在一实施例中，对齐单元具体用于：针对每个所述目标帧，根据所述目标帧映射到所述参考帧的单应性矩阵，对所述目标帧进行变换；其中，所述单应性矩阵的缩放因子为上采样倍数。

在一实施例中，融合单元具体用于：逐像素点计算对齐后的目标帧与所述参考帧之间的像素差异；

将所述像素差异与门限值进行比较，确定所述目标帧中像素差异小于门限值的融合区域；

根据所述融合区域中每个像素点对应的所述像素差异，为每个像素点生成相应的融合权重；

针对每个像素点，将所述参考帧与所述融合区域按照相应的融合权重进行融合，获得所述待处理图像。

在一实施例中，所述融合单元具体用于：

将对齐后的多个所述目标帧与所述参考帧进行融合，得到第一中间图像；

判断所述第一中间图像的感光度是否大于标准值；

若所述感光度大于标准值，对所述第一中间图像进行单帧降噪，得到所述待处理图像。

在一实施例中，所述装置还包括：

对比度拉伸模块，用于将所述锐化处理后得到的清晰化图像进行对比度拉伸，得到第二清晰图像。

在一实施例中，所述装置还包括：

饱和度调整模块，用于对所述第二清晰图像进行饱和度调整，得到第三清晰图像。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。