图像处理方法与装置、终端及可读存储介质

文档序号:490740 发布日期:2022-01-04 浏览:40次 >En<

阅读说明:本技术 图像处理方法与装置、终端及可读存储介质 (Image processing method and device, terminal and readable storage medium ) 是由 林泉佑 于 2021-10-13 设计创作,主要内容包括:本申请提供一种图像处理方法、装置、终端及可读存储介质。图像处理方法包括:第一步骤:获取初始图像,初始图像包括多个大小相同的区块,每个区块包括至少一个像素点。第二步骤:将区块中的任意一个作为目标区块,根据扩充图中与目标区块对应的增益数据及目标区块的噪声水平获取目标区块周围的多个邻接区块的权重值,邻接区块为围绕并相接于目标区块的区块,扩充图的大小与初始图像的大小相同。第三步骤:根据多个权重值对目标区块进行降噪处理。遍历初始图像中的所有区块,将每个区块均作为一次目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像。(The application provides an image processing method, an image processing device, a terminal and a readable storage medium. The image processing method comprises the following steps: the first step is as follows: the method comprises the steps of obtaining an initial image, wherein the initial image comprises a plurality of blocks with the same size, and each block comprises at least one pixel point. The second step is as follows: taking any one of the blocks as a target block, and obtaining the weight values of a plurality of adjacent blocks around the target block according to the gain data corresponding to the target block in the expansion map and the noise level of the target block, wherein the adjacent blocks are blocks surrounding and connected with the target block, and the size of the expansion map is the same as that of the initial image. The third step: and performing noise reduction processing on the target block according to the plurality of weight values. And traversing all blocks in the initial image, taking each block as a target block, and repeatedly executing the second step and the third step to obtain the noise-reduced image.)

图像处理方法与装置、终端及可读存储介质

技术领域

本申请涉及电子技术领域,更具体而言,涉及一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。

背景技术

在图像信号处理(Image Signal Process,ISP)系统中,由于凸透镜的中心区域聚光能力远大于其边缘区域,从而导致传感器中心区域的光线强于边缘区域,因此在ISP系统中,存在一个透镜阴影校正(Lens Shading Correction,LSC)模块,用于提高图像边角的亮度,使得全图的亮度达到近乎一致。但边角区域经过LSC模块提亮之后,噪声会比较明显。

当前针对边角噪声的优化方法是通过计算像素点距离图像中心点的距离,从而调控像素点降噪强度的方法,可以有效地压制边角的噪声,但该方法也会存在以下问题:需要设定在不同距离下的降噪/锐化强度来压制边角噪声,然而,不同场景或不同拍摄条件下,理想的阈值也会不同,因此这个方法需要很多场景进行调试才能获取相对理想的阈值。在采集数据时会遇到一些特殊场景,比如一些亮度闪动很大的场景,其边角的噪声会异常明显。通过少数特定场景调试而获取的参数,很难适配所有的场景,从而会在一些特殊场景中出现降噪/锐化过强或者过弱的情况。

发明内容

本申请实施方式提供一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。

本申请实施方式的图像处理方法包括:第一步骤:获取初始图像,所述初始图像包括多个大小相同的区块,每个所述区块包括至少一个像素点。第二步骤:将所述区块中的任意一个作为目标区块,根据扩充图中与所述目标区块对应的增益数据及所述目标区块的噪声水平获取所述目标区块周围的多个邻接区块的权重值,所述邻接区块为围绕并相接于所述目标区块的区块,所述扩充图的大小与所述初始图像的大小相同。第三步骤:根据多个所述权重值对所述目标区块进行降噪处理。遍历所述初始图像中的所有所述区块,将每个所述区块均作为一次所述目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像。

本申请实施方式的图像处理装置包括降噪模块。降噪模块包括第一获取单元、第二获取单元、降噪单元及第三获取单元。所述第一获取单元用于执行第一步骤:获取初始图像,所述初始图像包括多个大小相同的区块,每个所述区块包括至少一个像素点。所述第二获取单元用于执行第二步骤:将所述区块中的任意一个作为目标区块,根据扩充图中与所述目标区块对应的增益数据及所述目标区块的噪声水平获取所述目标区块周围的多个邻接区块的权重值,所述邻接区块为围绕并相接于所述目标区块的区块,所述扩充图的大小与所述初始图像的大小相同。所述降噪单元用于执行第三步骤:根据多个所述权重值对所述目标区块进行降噪处理。所述第三获取单元用于遍历所述初始图像中的所有所述区块,将每个所述区块均作为一次所述目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像。

本申请实施方式的终端包括一个或多个处理器、存储器及一个或多个程序。其中,一个或多个所述程序被存储在所述存储器中,并且被一个或多个所述处理器执行,所述程序包括用于执行本申请实施方式所述的图像处理方法的指令。所述图像处理方法包括:第一步骤:获取初始图像,所述初始图像包括多个大小相同的区块,每个所述区块包括至少一个像素点。第二步骤:将所述区块中的任意一个作为目标区块,根据扩充图中与所述目标区块对应的增益数据及所述目标区块的噪声水平获取所述目标区块周围的多个邻接区块的权重值,所述邻接区块为围绕并相接于所述目标区块的区块,所述扩充图的大小与所述初始图像的大小相同。第三步骤:根据多个所述权重值对所述目标区块进行降噪处理。遍历所述初始图像中的所有所述区块,将每个所述区块均作为一次所述目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像。

本申请实施方式的非易失性计算机可读存储介质包含有计算机程序,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行如下图像处理方法:第一步骤:获取初始图像,所述初始图像包括多个大小相同的区块,每个所述区块包括至少一个像素点。第二步骤:将所述区块中的任意一个作为目标区块,根据扩充图中与所述目标区块对应的增益数据及所述目标区块的噪声水平获取所述目标区块周围的多个邻接区块的权重值,所述邻接区块为围绕并相接于所述目标区块的区块,所述扩充图的大小与所述初始图像的大小相同。第三步骤:根据多个所述权重值对所述目标区块进行降噪处理。遍历所述初始图像中的所有所述区块,将每个所述区块均作为一次所述目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像。

本申请的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质中,根据扩充图中与目标区块对应的增益数据、目标区块的噪声水平和目标区块的多个邻接区块的权重值对目标区块进行降噪处理,并遍历初始图像中的所有区块,以对初始图像中的每个区块进行降噪处理,获取降噪图像。其中,扩充图中的增益数据与初始图像中的区块对应,即,初始图像中的每个区块均能够在扩充图中找到对应的增益数据,以能够有效地调控初始图像中不同区块的降噪强度,从而更有针对性地压制暗区提亮的噪声,更好地保护初始图像中的细节,避免出现降噪图像中心区域和边角区域的降噪不均匀的现象。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:

图1是本申请某些实施方式的图像处理方法的流程示意图;

图2是本申请某些实施方式的图像处理装置的结构示意图;

图3是本申请某些实施方式的终端的结构示意图;

图4是本申请某些实施方式的图像处理方法的初始图像和扩充图的示意图;

图5是本申请某些实施方式的图像处理方法的流程示意图;

图6是本申请某些实施方式的图像处理方法中获取邻接区块的权重值的第一比值的原理示意图;

图7至图8是本申请某些实施方式的图像处理方法的流程示意图;

图9是本申请某些实施方式的图像处理方法对初始图像中的目标区块进行降噪处理以获取降噪图像的原理示意图;

图10至图12是本申请某些实施方式的图像处理方法的流程示意图;

图13是本申请某些实施方式的图像处理方法对降噪图像中的细节层进行锐化处理的原理示意图;

图14是本申请某些实施方式的图像处理方法的流程示意图;

图15是本申请某些实施方式的图像处理方法中根据GR通道数据和GB通道数据获取扩充图的原理示意图;

图16是本申请某些实施方式的图像处理方法的流程示意图;

图17是本申请某些实施方式的图像处理方法中的扩充图;

图18是本申请某些实施方式的非易失性计算机可读存储介质与处理器的连接示意图。

具体实施方式

下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。

请参阅图1及图4,本申请实施方式提供一种图像处理方法,该图像处理方法包括:

01:第一步骤:获取初始图像P0,初始图像P0包括多个大小相同的区块,每个区块包括至少一个像素点;

02:第二步骤:将区块中的任意一个作为目标区块,根据扩充图A中与目标区块对应的增益数据及目标区块的噪声水平获取目标区块周围的多个邻接区块的权重值,邻接区块为围绕并相接于目标区块的区块,扩充图的大小与初始图像P0的大小相同;

03:第三步骤:根据多个权重值对目标区块进行降噪处理;及

04:遍历初始图像P0中的所有区块,将每个区块均作为一次目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像P1(图6所示)。

请结合图2,本申请还提供一种图像处理装置10,图像处理装置10包括降噪模块11,降噪模块11包括第一获取单元111、第二获取单元113、降噪单元115及第三获取单元117。第一获取单元111用于执行01中的方法,即,第一获取单元111用于执行第一步骤:获取初始图像,初始图像P0包括多个大小相同的区块,每个区块包括至少一个像素点。第二获取单元113用于执行02中的方法,即,第二获取单元113用于执行第二步骤:将区块中的任意一个作为目标区块,根据扩充图A中与目标区块对应的增益数据及目标区块的噪声水平获取目标区块周围的多个邻接区块的权重值,邻接区块为围绕并相接于目标区块的区块,扩充图A的大小与初始图像P0的大小相同。降噪单元115 用于执行03中的方法,即,降噪单元115用于执行第三步骤:根据多个权重值对目标区块进行降噪处理。第三获取单元117用于执行04中的方法,即,第三获取单元117 用于:遍历初始图像P0中的所有区块,将每个区块均作为一次目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像P1。

请结合图3,本申请还提供一种终端100,终端100包括一个或多个处理器30、存储器50和一个或多个程序。其中,一个或多个程序被存储在存储器50中,并且被一个或多个处理器30执行,程序包括用于执行本申请实施方式的图像处理方法的指令。即,一个或多个处理器30执行程序时,处理器30可以实现01、02、03及04中的方法。即,一个或多个处理器30用于执行:第一步骤:获取初始图像P0,初始图像P0包括多个大小相同的区块,每个区块包括至少一个像素点。第二步骤:将区块中的任意一个作为目标区块,根据扩充图A中与目标区块对应的增益数据及目标区块的噪声水平获取目标区块周围的多个邻接区块的权重值,邻接区块为围绕并相接于目标区块的区块,扩充图 A的大小与初始图像P0的大小相同。第三步骤:根据多个权重值对目标区块进行降噪处理。遍历初始图像P0中的所有区块,将每个区块均作为一次目标区块,并重复执行第二步骤及第三步骤,以获取降噪图像P1。

具体地,终端100可以包括但不限于手机、笔记本电脑、智能电视机、平板电脑、智能手表、或电脑等终端设备。图像处理装置10可以是集成在终端100中的功能模块的集成。本申请仅以终端100是手机为例进行说明,终端100是其他类型的设备时的情形与手机类似,不详细展开说明。

在图像信号处理(Image Signal Process,ISP)系统中,由于凸透镜的中心区域聚光能力远大于其边缘区域,从而导致传感器中心区域的光线强于边缘区域,因此在ISP系统中,存在一个透镜阴影校正(Lens Shading Correction,LSC)模块,用于提高图像边角的亮度,使得全图的亮度达到近乎一致。但边角区域经过LSC模块提亮之后,噪声会比较明显。当前针对边角噪声的优化方法是通过计算像素点距离图像中心点的距离,从而调控像素点降噪强度的方法,可以有效地压制边角的噪声,但该方法也会存在以下问题:需要设定在不同距离下的降噪/锐化强度来压制边角噪声,然而,不同场景或不同拍摄条件下,理想的阈值也会不同,因此这个方法需要很多场景进行调试才能获取相对理想的阈值。在采集数据时会遇到一些特殊场景,比如一些亮度闪动很大的场景,其边角的噪声会异常明显。通过少数特定场景调试而获取的参数,很难适配所有的场景,从而会在一些特殊场景中出现降噪/锐化过强或者过弱的情况。

本申请的图像处理方法、图像处理装置10、终端100及非易失性计算机可读存储介质200中,根据扩充图A中与目标区块对应的增益数据、目标区块的噪声水平和目标区块的多个邻接区块的权重值对目标区块进行降噪处理,并遍历初始图像P0中的所有区块,以对初始图像P0中的每个区块进行降噪处理,获取降噪图像P1。其中,扩充图A 中的增益数据与初始图像A中的区块对应,即,初始图像P0中的每个区块均能够在扩充图A中找到对应的增益数据,以能够有效地调控初始图像P0中不同区块的降噪强度,从而更有针对性地压制暗区提亮的噪声,更好地保护初始图像P0中的细节,避免出现降噪图像P1中心区域和边角区域的降噪不均匀的现象。

方法01中,第一获取单元111或处理器30获取初始图像P0,其中,初始图像P0 包括多个大小相同的区块,每个区块至少包括一个像素点。第一获取单元111或处理器 30获取到初始图像P0后,可将初始图像P0划分成多个相同大小的区块,例如,可将初始图像P0划分成3×3个区块、4×4个区块、5×5个区块或者6×6个区块,对此不作限定。具体可根据初始图像P0中的亮区、暗区的分布以及暗区的大小设置区块的数量,从而使得第二获取单元113或处理器30获取得到的多个权重值更有针对性地压制暗区的噪声。例如,如图4所示,初始图像P0包括16个区块,16个区块分别为P0(0, 0)、P0(0,1)、P0(0,2)、P0(0,3)、P0(1,0)、P0(1,1)、P0(1,2)、 P0(1,3)、P0(2,0)、P0(2,1)、P0(2,2)、P0(2,3)、P0(3,0)、P0 (3,1)、P0(3,2)、P0(3,3),区块中包括一个像素点、两个像素点、三个像素点、四个像素点或者四个以上的像素点。

方法02中,将初始图像P0中的任意一个区块作为目标区块,根据扩充图A中与目标区块对应的增益数据及该目标区块的噪声水平获取该目标区块的多个邻接区块的权重值。其中,邻接区块为围绕并相接于目标区块的区块。如图4所示,目标区块为初始图像P0中的区块P0(0,0),则目标区块P0(0,0)的邻接区块分别区块P0(0,1)、区块P0(1,1)和区块P0(1,0)。当目标区块为初始图像P0中的区块P0(1,1) 时,目标区块P0(1,1)的多个邻接区块分别为区块P0(0,0)、区块P0(0,1)、区块P0(0,2)、区块P0(1,2)、区块P0(2,2)、区块P0(2,1)、区块P0(2, 0)、和区块P0(1,0)。当目标区块为区块P0(2,0)时,目标区块P0(2,0)的多个邻接区块分别为区块P0(1,0)、区块P0(1,1)、区块P0(2,1)、区块P0 (3,1)和区块P0(3,0)。其中,扩充图A中包括与初始图像P0中各个区块对应的增益数据,如图4所示,扩充图A中的A(0,0)、A(0,1)、……、A(3,3)分别是增益数据,扩充图A中的A(0,0)为初始图像P0中的区块P0(0,0)对应的增益数据、扩充图A中的A(0,1)为初始图像P0中的区块P0(0,1)对应的增益数据、……、扩充图A中的A(3,3)为初始图像P0中的区块P0(3,3)对应的增益数据。当目标区块为区块P0(0,0)时,第二获取单元113或处理器30根据扩充图A中的增益数据 A(0,1)和目标区块P0(0,0)的噪声水平获取邻接区块P0(0,1)的权重值,根据扩充图A中的增益数据A(1,1)和目标区块P0(0,0)的噪声水平获取邻接区块 P0(1,1)的权重值,以及根据扩充图A中的增益数据A(1,0)和目标区块P0(0, 0)的噪声水平获取邻接区块P0(1,0)的权重值。

方法03中,降噪单元115或处理器30根据目标区块的多个邻接区块的权重值对目标区块进行降噪处理。例如,如图4所示,当目标区块为区块P0(0,0)时,降噪单元115或处理器30根据邻接区块P0(0,1)的权重值、邻接区块P0(1,1)的权重值和邻接区块P0(1,0)的权重值对目标区块P0(0,0)进行降噪处理。

方法04中,遍历初始图像P0中的所有区块,以将每个区块均作为一次目标区块进行降噪处理,具体降噪过程如前述的方法02和方法03的实现过程,在此不再赘述。由于初始图像P0中的所有区块均作为一次目标区块,且每个目标区块均根据其对应的多个邻接区块的权重值进行降噪处理,而每个邻接区块的权重值与目标区块的噪声水平和目标区块对应的增益数据相关,使得降噪单元115或处理器30有效地调控初始图像中不同区块的降噪强度,从而更有针对性地压制暗区提亮的噪声,更好地保护初始图像中的细节,避免出现降噪图像中心区域和边角区域的降噪不均匀的现象。

请参阅图4及图5,在某些实施方式中,02:根据扩充图A中与区块对应的增益数据及目标区块的噪声水平获取目标区块周围的多个邻接区块的权重值,包括:

021:根据目标区块中所有像素点的像素值与邻接区块中对应的像素点的像素值获取邻接区块的第一比值;

023:根据第一比值、噪声水平及扩充图A中与目标区块对应的增益数据获取第二比值;及

025:根据第一比值及第二比值获取邻接区块对应的权重值。

请结合图2,第二获取单元113还用于执行021、023及025中的方法。即,第二获取单元113还用于:根据目标区块中所有像素点的像素值与邻接区块中对应的像素点的像素值获取邻接区块的第一比值。根据第一比值、噪声水平及扩充图A中与目标区块对应的增益数据获取第二比值。根据第一比值及第二比值获取邻接区块对应的权重值。

请结合图3,处理器30还用于执行021、023及025中的方法。即,处理器30还用于:根据目标区块中所有像素点的像素值与邻接区块中对应的像素点的像素值获取邻接区块的第一比值。根据第一比值、噪声水平及扩充图A中与目标区块对应的增益数据获取第二比值。根据第一比值及第二比值获取邻接区块对应的权重值。

其中,方法021中,第二获取单元113或处理器30计算目标区块中邻接区块中权重值时,先根据目标区块和邻接区块里的所有像素点的像素值获取邻接区块的权重值中的第一比值。例如,当初始图像P0中的每个区块均包括一个像素点时,第二获取单元 113或处理器30根据目标区块中的像素点和邻接区块中的像素点计算该邻接区块的第一比值。例如,请结合图4及图6,当初始图像P0中的区块包括四个像素点时,第二获取单元113或处理器30根据目标区块中的所有像素点的像素值和邻接区块中的所有像素点的像素值计算该邻接区块的权重值中的第一比值。如,当目标区块为区块P0(0, 0)、第二获取单元113或处理器30获取邻接区块P0(0,1)的权重值的第一比值时,目标区块P0(0,0)中四个像素点的像素值分别是pa、pb、pc和pd,邻接区块P0(0, 1)中四个像素点的像素值分别是pe、pf、pg和ph,第二获取单元113或处理器30根据目标区块P0(0,0)中的像素值pa、pb、pc、pd和邻接区块P0(0,1)中的像素值 pe、pf、pg、ph获取邻接区块P0(0,1)的第一比值,以充分利用邻接区块中的像素点的像素值,使得由第一比值获取得到的权重值能够更有针对性地过滤目标区块P0(0, 0)中的噪声。方法023中,第二获取单元113或处理器30根据方法021中得到的第一比值、目标区块的噪声水平和扩充图A中与目标区块对应的增益数据获取邻接区块的第二比值。例如,可根据目标区块中的所有像素点的总像素值与邻接区块中所有像素的总像素值的差值获取第一比值。或者,根据目标区块中的所有像素点的像素值与邻接区块中的所有像素点的像素值的差值之和获取第一比值。最后执行025中的方法:根据第一比值和第二比值获取该邻接区块的权重值,第二获取单元113或处理器30获取目标区块的其他邻接区块的权重值时,依次执行方法021、方法023和方法025即可。

综上,第二获取单元113或处理器30获取目标区块的邻接区块的权重值时,结合目标区块中的所有像素点的像素值、邻接区块中所有像素点的像素值、目标区块的噪声水平、以及扩充图A中与目标区块对应的增益数据计算邻接区块的权重值,利用多个邻接区块分别对应的权重值对该目标区块进行针对性地降噪,以有效保护目标区块中的细节部分。

请参阅图7,在某些实施方式中,021:根据目标区块中所有像素点的像素值与邻接区块中对应的像素点的像素值获取邻接区块的第一比值,包括:

0211:根据目标区块中每个像素点的像素值与邻接区块中对应位置处的像素点的像素值获取每个像素点的差异值;及

0213:将所有像素点分别对应的差异值的绝对值进行累加,以获取邻接区块的第一比值。

请结合图2,第二获取单元113还用于执行0211和0213中的方法。即,第二获取单元113还用于:根据目标区块中每个像素点的像素值与邻接区块中对应位置处的像素点的像素值获取每个像素点的差异值。将所有像素点分别对应的差异值的绝对值进行累加,以获取邻接区块的第一比值。

请结合图3,处理器30还用于执行0211和0213中的方法。即,处理器30还用于:根据目标区块中每个像素点的像素值与邻接区块中对应位置处的像素点的像素值获取每个像素点的差异值。将所有像素点分别对应的差异值的绝对值进行累加,以获取邻接区块的第一比值。

请结合图6,在一个实施例中,若目标区块中包括四个像素点,第二获取单元113或处理器30根据目标区块中每个像素点的像素值和邻接区块中对应位置处的像素点的像素值获取每个像素点的差异值。其中,目标区块中位于左上角处的像素点对应邻接区块中位于左上角处的像素点,目标区块中位于右上角处的像素点对应邻接区块中位于右上角处的像素点,目标区块中位于左下角处的像素点对应邻接区块中位于左下角处的像素点,目标区块中位于右下角处的像素点对应邻接区块中位于右下角处的像素点。如目标区块P0(0,1)中像素值为pa的像素点对应邻接区块P0(0,1)中像素值为pe的像素点。当目标区块为P0(0,0),第二获取单元113或处理器30获取邻接区块P0 (0,1)的权重值中的第一比值时,第二获取单元113或处理器30依次计算两个区块 (目标区块和邻接区块)中的各个像素值的差值,邻接区块P0(0,1)的四个差异值分别为pa-pe、pb-pf、pc-pg、pd-ph,然后将四个差异值的绝对值进行累加得到邻接区块 P0(0,1)的权重值中的第一比值为|pa-pe|+|pb-pf|+|pc-pg|+|pd-ph|。

综上,第二获取单元113或处理器30根据方法021、023、025、0211和0213获取目标区块的邻接区块的权重值时,可根据下面的公式(1)获取得到。

其中,公式(1)中的Weight表示邻接区块的权重值,diff表示邻接区块的权重值中的第一比值,diff+noiselevel*lut(x,y)表示邻接区块的权重值中的第二比值, noiselevel表示目标区块的噪声水平,该噪声水平由图像处理装置10中的其他模块确定得到的已知的数值,其值为正数。lut(x,y)表示目标区块P0(x,y)对应于扩充图A中的增益数据A(x,y)。由公式(1)可知,当目标区块对应于扩充图A中的增益数据越大,目标区块的邻接区块的权重值越大。请结合图4及图6,例如,当目标区块为P0(0,0),邻接区块P0(0,1)的权重值中的第一比值diff=|pa-pe|+|pb-pf|+|pc-pg|+|pd- ph|,第二比值为diff+noiselevel*A(0,0),则邻接区块P0(0,1)的权重值

请参阅图8,在某些实施方式中,03:根据多个权重值对目标区块进行降噪处理,包括:

031:根据邻接区块的像素值及邻接区块分别对应的权重值获取第三比值;

033:将邻接区块分别对应的多个权重值进行累加,以获取第四比值;及

035:根据第三比值及第四比值获取目标区块的像素值以作为降噪后图像与目标区块对应的区块的像素值。

请结合图2,降噪单元115还用于执行031、033及035中的方法。即,降噪单元 115还用于:根据邻接区块的像素值及邻接区块分别对应的权重值获取第三比值。将邻接区块分别对应的多个权重值进行累加,以获取第四比值。根据第三比值及第四比值获取目标区块的像素值以作为降噪后图像与目标区块对应的区块的像素值。

请结合图3,处理器30还用于执行031、033及035中的方法。即,处理器30还用于:根据邻接区块的像素值及邻接区块分别对应的权重值获取第三比值。将邻接区块分别对应的多个权重值进行累加,以获取第四比值。根据第三比值及第四比值获取目标区块的像素值以作为降噪后图像与目标区块对应的区块的像素值。

第二获取单元113或处理器30获取得到目标区块的邻接区块分别对应的多个权重值后,降噪单元115或处理器30根据多个权重值及邻接区块的像素值获取第三比值,且将邻接区块分别对应的多个权重值进行累加,以获取第四比值,降噪单元115结合第三比值和第四比值获取降噪后目标区块的像素值,并将该像素值作为降噪后图像与目标区块对应的区块的像素值。其中,区块的像素值、邻接区块的像素值、目标区块的像素值均表示区块中所有像素点的像素值之和。具体地,降噪单元或处理器30根据公式(2) 获取降噪后图像与目标区块对应的区块的像素值。

其中,Pathchde-noise表示降噪后目标区块的像素值,∑i(Patchi*Weighti)表示第三比值,表示第四比值,n表示目标区块对应的邻接区块的数量,例如,如图4所示,当区块P0(0,0)为目标区块时,其对应的邻接区块的数量为3,则n=3。当区块P0 (1,0)为目标区块时,其对应的邻接区块的数量为5,则n=5。当区块P0(1,1)为目标区块时,其对应的邻接区块的数量为8,则n=8。Patchi表示第i个邻接区块中所有像素点的像素值之和。Weighti表示第i个邻接区块的权重值。

请结合图4及图9,当目标区块为区块P0(0,0)时,未降噪的目标区块中所有像素点的像素值之和记为Patchnoise,邻接区块P0(0,1)的像素值为Patch1,邻接区块P0(0,1) 的权重值为Weight1;邻接区块P0(1,1)的像素值为Patch2,邻接区块P0(1,1)的权重值为Weight2;邻接区块P0(1,0)的像素值为Patch3,邻接区块P0(1,0)的权重值为Weight3。降噪单元115或处理器30根据公式(2)获取得到的降噪后的目标区块的像素值为即降噪图像P1中与初始图像P0中的区块P0(0,0)对应的区块(即P1(0,0))的像素值为Pathchde-noise

若目标区块P0(0,1)中包括四个像素点,每个像素点的像素值分布如图6所示,即,Pathchnoise=pa+pb+pc+pd。在一个实施例中,降噪图像P1中区块P1(0,0)中各个像素点的像素值与初始图像P0中对应位置的像素点的像素值以及降噪后的目标区块的像素值(即Pathchde-noise)相关。降噪图像P1中的区块P1(0,0)中左上角处的像素点的像素值降噪图像P1中的区块P1(0,0)中右上角处的像素点的像素值降噪图像P1中的区块P1(0,0)中左下角处的像素点的像素值降噪图像P1中的区块P1(0, 0)中右下角处的像素点的像素值

请参阅图10,在某些实施方式中,03:根据多个权重值对目标区块进行降噪处理,包括

037:根据多个权重值对目标区块中YUV三通道或RGB三通道进行降噪处理。

请结合图2,降噪单元115还用于执行037中的方法。即,降噪单元115还用于:根据多个权重值对目标区块中YUV三通道或RGB三通道进行降噪处理。

请结合图3,处理器30还用于执行037中的方法。即,处理器30还用于:根据多个权重值对目标区块中YUV三通道或RGB三通道进行降噪处理。

在某些实施方式中,降噪单元115或处理器30根据多个权重值对目标区块进行降噪处理时,可以对目标区块中RGB三通道进行降噪处理。或者,降噪单元115或处理器30对目标区块中Y通道上的亮度噪声进行降噪处理,以压制目标区块中的亮度噪声。或者,降噪单元115或处理器30对目标区块中UV两通道上的彩色噪声进行降噪处理,从而压制目标区块中的色彩噪声。或者,降噪单元115或处理器30对YUV三个通道进行联合降噪。其中,具体的降噪过程与方法031、033和035中的降噪过程相同,在此不再赘述。

请参阅图9及图11,在某些实施方式中,图像处理方法还包括:

05:根据降噪图像P1及增益数据对降噪图像P1进行锐化处理。

请结合图2,图像处理装置10还包括锐化模块13。锐化模块13用于执行05中的方法。即,锐化模块13用于:根据降噪图像P1及增益数据对降噪图像P1进行锐化处理。

请结合图3,处理器30还用于执行05中的方法。即,处理器30还用于:根据降噪图像P1及增益数据对降噪图像P1进行锐化处理。

具体地,第三获取单元117或处理器30获得降噪图像P1后,由锐化模块13根据增益数据对降噪图像P1进行锐化处理,以进一步提高降噪图像P1中部分区域的锐度,提高图像质量。

请参阅图12及图13,在某些实施方式中,05:根据降噪图像P1及增益数据对降噪图像P1进行锐化处理,包括:

051:获取降噪图像P1的细节层D;

053:根据细节层D及扩充图A中与细节层D对应的增益数据,对降噪图像P1进行锐化处理。

请结合图2,锐化模块13还用于执行051及053中的方法。即,锐化模块13还用于:获取降噪图像P1的细节层D;根据细节层D及扩充图A中与细节层D对应的增益数据,对降噪图像P1进行锐化处理。

请结合图3,处理器30还用于执行051及053中的方法。即,处理器30还用于:获取降噪图像P1的细节层D;根据细节层D及扩充图A中与细节层对应的增益数据,对降噪图像P1进行锐化处理。

其中,降噪图像P1可分解为底层和细节层,底层中包含降噪图像P1的低频信息,细节层中包含降噪图像P1的高频信息。锐化模块13获取降噪图像P1的底层时,可使用低通滤波(如均值滤波)、高斯滤波或导向滤波对降噪图像P1进行滤波处理,以提取降噪图像P1的底层,提取底层后,锐化模块13使用降噪图像P1减去底层,即可获取降噪图像P1的细节层。

如图13所示,在一个例子中,降噪图像P1中的细节层D为降噪图像P1中的阴影部分所示,则扩充图A中与该细节层D对应的增益数据为A(2,0)+A(3,0)。锐化模块13或处理器30对细节层D进行锐化处理得到锐化后的细节层D`,D`=D*(A(2, 0)+A(3,0)),其中,细节层D与增益数据(A(2,0)+A(3,0))的相乘指的是利用增益数据(A(2,0)+A(3,0))对细节层D中的像素值进行锐化处理的过程。由于方法051中提取得到降噪图像P1的底层,锐化模块13或处理器30利用该底层和锐化后的细节层D`相加即可获取锐化图像P2。

请参阅图4及图14,在某些实施方式中,图像处理方法还包括:

06:对初始图像P0进行透镜阴影校正处理,以获取中间图像;

07:获取中间图像(图未示出)在RAW域的GR通道的数据和GB通道的数据;

08:根据GR通道的数据及GB通道的数据获取扩充图A。

请结合图2,图像处理装置10还包括获取模块17,获取模块17用于执行06、07 及08中的方法。即,获取模块17用于:对初始图像P0进行透镜阴影校正处理,以获取中间图像。获取中间图像在RAW域的GR通道的数据和GB通道的数据。根据GR 通道的数据及GB通道的数据获取扩充图A。

请结合图3,处理器30还用于执行06、07及08中的方法。即,处理器30用于:对初始图像P0进行透镜阴影校正处理,以获取中间图像。获取中间图像在RAW域的 GR通道的数据和GB通道的数据。根据GR通道的数据及GB通道的数据获取扩充图A。

具体地,第一获取单元111获取初始图像P0后,由于相机模组的制作工艺和光学特性的影响,第一获取单元111获取得到初始图像中往往会有中心到四周的色彩和亮度不一致的现象,由获取模块17对初始图像P0进行透镜阴影校正处理,使得中间图像的中心与四周的色彩和亮度保持一致。请结合图15,然后获取中间图像在RAW域中的 GR通道的数据和GB通道的数据。其中,GR通道的数据大小表示GR通道像素的增益数据(即像素的提亮倍数),GB通道的数据大小表示GB通道像素的增益数据。初始图像P0的大小为3072*4096,获取模块17获取得到的GR通道和GB通道均是大小为 13*17的矩阵。最后,获取模块17根据GR通道的数据和GB通道的数据获取扩充图A。

请参阅图15和图16,在某些实施方式中,08:根据GR通道的数据及GB通道的数据获取扩充图A,包括:

081:对同一位置处的GR通道的数据和GB通道的数据求取平均值,以获取G通道中对应位置的数据;

083:对G通道进行插值处理以获取扩充图A。

请结合图2,获取模块17还用于执行081及083中的方法。即,获取模块17还用于:对同一位置处的GR通道的数据和GB通道的数据求取平均值,以获取G通道中对应位置的数据;对G通道进行插值处理以获取扩充图A。

请结合图3,处理器30还用于执行081及083中的方法。即,处理器30还用于:对同一位置处的GR通道的数据和GB通道的数据求取平均值,以获取G通道中对应位置的数据;对G通道进行插值处理以获取扩充图A。

具体地,获取模块17获取G通道中的数据时,根据GR通道和GB通道中的数据进行求平均获取,即,G通道中的数据G(x,y)=(GR(x,y)+GR(x,y))*0.5,其中,x的取值范围是[0,12],y的取值范围是[0,16]。例如,G(0,0)=(GR(0, 0)+GR(0,0))*0.5,G(0,4)=(GR(0,4)+GR(0,4))*0.5,……,G(16, 12)=(GR(16,12)+GR(16,12))*0.5。然后再对G通道中的数据进行插值处理,以获取与初始图像P0大小相同的扩充图A。

具体地,方法083中,获取模块17可基于双线性插值或双三次插值的方法对G通道进行插值处理。在一个例子中,获取模块17基于双线性插值方法对G通道进行插值处理。如图15所示,在G通道水平方向上的相邻两个数据之间依次插入255个像素,在G通道竖直方向上的相邻两个数据之间依次插入255个像素,以生成与初始图像P0 大小(3072*4096)相同的扩充图A。例如,G通道中第一行第一个数据为G(0,0),第一行第二数据为G(0,1),则要这两个数据之间水平插入255个像素点,若两个数据之间的差值记为C1,则C1=G(0,1)-G(0,0),在G(0,0)和G(0,1)之间插入的第一个像素为G(0,0)+C1*1/256,在G(0,0)和G(0,1)之间插入的第二个像素为G(0,0)+C1*2/256,……,第255个像素为G(0,0)+C1*256/256。然后再在第二个数据G(0,1)和第三个数据G(0,2)之间插入255个像素,若两个数据之间的差值记为C2,则C2=G(0,2)-G(0,1),在G(0,1)和G(0,2)之间插入的第一个像素为G(0,1)+C2*1/256,在G(0,1)和G(0,2)之间插入的第二个像素为G(0,1)+C2*2/256,……第255个像素为G(0,1)+C2*256/256。依次类推,在G通道中的每行数据中的相邻两个数据之间插入255个像素,得到大小为 3072*17的矩阵。同样地,在G通道中的每列数据中的相邻两个数据之间插入255个像素,例如,第一列的第一个数据G(0,0)和第一列的第二个数据G(1,0)之间插入255个像素,则插入的第一个像素为G(0,0)+(G(1,0)-G(0,0))*1/256。最后,获取模块17得到大小为3072*4096的扩充图A。

需要说明的是,图15中的扩充图A中的增益数据A(0,0)包括至少包括一个G 通道的数据,也即是说,当初始图像P0中的区块包括一个像素点时,扩充图A中的A (0,0)=G(0,0)。当初始图像P0中的区块包括两个以上的像素点时,扩充图A中 A(0,0)包括插值后的多个G通道数据。

请结合图17,图17为获取模块17有某一初始图像获取得到的扩充图A,扩充图A 的中心区域很暗,而越往边角区域,扩充图A的亮度也会越高,表明对应区域的像素提亮的倍数也大。

综上,本申请的图像处理方法、图像处理装置10、终端100及非易失性计算机可读存储介质200中,根据扩充图A中与目标区块对应的增益数据、目标区块的噪声水平和目标区块的多个邻接区块的权重值对目标区块进行降噪处理,并遍历初始图像P0中的所有区块,以对初始图像P0中的每个区块进行降噪处理,获取降噪图像P1。其中,扩充图A中的增益数据与初始图像A中的区块对应,即,初始图像P0中的每个区块均能够在扩充图A中找到对应的增益数据,以能够有效地调控初始图像P0中不同区块的降噪强度,从而更有针对性地压制暗区提亮的噪声,更好地保护初始图像P0中的细节,避免出现降噪图像P1中心区域和边角区域的降噪不均匀的现象。

请参阅图18,本申请实施方式还提供一种包含计算机程序201的非易失性计算机可读存储介质200。当计算机程序201被一个或多个处理器30执行时,使得处理器30执行01、02、03、04、04、05、06、07、08、021、023、025、0211、0213、031、033、 035、037、051、053、081及083中的图像处理方法。

在本说明书的描述中,参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

27页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:图像传感器、3D摄像头、图像传感器的控制方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类