基于感测器特性的影像处理方法
阅读说明：本技术 基于感测器特性的影像处理方法 (Image processing method based on sensor characteristics ) 是由 周旸庭 李宗轩 唐婉儒 陈世泽 于 2019-11-15 设计创作，主要内容包括：本发明揭露一种基于感测器特性的影像处理方法,包含下列步骤：取得复数个输出讯号x与该复数个输出讯号的杂讯标准差σ(x)之间的关系的一常数其中该复数个输出讯号是一感测器在同一感测器增益下所输出的复数个讯号；以及依据一取样范围内复数个像素值、该常数、以及一前端增益来计算一目标像素的一输出值,其中该目标像素的一输入值为该复数个像素值的其中之一。(The invention discloses an image processing method based on sensor characteristics, which comprises the following steps: obtaining a constant of a relationship between a plurality of output signals x and a noise standard deviation σ (x) of the plurality of output signals Wherein the plurality of output signals are a plurality of signals output by a sensor under the same sensor gain; and calculating an output value of a target pixel according to a plurality of pixel values within a sampling range, the constant and a front-end gain, wherein an input value of the target pixel is one of the plurality of pixel values.)
技术领域
本发明是关于影像处理方法，尤其是关于基于感测器特性的影像处理方法。
背景技术
一般的阿尔法混合(Alpha Blending)是基于利用杂讯等级(Noise Level) 来判断一图像中各像素的纹理/平坦属性的高低，并根据该纹理/平坦属性的高低给予各像素不同的混合率(Blending Rate)，以供后续处理之用。于一目前的影像处理装置中，许多模组都有去杂讯但保留纹理的需求；然而，一后端模组常因一或多种前端处理(例如：自动白平衡、自动曝光增益、镜头阴影校正(lens shading correction,LSC)、黑电平校正(blacklevel correction,BLC))而缺少强而有力的杂讯等级的资讯用于判断各像素的纹理/平坦属性的高低，从而该后端模组无法有效地区别一图像的纹理区与平坦区。
以下列示了一些目前技术：
(一)Weisheng Dong,Ming Yuan,Xin Li,and Guangming Shi,“JointDemosaicing and Denoising with Perceptual Optimization on a GenerativeAdversarial Network”。
(二)Micha¨elGharbi,Gaurav Chaurasia,Sylvain Paris,and Fr′edo Durand“Deep Joint Demosaicking and Denoising”。
(三)KeigoHirakawa and Thomas W.Parks,“JOINT DEMOSAICING ANDDENOISING”。
(四)Marc Levoy,“Image formation”,page 60～62,Computer ScienceDepartment,Stanford University,CS 178,Spring 2014。
(五)WojciechJarosz,“Computational Aspects of Digital Photography –Noise&Denoising”,Dartmouth College,CS 89.15/189.5,Fall 2015。
(六)Marc Levoy,“Noise and ISO”,page 7～11,Computer ScienceDepartment,Stanford University,CS 178,Spring 2014。
发明内容
本发明的一目的在于提供一种基于感测器特性的影像处理方法，以避免先前技术的问题。
本发明的影像处理方法的一实施例包含下列步骤：取得复数个输出讯号x与该复数个输出讯号的杂讯标准差σ(x)之间的关系的一常数其中该复数个输出讯号是一感测器在同一感测器增益(例如：感光度，像是相机的ISO值)下所输出的复数个讯号；依据一取样范围内复数个像素值计算出一梯度值，该复数个像素值包含一目标像素的输入值；依据该复数个像素计算一平坦值与一纹理值；依据一权重变化率、该梯度值、一前端增益(例如：自动曝光增益)、与该常数执行一权重值计算，以得到一权重值；以及依据该权重值对该平坦值与该纹理值执行一加权计算，以得到该目标像素的输出值。
本发明的影像处理方法的另一实施例包含下列步骤：取得复数个输出讯号与该复数个输出讯号的杂讯标准差之间的关系的一常数，其中该复数个输出讯号是一感测器在同一感测器增益下所输出的复数个讯号；以及依据一取样范围内复数个像素值、该常数、以及一前端增益来计算一目标像素的一输出值，其中该目标像素的一输入值为该复数个像素值的其中之一。
有关本发明的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。
附图说明
图1显示一传感器输出图像；
图2显示依据一低临界值所得到的图1的图像的纹理；
图3显示依据一高临界值所得到的图1的图像的纹理；
图4显示依据本发明所得到的图1的图像的纹理；
图5显示本发明的基于传感器特性的影像处理方法的一实施例；
图6显示一传感器的输出讯号的灰度值与该传感器的输出讯号的噪声标准偏差之间的关系；
图7显示梯度值与权重值之间的关系；以及
图8显示本发明之基于传感器特性的影像处理方法的另一实施例。
符号说明
100、200、300、400 图像
S510～S550 步骤
x 灰度值
σ (x)输出讯号的杂讯标准差
thd0 平坦区门槛值
thd1 纹理区门槛值
GTOTAL 梯度值
WMAX 最大权重值
WMIN 最小权重值
W 权重值
WSLOPE 权重变化率
S810～S820 步骤
具体实施方式
本发明的一目的在于依据一感测器(例如：光感测器)的特性来准确地判断一图像中各像素的纹理/平坦属性的高低；一般先前技术(例如：梯度特征值的计算)不易准确地区分一图像中的纹理区与平坦区，原因之一在于该图像的暗部的杂讯强度与亮部的杂讯强度可能不同。举例而言，图 1显示一感测器输出图像100，若无视于图像100的暗部与亮部的杂讯差异而藉由一固定临界值区分图像100的纹理区与平坦区，当该固定临界值的设定较小时，图像100中应被判断为平坦区的部分容易被误判成纹理区，如图2的图像200所示；当该固定临界值的设定较大时，图像100中应被判断为纹理区的部分容易被误判成平坦区，如图3的图像300所示；而本发明能够相对准确地区分图像100的纹理区与平坦区，如图4的图像400 所示；图2至图4的图像中，黑色代表纹理区，白色代表平坦区。
图5显示本发明的基于感测器特性的影像处理方法的一实施例，该实施例可由一已知或自行开发的影像处理装置来执行，包含下列步骤：
步骤S510：取得复数个输出讯号x与该复数个输出讯号的杂讯标准差之间的关系的一常数其中该复数个输出讯号是一感测器在同一感测器增益(sensorgain)(例如：感光度，像是相机的ISO 值)下所输出的复数个讯号。举例而言，基于该感测器增益为十六、该感测器的输出讯号的像素值是以十二位值(亦即：0～4095之间的值) 来表示、以及该感测器的杂讯是散粒杂讯(shot noise)的假设，该感测器依据Q种曝光时间(例如：1/30秒、1秒、与10秒)对同一对象撷取多张图像包含同一种曝光时间的K张(例如：100张)图像，使所有撷取图像(Q×K张图像)整体而言涵盖所有种类的像素值(亦即： 0～4095之间的每个值)；接着，依据同一种曝光时间的K张图像的同一像素位置的值的平均可以得到一平均像素值(亦即：依据Q种曝光时间的所有图像可以得到同一像素位置的Q个平均像素值)，所有撷取图像的所有平均像素值涵盖了所有种类的像素值(亦即：0～4095之间的每个值)；接下来，依据同一种曝光时间的K张图像的同一像素位置的K个值与相同K张图像的相同像素位置的平均像素值可求出一标准差；依据所有标准差相对于所有平均像素值的分布可找出一回归线，如图6所示；依据上述方式，每一像素平均值(或称灰度值)的平方根与该像素平均值所对应的标准差σ(x)的关系会是 其中“c”为常数，可由图6的回归线求得；据上所述，该些灰度值的平方根(亦即：其中n为最大灰度值)与其所对应的标准差σ(x)(亦即：σ0、σ1、...、σn)之间的关系可表示如下式：
上式中，
步骤S520：依据一取样范围内复数个像素值计算出一梯度值，该复数个像素值包含一目标像素的输入值。举例而言，该取样范围内的像素为3×3 的像素矩阵该像素矩阵的中心像素为该目标像素；藉由将该像素矩阵的每一像素开根号，可得到像素平方根矩阵藉由预设的水平梯度遮罩(gradient mask)与垂直梯度遮罩分别乘以该像素平方根矩阵，可得到水平梯度GH＝2与垂直梯度GV＝0，从而得到该梯度值GTOTAL＝GH+GV＝2。
步骤S530：依据该复数个像素计算一平坦值与一纹理值。举例而言，该取样范围内的像素为3×3的像素矩阵该平坦值等于所有像素值的和“24”除以像素总数“9”，该纹理值等于该目标像素所在之处的纹理方向(本例中因GH>HV，判定该纹理方向为垂直方向)上的像素的值的和“4+4+4＝12”除以该些像素的数目“3”。
步骤S540：依据一权重变化率(例如：后述thd0与thd1所决定的斜率)、该梯度值、一前端增益(例如：自动曝光增益)、与该常数执行一权重值计算，以得到一权重值(或称混合率)W。举例而言，若该前端增益“DG”为四、该常数“c”为0.75、以及使用者设定的/预设的平坦区门槛设定值thd0_manual与纹理区门槛设定值thd1_manual分别为0.4与4，依据该平坦区门槛设定值、该前端增益、与该常数可求出平坦区门槛值依据该纹理区门槛设定值、该前端增益、与该常数可求出纹理区门槛值 该平坦区门槛值与该纹理区门槛值共同决定该权重变化率WSLOPE(亦即：thd0所对应的最小权重值WMIN与thd1所对应的最大权重值WMAX之间的直线的斜率 )如图7所示；该权重值W等于该梯度值与该平坦区门槛值之间的差值乘以该权重变化率(W＝(GTOTAL-thd0)× WSLOPE+WMIN＝(2-0.3)×3034+0≈5158)。值得注意的是，小于该平坦区门槛值的任一梯度值所对应的权重为最小权重值(例如：图 7的最小权重值0)，大于该纹理区门槛值的任一梯度值所对应的权重为最大权重值(例如：图7的最大权重值8192)。
步骤S550：依据该权重值对该平坦值与该纹理值执行一加权计算，以得到该目标像素的输出值。举例而言，步骤S550包含下列步骤：将该纹理值乘以该权重值，以得到一加权纹理值；将该平坦值乘以一最大权重值与该权重值之间的差值，以得到一加权平坦值；加总该加权纹理值与该加权平坦值以得到一加总值；以及将该加总值除以该最大权重值，以得到该目标像素的输出值IOUTPUT。上述范例可由底下算式来表示：
若套用前述范例所求得的值，则该目标像素的输出值IOUTPUT如下式所示：
值得注意的是，前述步骤S540的范例中，求出该平坦区门槛值与该纹理区门槛值的方式是基于以下说明。该前端增益DG与该感测器的输出讯号的杂讯标准差为已知，T(·)表示对该感测器的输出信号执行转换的转换式，依据上述，一用来判断纹理/平坦属性的梯度值的计算式可表示为T(DG×x+DG×σ(x))-T(DG×x)≈T′(DG×x)·DG×σ(x)；当时，因此，上述计算式可改写为 换言之，该梯度值与该前端增益DG以及该常数c有关。
承前所述，于一实作范例中，该感测器为一光感测器。于一实作范例中，该前端增益为/相关于一镜头阴影校正(Lens Shading Correction,LSC) 增益、一特定颜色的像素值增益、一自动曝光(Auto Exposure,AE)增益、一黑电平校正(Black Level Correction,BLC)增益、以及一色彩校正矩阵(Color Correction Matrix,CCM)的其中之一。于一实作范例中，该复数个输出讯号的杂讯主要为散粒杂讯(shot noise)。于一实作范例中，该复数个输出讯号包含一最小灰度值讯号至一最大灰度值讯号之间的所有讯号。
图8显示本发明的基于感测器特性的影像处理方法的另一实施例，包含下列步骤：
步骤S810：取得复数个输出讯号与该复数个输出讯号的杂讯标准差之间的关系的一常数，其中该复数个输出讯号是一感测器在同一感测器增益下所输出的复数个讯号。
步骤S820：依据一取样范围内复数个像素值、该常数、以及一前端增益来计算一目标像素的一输出值，其中该目标像素的一输入值为该复数个像素值的其中之一。
由于本领域具有通常知识者能够参酌图1至图7的揭露内容来了解图 8的实施例的细节与变化，亦即图1至图7的技术特征均可合理应用于图8 的实施例中，因此，重复及冗余的说明在此予以节略。
请注意，在实施为可能的前提下，本技术领域具有通常知识者可选择性地实施前述任一实施例中部分或全部技术特征，或选择性地实施前述复数个实施例中部分或全部技术特征的组合，藉此增加本发明实施时的弹性。
综上所述，本发明能够依据一感测器(例如：光感测器)的特性来准确地判断一图像中各像素的纹理/平坦属性的高低。
虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，换言之，本发明的专利保护范围须视本说明书的申请专利范围所界定者为准。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：高泛化性的跨域道路场景语义分割方法和系统