具体实施方式

下面将参考附图描述本发明的典型实施例。以下典型实施例不旨在限制本发明，并且在典型实施例中描述的特征的所有组合不是本发明必需的。在说明书中，相同的组件由相同的附图标记表示。

图1是示意性地示出作为根据本典型实施例的图像处理设备的应用示例的图像拍摄设备100的结构的框图。

图像拍摄设备100是诸如数字照相机或数字摄像机等的照相机。图像拍摄设备100可以是具有照相机功能的任何电子装置，诸如具有照相机功能的移动电话或配备有照相机的计算机等。

光学系统101包括透镜、快门、光阑等，并且在图像传感器102的成像平面上形成被摄体的光学图像。光学系统101将与焦距、快门速度和光圈值有关的信息发送到中央处理单元(CPU)103。图像传感器102是电荷耦合器件(CCD)图像传感器、或互补金属氧化物半导体(CMOS)图像传感器等，并且包括例如拜耳阵列(Bayer array)中的红色(R)、绿色(G)和蓝色(B)传感器元件。图像传感器102将由光学系统101形成的光学图像转换为各像素的亮度信息。经由模数(AD)转换器(未示出)获得的数字数据，即显像处理前的所谓的RAW数据，经由CPU 103被存储在主存储装置104中。由CPU 103设置图像传感器102的电气增益(以下称为国际标准化组织(ISO)感光度)。

测光传感器105被分割成多个测光区域(例如，由水平方向上的12个区域乘以垂直方向上的8个区域组成的96个区域)，并且基于从光学系统101入射的光的量来检测各分割区域的被摄体亮度。从测光传感器105输出的各测光区域的亮度信号被AD转换器(未图示)转换为数字信号，并且该数字信号被发送到CPU 103。分割区域的数量不限于上述的96，而是可以是任何正数。

用作控制单元的CPU 103基于输入数据和预先存储的程序来控制构成图像拍摄设备100的单元，以实现图像拍摄设备100的功能。在下面的描述中，由CPU 103执行程序而实现的功能中的至少一些功能可以通过专用硬件(诸如专用集成电路(ASIC)等)来实现。

主存储装置104是诸如随机存取存储器(RAM)等的易失性存储装置，并且用作CPU103的工作区域。存储在主存储装置104中的信息由图像处理设备107使用，或者被记录在存储介质108上。

辅存储装置109是诸如电可擦除可编程只读存储器(EEPROM)等的非易失性存储装置，并且存储用于控制图像拍摄设备100的程序(固件)和各种设置信息。CPU 103使用存储在辅存储装置109中的程序和各种设置信息。

存储介质108记录例如通过利用图像传感器102对图像进行拍摄而获得的并且临时存储在主存储装置104中的图像数据。存储介质108例如是半导体存储卡。存储介质108可从图像拍摄设备100拆卸，并且可以通过诸如个人计算机等的其它设备来读取所记录的数据。换句话说，图像拍摄设备100包括用于附接和拆卸存储介质108的机构以及针对存储介质108的读/写功能。

显示单元110显示图像拍摄期间的取景器图像、拍摄图像和用于交互操作的图形用户界面(GUI)图像。

操作单元111是接收用户操作并将操作输入信息发送至CPU 103的输入装置组。操作单元111的示例包括按钮、杆和触摸面板。操作单元111可以包括使用语音或视线的输入装置。操作单元111中还包括用于获得用以在图像拍摄设备100中开始图像拍摄的用户操作的释放按钮。在根据本典型实施例的图像拍摄设备100中，图像处理设备107包括要应用于拍摄图像的各种图像处理模式，并且可以利用操作单元111将这些模式设置为图像拍摄模式。

识别设备106从拍摄图像中检测特定被摄体区域(例如，与人类面部相对应的区域或者天空区域)，并且将与所检测到的区域有关的数据发送至CPU103。在本典型实施例中，识别设备106通过使用机器学习和支持向量机(SVM)等来检测特定被摄体区域。然而，用于检测特定被摄体区域的方法不限于机器学习和SVM。

图像处理设备107对通过利用图像传感器102对图像进行拍摄所获得的拍摄图像数据进行各种类型的图像处理。图像处理的示例包括所谓的显像处理(诸如白平衡处理等)、用于将与RGB拜耳阵列相对应的信号转换为针对RGB颜色的三个平面信号的颜色插值处理、伽马校正处理、饱和度校正和颜色相位校正。如下面详细描述的，根据本典型实施例的图像处理设备107还从由识别设备106检测到的特定被摄体区域中检测特定区域，并且通过使用利用机器学习预先训练的学习单元基于所检测到的特定区域来判断包括特征颜色的光源颜色。此外，图像处理设备107基于作为判断结果获得的光源颜色进行白平衡校正。例如，如果将人检测为特定被摄体区域，则图像处理设备107进一步从与人相对应的区域中检测人类皮肤区域作为特定区域，通过使用学习单元基于与人类皮肤区域相对应的信号值来估计(判断)光源颜色，并且基于所估计的光源颜色来进行白平衡校正。图像处理设备107要进行的处理的至少一部分可以通过CPU 103执行根据本典型实施例的程序来实现为软件模块。白平衡在下文中根据需要简称为WB。

下面将描述根据本典型实施例的图像处理设备107进行的处理。本典型实施例示出如下处理：例如，在自然光(阳光)下，在诸如草坪区域等的存在少量非彩色被摄体的位置处拍摄人的图像，并且可以对拍摄图像中的人的皮肤颜色区域进行适当的白平衡校正。

图2是示出图像处理设备107作为功能块的处理的框图。图像处理设备107的各处理单元可以由诸如电路等的硬件组件实现，或者处理单元中的一些或全部可以通过执行根据本典型实施例的程序而由软件模块来实现。

图像信号生成单元201接收通过利用图像传感器102对图像进行拍摄并且通过AD转换器(未示出)将模拟信号转换为数字信号而获得的图像数据。图像信号生成单元201通过对接收到的以拜耳阵列形成的R、G、B图像数据进行同步处理，从而生成包括各像素中的RGB颜色的图像数据。此外，图像信号生成单元201将所生成的图像数据输出到区域检测单元202和WB控制单元203各自。

区域检测单元202从与由识别设备106检测为特定被摄体区域的人相对应的区域中检测皮肤颜色区域。

WB控制单元203基于从图像信号生成单元201输出的图像数据和与由区域检测单元202检测到的皮肤颜色区域有关的信息来计算WB校正值。然后，WB控制单元203通过使用计算出的WB校正值对图像数据进行白平衡校正处理。稍后将详细描述由WB控制单元203进行的WB校正值计算处理。

颜色转换矩阵(MTX)单元204对颜色增益进行相乘，使得可以以最佳颜色再现由WB控制单元203进行了WB校正处理的图像数据，并且将图像数据转换为两个色差数据R-Y和B-Y。

低通滤波器(LPF)单元205限制从颜色转换MTX单元204输出的色差数据R-Y和B-Y的带宽。

色度抑制(CSUP)单元206对通过LPF单元205限制带宽之后获得的色差数据R-Y和B-Y的饱和部分中的伪色分量进行抑制。

Y生成单元211根据由WB控制单元203进行了WB校正处理的图像数据生成亮度数据Y。

边缘增强单元212根据由Y生成单元211生成的亮度数据Y生成边缘增强亮度数据Y。

RGB转换单元207根据从CSUP单元206输出的色差数据R-Y和B-Y以及从边缘增强单元212输出的亮度数据Y生成RGB数据。

伽马(γ)校正单元208将基于预定γ特征的灰度校正应用于从RGB转换单元207输出的RGB数据。

颜色亮度转换单元209将进行了伽马校正的RGB数据转换为YUV数据。

联合图像专家组(JPEG)压缩单元210对从颜色亮度转换单元209输出的YUV数据进行压缩编码。进行了压缩编码的图像数据作为图像数据文件记录在存储介质108上。

接着，将详细描述由WB控制单元203进行的WB校正值计算处理。

首先，WB控制单元203对从图像信号生成单元201输出的图像数据进行在水平方向和垂直方向上将图像分割为多个块的块分割处理。在块分割处理中，例如，将图像分割为由水平方向上的12个块乘以垂直方向上的8个块组成的96个块。分割的块的数量不限于96，而是可以是任何正数。然后，WB控制单元203针对各块计算块内的R积分值、G积分值和B积分值，并且基于R积分值、G积分值和B积分值计算R/G值和B/G值。

此外，WB控制单元203对如图3A所示的设置在R/G轴和B/G轴上的白色区域302中所包括的各块中的R值、G值和B值进行积分，从而获得积分后的R值Rinteg、G值Ginteg和B值Binteg。

在图3A中，实线表示黑体辐射轨迹301。设置白色区域302，以使得当图像拍摄设备100在各种类型的光源(例如，在太阳光中，在阴影中，以及在发光二极管(LED)灯、钨灯、汞灯、荧光灯和闪光灯下)下拍摄非彩色被摄体的图像时R/G值和B/G值可以被绘制在由图3A中的虚线指示的区域内。图3A和3B中所示的圆303表示单个积分值被转换为与R/G轴和B/G轴相对应的坐标的位置。本典型实施例描述如下示例，其中，通过使用R/G轴和B/G轴从被摄体的区域提取可能具有非彩色颜色的像素并且估计光源颜色，由此进行WB计算处理。然而，可以从被摄体的区域提取可能具有非彩色颜色的像素，并且可以通过除上述方法之外的方法来进行WB计算处理。

图3A中所示的圆304表示R/G轴和B/G轴上的、通过使用预先训练的学习单元根据由区域检测单元202检测到的皮肤颜色区域中的信号值估计光源颜色(相关色温)并且基于相关色温计算WB校正值的结果。在本典型实施例中，用于估计光源颜色(相关色温)的学习单元所用的训练数据是具有颜色分布在距黑体辐射轨迹特定距离处初步分布的光源与具有特征颜色的被摄体之间的相关性的数据。

此外，在本典型实施例中，将进行了用于减小例如图像拍摄设备100的图像传感器102的个体差异的转换处理的信号值用作要输入到学习单元的信号值。这使得可以使用通用目的学习单元而无需针对各单元准备学习单元，并且可以抑制由个体变化引起的估计精度的变化。

以下等式(1)和(2)是表示用于减小个体差异的转换处理的转换等式，并且是从具有个体差异的调整空间到没有个体差异的基准空间的转换等式。图4是示出调整空间和基准空间之间的关系的图。图4中所示的实线420表示基准空间中的不同类型的光源(即，光源A、光源B和光源C)的RGB值之间的关系。实线410表示调整空间中的光源A、光源B、光源C的RGB值之间的关系。

在图4中，圆401表示基准空间中的光源A的RGB值(RrefA、GrefA、BrefA)。圆402表示基准空间中的光源B的RGB值(RrefB、GrefB、BrefB)。圆403表示基准空间中的光源C的RGB值(RrefC、GrefC、BrefC)。在图4中，圆404表示调整空间中的光源A的RGB值(RadjA、GadjA、BadjA)。圆405表示调整空间中的光源B的RGB值(RadjB、GadjB、BadjB)。圆406表示调整空间中的光源C的RGB值(RadjC、GadjC、BadjC)。

预先测量基准空间和调整空间各自中的光源A、光源B和光源C的RGB值。具体地，光源A、光源B和光源C是如下的多个光源，其中该多个光源的与没有个体差异的基准空间相对应的R、G和B值、以及与具有个体差异的调整空间相对应的R、G和B值是已知的。

在这种情况下，WB控制单元203基于针对拍摄图像中的特定区域的R、G和B值针对各空间、在从多个已知光源中确定的两个光源之间进行线性插值来形成两个直线。然后，WB控制单元203基于两个直线之间的距离，进行将针对拍摄图像中的特定区域的与调整空间的坐标相对应的R、G和B值转换为与基准空间的坐标相对应的R、G和B值的转换处理。

更具体地，在本典型实施例中，WB控制单元203判断从皮肤颜色区域获得的信号值的RGB值(Ri、Gi、Bi)位于更靠近光源A、光源B和光源C中的哪一个的位置。在图4所示的示例中，列举了从皮肤颜色区域获得的信号值的RGB值(Ri、Gi、Bi)的坐标与图4所示的圆407所指示的调整空间中的坐标相对应的情况。此外，WB控制单元203判断从皮肤颜色区域获得的信号值的RGB值(Ri、Gi、Bi)中的Bi值是位于与光源B相比更靠近光源A的位置，还是更靠近光源C的位置。在图4所示的示例中，从皮肤颜色区域获得的信号值的RGB值(Ri、Gi、Bi)中的Bi值位于与光源B相比更靠近光源A的位置。因此，WB控制单元203在与两个光源(即，光源B和光源A)的RGB值相对应的坐标之间进行线性插值。然后，WB控制单元203基于通过基准空间和调整空间各自中的线性插值而获得的两个直线之间的距离，将从皮肤颜色区域获得的信号值的RGB值(Ri、Gi、Bi)从调整空间的坐标值转换为基准空间的坐标值。在图4所示的示例中，从皮肤颜色区域获得的信号值的RGB值(Ri、Gi、Bi)的坐标与图4所示的圆407所指示的调整空间中的坐标相对应。因此，WB控制单元203将调整空间中的坐标值转换为图4所示的圆408所指示的基准空间中的坐标值。

当Ri值满足RadjB<Ri时，

R＝(RrefA-RrefB)/(RadjA-RadjB)*(Ri-RadjB)+RrefB

B＝(BrefA-BrefB)/(BadjA-BadjB)*(Bi-BadjB)+BrefB (1)

当Ri值满足RadjB≥Ri时，

R＝(RrefB-RrefC)/(RadjB-RadjC)*(Ri-RadjC)+RrefC

B＝(BrefB-BrefC)/(BadjB-BadjC)*(Bi-BadjC)+BrefC (2)

在本典型实施例中，如上所述，从具有人类皮肤区域与预先分布在距黑体辐射轨迹特定距离处的自然光源和人工光源之间的相关特征的学习单元获得所估计的光源颜色(相关色温)。图5A示出XY色度图上的黑体辐射轨迹与光源之间的关系。图5B是示出被转换为R/G轴和B/G轴上的值的黑体辐射轨迹与光源之间的关系的图。自然光源的颜色分布在黑体辐射轨迹上分布，而人工光源(荧光灯、LED光源等)的颜色分布在距黑体辐射轨迹特定距离处分布。在图5A和5B中，区域501表示阴影中的分布，区域502表示多云条件下的分布，区域503表示阳光下的分布，并且各区域504表示灯泡下的分布。

在基于所估计的光源颜色(相关色温)计算WB校正值的情况下，从基准空间到调整空间的转换是必要的，使得进行上述转换方法的逆转换以计算与黑体辐射轨迹上的色温相对应的点坐标(RSg，BSg)。然后，WB控制单元203通过以下等式(3)根据所估计的光源颜色(相关色温)计算第一WB校正值。在本典型实施例中，将根据所估计的光源颜色(相关色温)计算出的WB校正值用作第一WB校正值。等式(3)中的WRgain表示根据所估计的光源颜色计算出的第一WB校正值的R增益。同样地，在等式(3)中，WGgain表示第一WB校正值的G增益，并且WBgain表示第一WB校正值的B增益。

WRgain＝1/RSg

WGgain＝1

WBgain＝1/BSg (3)

此外，在本典型实施例中，WB控制单元203计算与基于如下区域的颜色而估计的光源颜色相对应的WB校正值，其中，该区域包括除指定区域之外的区域，即该区域包括除指定被摄体区域之外的区域。在本典型实施例中，基于根据包括除特定区域之外的区域的区域的颜色而估计的光源颜色计算出的WB校正值被用作第二WB校正值。此外，WB控制单元203计算黑体辐射轨迹上的与第二WB校正值的色温相对应的点的坐标(例如，由图3B所示的圆303所指示的坐标)。然后，WB控制单元203计算通过以与黑体辐射轨迹上的色温相对应的混合比率混合基于所估计的光源颜色的第一WB校正值(例如，由图3B所示的圆304表示)和基于所估计的光源颜色的第二WB校正值(由图3B所示的圆303表示)而获得的第三WB校正值的坐标。图3B所示的圆305以简化的方式表示第三WB校正值在横轴R/G和纵轴B/G上的坐标。

下面将参考图6所示的流程图描述要由WB控制单元203通过混合第一WB校正值和第二WB校正值而执行的第三WB校正值生成处理以及确定要用于白平衡校正的WB校正值的处理。

在步骤S601中，WB控制单元203基于特定区域与拍摄图像的比率来计算特定区域的可靠性。具体地，WB控制单元203基于由区域检测单元202检测到的皮肤颜色区域与整体拍摄图像的比率来计算皮肤颜色区域的可靠性。

图7A是示出用于计算皮肤颜色区域的可靠性的表的图。在图7A中，横轴表示被检测为皮肤颜色区域的像素的数量，并且纵轴表示皮肤颜色区域的可靠性Sratio。在本典型实施例中，可以自由地设置横轴上的最小值Smin、阈值Sth和最大值Smax。由于整体拍摄图像的像素的数量是已知的，因而能够基于检测为皮肤颜色区域的像素的数量来获得皮肤颜色区域与整体拍摄图像的比率。因此，横轴上的最小值Smin、阈值Sth和最大值Smax可以被设置为可靠性Sratio随着被检测为皮肤颜色区域的像素的数量的增加而增加的值。

在本典型实施例中，参考图7A所示的表，WB控制单元203基于皮肤颜色区域中的像素的数量(特定区域中的像素的数量)来获取皮肤颜色区域的可靠性Sratio。在步骤S602中，WB控制单元203判断皮肤颜色区域的可靠性Sratio是否与当皮肤颜色区域中的像素的数量大于或等于阈值(大于或等于阈值Sth)时获得的可靠性相对应，即，皮肤颜色区域与整体图像的比率是否足够大。在具有当皮肤颜色区域中的像素的数量大于或等于阈值(大于或等于阈值Sth)时获得的可靠性Sratio的皮肤颜色区域中，认为基于皮肤颜色区域的颜色所估计的光源颜色的可靠性高，并且基于光源颜色所计算的第一WB校正值是能够用来进行适当的WB校正的WB校正值。如果WB控制单元203判断为皮肤颜色区域中的像素的数量大于或等于阈值(大于或等于阈值Sth)并且皮肤颜色区域的可靠性高(步骤S602中为“是”)，则处理进入步骤S606。另一方面，如果WB控制单元203判断为皮肤颜色区域中的像素的数量小于阈值Sth并且皮肤颜色区域的可靠性不高(步骤S602中为“否”)，则处理进入步骤S603。

在步骤S606中，将基于根据皮肤颜色区域的颜色而估计的光源颜色(即，可靠性高的光源颜色)计算出的第一WB校正值设置为用于WB校正。

在步骤S603中，WB控制单元203计算黑体辐射轨迹与对应于第二WB校正值的坐标之间的距离，其中第二WB校正值与基于包括除特定区域之外的区域的区域的颜色而估计的光源颜色相对应。然后，WB控制单元203参考图7B所示的表获得距离的可靠性Tdist。

在图7B中，横轴表示黑体辐射轨迹与对应于第二WB校正值的坐标之间的最短距离，并且纵轴表示黑体辐射轨迹和对应于第二WB校正值的坐标之间的距离的可靠性Tdist。此外，WB控制单元203判断距离是否大于或等于阈值(大于或等于阈值Dth)。如果WB控制单元203判断为距离小于阈值(步骤S603中为“否”)，则距离的可靠性Tdist高，并且因此处理进入步骤S604。另一方面，如果WB控制单元203判断为距离大于或等于阈值(步骤S603中为“是”)，则距离的可靠性Tdist低，并且因此处理进入步骤S605。即，WB控制单元203通过使用距离的可靠性Tdist来判断基于白色区域的光源颜色的可靠性。如果光源颜色的可靠性高，则处理进入步骤S604。另一方面，如果可靠性低，则处理进入步骤S605。

如果WB控制单元203判断为黑体辐射轨迹与对应于第二WB校正值的坐标之间的距离大于或等于阈值Dth并且处理进入步骤S605，则存在在室外进行了处理的可能性，并且因而可能难以估计光源。因此，通过使用下面等式(4)计算第三WB校正值Wc。在等式(4)中，W304表示第一WB校正值，并且W303表示第二WB校正值。等式(4)是用于以基于距离的可靠性Tdist的混合比率混合第一WB校正值和第二WB校正值的算术等式。由于距离的可靠性Tdist是黑体辐射轨迹与对应于第二WB校正值的坐标之间的距离的可靠性，因此可以认为，基于距离的可靠性Tdist的混合比率是基于根据包括除特定区域之外的区域的区域的颜色而估计的光源颜色的可靠性的混合比率。

Wc＝W304*(1-Tdist/100)+W303*Tdist/100 (4)

WB控制单元203在块分割期间计算图7C所示的白色区域的比率的可靠性。在步骤S604中，参考图7C所示的表，WB控制单元203基于指示与白色区域相对应的块与整体图像的比率的信息来计算白色区域的比率的可靠性Tratio。

在图7C中，横轴表示所提取的白色区域中的块的数量，并且纵轴表示比率的可靠性Tratio。在本典型实施例中，块区域被分割为由水平方向上的12个块乘以垂直方向上的8个块组成的96个块。图7C所示的横轴上的值仅为示例，并且不限于这些值。换句话说，可以设置这些值，使得比率的可靠性Tratio随着白色区域中的块的比率的增加而增加。

在步骤S604中，WB控制单元203判断当计算第二WB校正值时在包括特定被摄体区域的区域中是否检测到白色区域。如果WB控制单元203判断为检测到白色区域(步骤S604中为“是”)，则处理进入步骤S607。在步骤S607中，第二WB校正值被用于WB校正。另一方面，如果WB控制单元203判断为未检测到白色区域(步骤S604中为“否”)，则处理进入步骤S605。

如果处理从步骤S604进入步骤S605，则WB控制单元203判断为存在光源估计精度低的可能性，并且因此判断为不将第二WB校正值计算为最佳WB校正值。在步骤S605中，WB控制单元203通过利用等式(5)混合第一WB校正值和第二WB校正值来计算第三WB校正值Wc。在等式(5)中，W304表示第一WB校正值，并且W303表示第二WB校正值。等式(5)是用于以基于比率的可靠性Tratio的混合比率来混合第一WB校正值和第二WB校正值的算术等式。

Wc＝W304*(1-Tratio/100)+W303*Tratio/100 (5)

如上所述，根据本典型实施例的WB控制单元203从拍摄图像检测包括特征颜色的特定区域，通过使用利用机器学习训练的学习单元基于特定区域的特征颜色来估计光源颜色，并且计算第一WB校正值。此外，WB控制单元203基于根据包括除特定区域之外的区域的区域中的白色区域而估计的光源颜色来计算第二WB校正值。此外，在本典型实施例中，通过以基于所估计的光源颜色的可靠性的混合比率来混合第一WB校正值和第二WB校正值来计算第三WB校正值。然后，WB控制单元203基于特定区域的可靠性、白色区域的可靠性以及指示是否检测到白色区域的信息，判断第一WB校正值至第三WB校正值中的哪一个将被用于WB校正处理。利用该结构，根据本典型实施例的图像处理设备107可以实现减少了环境光的影响的最佳WB校正。根据本典型实施例的图像处理设备107可以在存在可能作为图像拍摄中的主被摄体的人的情况下，通过基于无论种族如何而色调差异都在一定范围内分布的皮肤区域等估计光源来实现最佳WB校正处理。

虽然本典型实施例示出将人类皮肤区域检测为特定区域的示例，但是任何区域(诸如与绿色植物相对应的区域)都可以被检测为特定区域。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例描述了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。