环境光信息确定方法、装置、电子设备和存储介质
阅读说明：本技术 环境光信息确定方法、装置、电子设备和存储介质 (Ambient light information determines method, apparatus, electronic equipment and storage medium ) 是由 刘晓强 郑文 于 2019-08-01 设计创作，主要内容包括：本公开关于环境光信息确定方法、装置、电子设备和存储介质,方法包括：在三维人脸图像中确定多个采样点；确定采样点的方向信息和采样点的实际颜色的颜色值与采样点的样本颜色的颜色值的比值；根据三维人脸图像中的环境光沿每个方向分量的颜色值与比值构建球谐光照模型方程；根据多个采样点对应的球谐光照模型方程构成的方程组,计算环境光沿每个方向分量的颜色值。根据本公开的实施例,得到的环境光沿每个方向分量的颜色值不仅可以表示环境光中各个颜色的分量,还可以表示环境光在每个方向的颜色分量,从而包含了光照的颜色值和照射方向信息。根据该光照信息可以提高对三维人脸图像的渲染效果,恢复出精准的光照信息。(The disclosure determines method, apparatus, electronic equipment and storage medium about ambient light information, and method includes: that multiple sampled points are determined in three-dimensional face images；Determine the ratio of the color value of the color value of the directional information of sampled point and the actual color of sampled point and the sample of color of sampled point；Color value and ratio according to the environment light in three-dimensional face images along each durection component construct the humorous illumination model equation of ball；According to the equation group that the humorous illumination model equation of the corresponding ball of multiple sampled points is constituted, environment light is calculated along the color value of each durection component.In accordance with an embodiment of the present disclosure, obtained environment light can not only indicate the component of each color in environment light along the color value of each durection component, environment light be also may indicate that in the color component in each direction, to contain the color value and direction of illumination information of illumination.The rendering effect to three-dimensional face images can be improved according to the Lighting information, recover accurately Lighting information.)
技术领域
本公开涉及图像处理技术领域，尤其涉及环境光信息确定方法，环境光信息确定装置，电子设备和存储介质。
背景技术
相关技术中，在根据二维人脸图像构建三维人脸图像后，需要对三维人脸图像进行渲染，其中，需要基于环境光信息进行渲染，以使对三维人脸图像渲染的结果可以准确地表示光线照射在人脸上的明暗情况。
但是目前的方式主要是基于人脸的颜色和像素的亮度来确定环境光信息，这只能得到环境光的亮度信息，而得不到环境光的颜色，照射方向等信息，从而对三维人脸图像的渲染效果较差。
发明内容
本公开提供一种环境光信息确定方法，环境光信息确定装置，电子设备和存储介质，以至少解决相关技术中确定的环境光信息不包含环境光的颜色，照射方向等信息的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种环境光信息确定方法，包括：
基于三维形变模型对二维人脸图像中的关键点进行处理，以生成三维人脸图像；
在所述三维人脸图像中确定多个采样点；
确定所述采样点的方向信息和所述采样点的实际颜色的颜色值与所述采样点的样本颜色的颜色值的比值，其中，所述方向信息包括多个方向分量；
根据所述三维人脸图像中的环境光沿每个所述方向分量的颜色值与所述比值之间的关联关系构建球谐光照模型方程；
根据所述多个采样点对应的球谐光照模型方程构成的方程组，计算所述环境光沿每个所述方向分量的颜色值。
可选地，所述在三维人脸图像中确定多个采样点包括：
在所述三维人脸图像中确定位于预设位置的样本点；
在所述样本点中确定位于预设区域以外的点为所述采样点，其中，所述预设区域包括：
鼻孔区域，侧脸区域，眼镜区域。
可选地，所述采样点的方向信息包括以所述采样点作为切点的切面的法线，其中，所述三维人脸图像构成的曲面与所述切面相切于所述采样点。
可选地，所述比值通过以下方式确定：
确定所述采样点的位置；
在数据库预先存储的多张历史三维人脸图像中查询位于所述位置的历史样本点；
计算多个所述历史样本点的颜色值的均值作为所述样本颜色的颜色值；
其中，所述实际颜色包括n个通道的颜色值ai，所述样本颜色包括n个通道的颜色值bi，所述实际颜色的第i个通道与所述样本颜色的第i个通道对应相同颜色，1≤i≤n；
计算所述实际颜色的颜值与所述样本颜色的颜色值的比值
可选地，所述法线包括x方向分量，y方向分量和z方向分量，所述根据所述三维人脸图像中的环境光沿每个所述方向分量的颜色值，与所述采样点的颜色值之间的关联关系构建球谐光照模型方程包括：
根据所述三维人脸图像中的环境光沿所述x方向分量normal.x的颜色值lighta，沿所述y方向分量normal.y的颜色值lightb，沿所述z方向分量normal.z的颜色值lightc，和所述采样点的实际颜色与所述采样点的样本颜色的比值I的关联关系构建球谐光照模型方程：
I＝normal.x*lighta+normal.y*lightb+normal.z*lightc。
根据本公开实施例的第二方面，提供一种环境光信息确定装置，包括：
三维生成模块，被配置为执行基于三维形变模型对二维人脸图像中的关键点进行处理，以生成三维人脸图像；
采样点确定模块，被配置为执行在所述三维人脸图像中确定多个采样点；
方向确定模块，被配置为执行确定所述采样点的方向信息，其中，所述方向信息包括多个方向分量；
比值确定模块，被配置为执行确定所述采样点的实际颜色的颜色值与所述采样点的样本颜色的颜色值的比值；
方程构建模块，被配置为执行根据所述三维人脸图像中的环境光沿每个所述方向分量的颜色值与所述比值之间的关联关系构建球谐光照模型方程；
颜色值计算模块，被配置为执行根据所述多个采样点对应的球谐光照模型方程构成的方程组，计算所述环境光沿每个所述方向分量的颜色值。
可选地，所述采样点确定模块包括：
样本点确定子模块，被配置为执行在所述三维人脸图像中确定位于预设位置的样本点；
采样点确定子模块，被配置为执行在所述样本点中确定位于预设区域以外的点为所述采样点，其中，所述预设区域包括：
鼻孔区域，侧脸区域，眼镜区域。
可选地，所述采样点的方向信息包括以所述采样点作为切点的切面的法线，其中，所述三维人脸图像构成的曲面与所述切面相切于所述采样点。
可选地，所述比值确定模块包括：
位置确定子模块，被配置为执行确定所述采样点的位置；
样本查询子模块，被配置为执行在数据库预先存储的多张历史三维人脸图像中查询位于所述位置的历史样本点；
颜色值计算子模块，被配置为执行计算多个所述历史样本点的颜色值的均值作为所述样本颜色的颜色值；
其中，所述实际颜色包括n个通道的颜色值ai，所述样本颜色包括n个通道的颜色值bi，所述实际颜色的第i个通道与所述样本颜色的第i个通道对应相同颜色，1≤i≤n；
比值计算子模块，被配置为执行计算所述实际颜色的颜值与所述样本颜色的颜色值的比值
可选地，所述法线包括x方向分量，y方向分量和z方向分量，所述方程构建模块，被配置为执行根据所述三维人脸图像中的环境光沿所述x方向分量normal.x的颜色值lighta，沿所述y方向分量normal.y的颜色值lightb，沿所述z方向分量normal.z的颜色值lightc，和所述采样点的实际颜色与所述采样点的样本颜色的比值I的关联关系构建球谐光照模型方程：
I＝normal.x*lighta+normal.y*lightb+normal.z*lightc。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的环境光信息确定方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一实施例所述的环境光信息确定方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的环境光信息确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的实施例，可以根据三维人脸图像中的环境光沿每个方向分量的颜色值，与实际颜色的颜色值和样本颜色的颜色值的比值之间的关联关系构建球谐光照模型方程，然后针对多个采样点构建的多个球谐光照模型方程的方程组，可以计算出环境光沿每个方向分量的颜色值，据此得到的环境光沿每个方向分量的颜色值不仅可以表示环境光中各个颜色的分量，还可以表示环境光在每个方向的颜色分量，从而包含了光照的颜色值和照射方向信息。根据该光照信息可以提高对三维人脸图像的渲染效果，恢复出精准的光照信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本公开的实施例示出的一种环境光信息确定方法的示意流程图。
图2是根据本公开的实施例示出的一种采样点的示意图。
图3是根据本公开的实施例示出的一种渲染效果的示意图。
图4是根据本公开的实施例示出的另一种环境光信息确定方法的示意流程图。
图5是根据本公开的实施例示出的一种确定比值的示意流程图。
图6是根据本公开的实施例示出的又一种环境光信息确定方法的示意流程图。
图7是根据本公开的实施例示出的环境光信息确定装置所在设备的一种硬件结构图。
图8是根据本公开的实施例示出的一种环境光信息确定装置的示意框图。
图9是根据本公开的实施例示出的一种采样点确定模块的示意框图。
图10是根据本公开的实施例示出的一种比值确定模块的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的实施例示出的一种环境光信息确定方法的示意流程图。本公开的实施例所述的环境光信息确定方法，可以适用于能够基于环境光信息对三维人脸图像进行渲染的电子设备，所述电子设备可以是手机，平板电脑，可穿戴设备等终端，也可以是服务器。
如图1所示，所述环境光信息确定方法可以包括以下步骤：
在步骤S1中，基于三维形变模型对二维人脸图像中的关键点进行处理，以生成三维人脸图像；
在一个实施例中，可以在二维人脸图像中确定多个关键点(关键点的数量和位置可以根据需要进行设置)，然后基于三维形变模型(3d morphable model，简称3dmm)对多个所述关键点进行处理，以生成所述三维人脸图像。具体可以将二维人脸图像中的人脸通过一组参数化的基(可以理解为特征向量)来表示，然后根据所述基对二维人脸图像中的关键点进行处理，得到三维人脸图像中的关键点，由于三维人脸图像可以基于其中的关键点来表示，所以确定了三维人脸图像中的关键点，就确定了三维人脸图像。
在步骤S2中，在所述三维人脸图像中确定多个采样点；
在一个实施例中，对于三维人脸图像而言，可以将其中位于预设位置的点作为样本点，每个样本点在三维人脸图像的人脸上的位置是预先设定的，并且针对每个样本点可以分别设置标识，例如编号，以便根据标识确定特定位置的样本点。
进一步地，对于三维人脸图像中的样本点，可以在样本点中确定位于预设区域以外的点为采样点，其中，预设区域包括以下至少之一：鼻孔区域，侧脸区域，眼镜区域。
对于鼻孔区域，侧脸区域，眼镜区域等预设区域而言，环境光照射在预设区域时容易受到遮挡，例如鼻孔区域被鼻子遮挡，侧脸区域被脸颊遮挡，眼镜区域被镜框和镜片遮挡，这会导致预设区域中环境光信息与实际上环境光信息不符，例如无论环境光是什么颜色，由于鼻孔区域被鼻子遮挡，所以鼻孔区域都是黑色的，所以鼻孔区域中环境光信息与实际上环境光信息并不相符。其中，由于并非所有人都佩戴眼镜，因此可以先识别在三维人脸图像中是否存在眼镜，若存在眼镜，再确定眼镜所在的区域为眼镜区域。
本实施例可以选取位于预设区域以外的样本点作为采样点，由于采样点位于预设区域以外，所以一般不会受到遮挡，因此采样点的环境光信息与实际上环境光信息是相符的，所以依据采样点进行后续处理，有利于保证准确地确定出环境光信息。
图2是根据本公开的实施例示出的一种采样点的示意图。
在不考虑三维人脸图像中采样点垂直于三维人脸图像的分量时，三维人脸图像中采样点的位置，与采样点在三维人脸图像对应的二维人脸图像的位置可以是相同的，所以如图2所示，以二维人脸图像示例，可以设置4万个样本点，在样本点可以确定1200个点作为采样点。图2中的预设区域包括侧脸区域和鼻孔区域，也即在样本点中确定的采样点，位于测量区域和鼻孔区域以外，例如主要位于鼻尖，鼻梁，下巴，人中附近。
在步骤S3中，确定所述采样点的方向信息和所述采样点的实际颜色的颜色值与所述采样点的样本颜色的颜色值的比值，其中，所述方向信息包括多个方向分量；
在一个实施例中，采样点的方向信息可以通过采样点的法线表示，采样点的法线可以为三维向量。
其中，确定采样点的法线的方式可以根据需要选择，例如可以以采样点作为顶点构建三角形，所述三角形所在平面与三维人脸图像构成的曲面(例如三维人脸图像中人脸表面)相切于该采样点，然后计算该三角形所在平面的法线作为该采样点的法线；例如也可以以采样点作为两个向量的交点来确定两个非平行的向量，所述两个向量构成的平面与三维人脸图像构成的曲面相切于该采样点，然后计算所述两个向量构成的平面的法线作为该采样点的法法线。
在一个实施例中，采样点的样本颜色的颜色值可以通过查询数据库得到，例如，可以在数据库中预先存储多张历史三维人脸图像，其中，所存储的历史三维人脸图像中人脸的肤色是相同或相近的，例如都是黄色皮肤，或者都是白色皮肤，或者都是黑色皮肤，据此，有利于免肤色差异影响确定样本颜色的准确度。
每张历史三维人脸图像可以包括多个历史样本点，每个历史样本点在历史三维人脸图像的人脸上的位置是预先设定的，并且针对每个历史样本点可以分别设置标识，例如编号。进而对于三维人脸图像中的采样点而言，可以先确定采样点的位置，然后确定该位置对应的标识，例如采样点的编号。
然后在数据库中的多张历史三维人脸图像中查询位于上述位置的历史样本点，例如查询具有相同标识，具体可以是查询与采样点具有相同编号的历史样本点，查询到的历史样本点在人脸上的位置和采样点在人脸上的位置是相同的，那么在多张历史三维人脸图像中可以查询到多个历史样本点，进而可以根据多个历史样本点的颜色值确定样本颜色的颜色值，例如可以对多个历史样本点的颜色值进行加权求和，或者求均值，得到的结果作为样本颜色的颜色值。而采样点的实际颜色的颜色值，可以直接从三维人脸图像中获取。
其中，样本颜色和实际颜色可以包括多通道的颜色值，例如可以包括红色通道的颜色值，绿色通道的颜色值，蓝色通道的颜色值，在这种情况下，样本颜色的颜色值和实际颜色的颜色值都是包含三通道颜色值的三维向量。
在步骤S4中，根据所述三维人脸图像中的环境光沿每个所述方向分量的颜色值与所述比值之间的关联关系构建球谐光照模型方程；
在一个实施例中，对于每个采用点而言，采样点的颜色值与三维人脸图像中的环境光沿每个所述方向分量的颜色值的关联关系，都可以通过球谐光照模型公式表示。
具体地，球谐光照模型公式可以表示采样点的实际颜色的颜色值和采样点的样本颜色的颜色值的比值，与采样点的法线和环境光沿每个所述方向分量的颜色值之间的关系，具体地：
I＝normal.x*lighta+normal.y*lightb+normal.z*lightc；
其中，I表示采样点的实际颜色的颜色值和采样点的样本颜色的颜色值的比值，在样本颜色和实际颜色均为包含三通道颜色值的三维向量的情况下，实际颜色的颜色值和样本颜色的颜色值的比值是通过比较样本颜色的颜色值和实际颜色的颜色值相同维的分量得到的，例如实际颜色的颜色值为(R,G,B)，样本颜色的颜色值为(R',G',B')，其中第一维是红色分量，第二维是绿色分量，第三维是蓝色分量，那么实际颜色的颜色值和样本颜色的颜色值的比值，也即I等于(R/R',G/G',B/B')。
采样点的法线为(normal.x,normal.y,normal.z)，其中，normal.x为法线在三维人脸图像中沿x方向的分量，normal.y为法线在三维人脸图像中沿y方向的分量，normal.z为法线在三维人脸图像中沿z方向的分量，x方向和y方向平行于三维人脸图像所在平面，z方向垂直于三维人脸图像所在平面。
环境光表示为(lighta,lightb,lightc)，其中，lighta和lightb以及lightc，是与实际颜色的颜色值和样本颜色的颜色值维度相同的向量。例如lighta为(Ra,Ga,Bb)，表示环境光沿方向分量normal.x(也即x方向)的颜色值，其中Ra表示环境光沿着x方向的红色分量，Ga表示环境光沿着x方向的绿色分量，Bb表示环境光沿着x方向的蓝色分量；lightb为(Rb,Gb,Bb)，表示环境光沿方向分量normal.y(也即y方向)的颜色值，其中Rb表示环境光沿着y方向的红色分量，Gb表示环境光沿着y方向的绿色分量，Bb表示环境光沿着y方向的蓝色分量；lightc为(Rc,Gc,Bc)，表示环境光沿方向分量normal.z(也即z方向)的颜色值，其中Rc表示环境光沿着z方向的红色分量，Gc表示环境光沿着z方向的绿色分量，Bc表示环境光沿着z方向的蓝色分量。
可见，根据球谐光照模型公式得到的环境光沿每个所述方向分量的颜色值，不仅可以表示环境光中各个颜色的分量，还可以表示环境光在每个方向的颜色分量，也即包含了光照的颜色值和方向信息。
相关技术中使用球谐光照模型公式，主要是在已知环境光信息的情况下，计算I中实际颜色的颜色值。而本实施例这是在已知实际颜色的颜色值的情况下，根据球谐光照模型公式确定环境光沿每个所述方向分量的颜色值。
在步骤S5中，根据所述多个采样点对应的球谐光照模型方程构成的方程组，计算所述环境光沿每个所述方向分量的颜色值。
在一个实施例中，由于针对每个采样点都可以按照上述球谐光照模型构建方程，那么针对多个采样点就可以构建多个方程，进而多个方程可以构成方程组，通过对该方程组求解，可以求得最优的环境光信息(lighta,lightb,lightc)，其中，对方程组求解的方式包括但不限于奇异值分解(Singular Value Decomposition，简称SVD)。
根据本公开的实施例，可以根据三维人脸图像中的环境光沿每个方向分量的颜色值，与实际颜色的颜色值和样本颜色的颜色值的比值之间的关联关系构建球谐光照模型方程，然后针对多个采样点构建的多个球谐光照模型方程的方程组，可以计算出环境光沿每个方向分量的颜色值，据此得到的环境光沿每个方向分量的颜色值不仅可以表示环境光中各个颜色的分量，还可以表示环境光在每个方向的颜色分量，从而包含了光照的颜色值和照射方向信息。根据该光照信息可以提高对三维人脸图像的渲染效果，恢复出精准的光照信息。
图3是根据本公开的实施例示出的一种渲染效果的示意图。
如图3所示，为了方便展示对比效果，将二维人脸图像和三维人脸图像放在一张图像中进行对比，实际应用中，也可以将二维人脸图像和三维人脸图像放在两张图像中分别显示。
在相关技术中对三维人脸图像进行渲染时，由于只根据二维人脸图像中像素的亮度来渲染，可是二维人脸图像和三维人脸图像中五官的尺寸和形状并不完全相同，例如图3中的三维人脸图像中的鼻子，相对二维人脸图像中的鼻子要小，而三维人脸图像中的眼睛，相对二维人脸图像中的眼睛要大，这可能使得在二维人脸图像中某个偏暗的像素，在三维人脸图像中应该被光照射到而偏亮。
例如图3中人脸右侧的眼睛(人的左眼)和眉毛之间的区域A，在二维人脸图像中亮度偏暗，如果按照现有技术对构建的三维人脸图像进行渲染，那么渲染的结果也是该区域未被光照到，从而该区域所有像素的亮度很低，这种渲染方式并没有准确地渲染出在三维人脸图像中区域A内的光线被遮挡的程度。
而根据本公开的实施例，由于确定的环境光信息包含了照射方向，从而在对三维人脸图像进行渲染时，可以根三维人脸图像中每个点的三维坐标，确定出对环境光是否造成遮挡，例如图3所示，由于三维人脸图像中的鼻子，相对二维人脸图像中的鼻子要小，所以三维人脸图像中的鼻子对左下方照射过来的环境光的遮挡程度，相对二维人脸图像中的鼻子对左下方照射过来的环境光的遮挡程度较低，因此在三维人脸图像中会有少量光照射在人脸右侧的眼睛和眉毛之间的区域A，从而渲染结果是区域A中部分像素的亮度较高。可见，根据本公开的实施例确定出的环境光信息包含了颜色值和照射方向信息，根据该环境光信息可以提高对三维人脸图像的渲染效果。
图4是根据本公开的实施例示出的另一种环境光信息确定方法的示意流程图。如图4所示，所述在三维人脸图像中确定多个采样点包括：
在步骤S11中，在所述三维人脸图像中确定位于预设位置的样本点；
在步骤S12中，在所述样本点中确定位于预设区域以外的点为所述采样点，其中，所述预设区域包括：
鼻孔区域，侧脸区域，眼镜区域。
在一个实施例中，对于三维人脸图像而言，可以将其中位于预设位置的点作为样本点，每个样本点在三维人脸图像的人脸上的位置是预先设定的，并且针对每个样本点可以分别设置标识，例如编号，以便根据标识确定特定位置的样本点。
进一步地，对于三维人脸图像中的样本点，可以在样本点中确定位于预设区域以外的点为采样点，其中，预设区域包括以下至少之一：鼻孔区域，侧脸区域，眼镜区域。
对于鼻孔区域，侧脸区域，眼镜区域等预设区域而言，环境光照射在预设区域时容易受到遮挡，例如鼻孔区域被鼻子遮挡，侧脸区域被脸颊遮挡，眼镜区域被镜框和镜片遮挡，这会导致预设区域中环境光信息与实际上环境光信息不符，例如无论环境光是什么颜色，由于鼻孔区域被鼻子遮挡，所以鼻孔区域都是黑色的，所以鼻孔区域中环境光信息与实际上环境光信息并不相符。其中，由于并非所有人都佩戴眼镜，因此可以先识别在三维人脸图像中是否存在眼镜，若存在眼镜，再确定眼镜所在的区域为眼镜区域。
本实施例可以选取位于预设区域以外的样本点作为采样点，由于采样点位于预设区域以外，所以一般不会受到遮挡，因此采样点的环境光信息与实际上环境光信息是相符的，所以依据采样点进行后续处理，有利于保证准确地确定出环境光信息。
在一个实施例中，由于采样点越多，需要构建的方程就越多，从而导致更多的计算量，因此本实施例在样本点中确定数量较少的点作为样本点，例如可以在4万个样本点中确定1200个点作为采样点，有利于降低计算量，以便将本公开的实施例所述的方法适用于技能力相对较弱的电子设备，例如手机，可穿戴设备等。
但是采样点的数量较少，可能不能准确地表现三维人脸图像中每个位置的光照情况，所以本实施例可以按照低于预设密度的密度(可以根据需要进行设置，例如每平方厘米100个)确定位于预设区域以外的点为采样点，从而使得确定的数量较少的采样点能够较为均匀地分布在整张三维人脸图像中，以便相对准确地表现三维人脸图像中每个位置的光照情况，有利于准确地确定出环境光信息。
可选地，所述采样点的方向信息包括以所述采样点作为切点的切面的法线，其中，所述三维人脸图像构成的曲面与所述切面相切于所述采样点。
在一个实施例中，采样点的方向信息可以通过采样点的法线表示，采样点的法线可以为三维向量。例如，采样点的法线为(normal.x,normal.y,normal.z)，其中，normal.x为法线在三维人脸图像中沿x方向的分量，normal.y为法线在三维人脸图像中沿y方向的分量，normal.z为法线在三维人脸图像中沿z方向的分量，x方向和y方向平行于三维人脸图像所在平面，z方向垂直于三维人脸图像所在平面。
其中，确定采样点的法线的方式可以根据需要选择，例如可以以采样点作为顶点构建三角形，所述三角形所在平面与三维人脸图像构成的曲面(例如三维人脸图像中人脸表面)相切于该采样点，然后计算该三角形所在平面的法线作为该采样点的法线；例如也可以以采样点作为两个向量的交点来确定两个非平行的向量，所述两个向量构成的平面与三维人脸图像构成的曲面相切于该采样点，然后计算所述两个向量构成的平面的法线作为该采样点的法法线。
图5是根据本公开的实施例示出的一种确定比值的示意流程图。如图5所示，所述比值通过以下方式确定：
在步骤S1'中，确定所述采样点的位置；
在步骤S2'中，在数据库预先存储的多张历史三维人脸图像中查询位于所述位置的历史样本点；
在步骤S3'中，计算多个所述历史样本点的颜色值的均值作为所述样本颜色的颜色值；
其中，所述实际颜色包括n个通道的颜色值ai，所述样本颜色包括n个通道的颜色值bi，所述实际颜色的第i个通道与所述样本颜色的第i个通道对应相同颜色，1≤i≤n；
在步骤S4'中，计算所述实际颜色的颜值与所述样本颜色的颜色值的比值
在一个实施例中，采样点的样本颜色的颜色值可以通过查询数据库得到，例如，可以在数据库中预先存储多张历史三维人脸图像，其中，所存储的历史三维人脸图像中人脸的肤色是相同或相近的，例如都是黄色皮肤，或者都是白色皮肤，或者都是黑色皮肤，据此，有利于免肤色差异影响确定样本颜色的准确度。
每张历史三维人脸图像可以包括多个历史样本点，每个历史样本点在历史三维人脸图像的人脸上的位置是预先设定的，并且针对每个历史样本点可以分别设置标识，例如编号。进而对于三维人脸图像中的采样点而言，可以先确定采样点的位置，然后确定该位置对应的标识，例如采样点的编号。
然后在数据库中的多张历史三维人脸图像中查询位于上述位置的历史样本点，例如查询具有相同标识，具体可以是查询与采样点具有相同编号的历史样本点，查询到的历史样本点在人脸上的位置和采样点在人脸上的位置是相同的，那么在多张历史三维人脸图像中可以查询到多个历史样本点，进而可以根据多个历史样本点的颜色值确定样本颜色的颜色值，例如可以对多个历史样本点的颜色值进行加权求和，或者求均值，得到的结果作为样本颜色的颜色值。而采样点的实际颜色的颜色值，可以直接从三维人脸图像中获取。
其中，样本颜色和实际颜色可以包括多通道的颜色值，例如可以包括红色通道的颜色值，绿色通道的颜色值，蓝色通道的颜色值，在这种情况下，样本颜色的颜色值和实际颜色的颜色值都是包含三通道颜色值的三维向量。
在样本颜色和实际颜色均为包含三通道颜色值的三维向量的情况下，实际颜色的颜色值和样本颜色的颜色值的比值是通过比较样本颜色的颜色值和实际颜色的颜色值相同维的分量得到的，例如实际颜色的颜色值为(R,G,B)，样本颜色的颜色值为(R',G',B')，其中第一维是红色分量，第二维是绿色分量，第三维是蓝色分量，那么实际颜色的颜色值和样本颜色的颜色值的比值，也即比值I等于(R/R',G/G',B/B')。
而在样本颜色包含n通道颜色值ai，样本颜色包括n个通道的颜色值bi的情况下，且实际颜色的第i个通道与样本颜色的第i个通道对应相同颜色，那么实际颜色的颜色值与样本颜色的颜色值的比值
图6是根据本公开的实施例示出的又一种环境光信息确定方法的示意流程图。如图6所示，所述法线包括x方向分量，y方向分量和z方向分量，所述根据所述三维人脸图像中的环境光沿每个所述方向分量的颜色值，与所述采样点的颜色值之间的关联关系构建球谐光照模型方程包括：
在步骤S41中，根据所述三维人脸图像中的环境光沿所述x方向分量normal.x的颜色值lighta，沿所述y方向分量normal.y的颜色值lightb，沿所述z方向分量normal.z的颜色值lightc，和所述采样点的实际颜色与所述采样点的样本颜色的比值I的关联关系构建球谐光照模型方程：
I＝normal.x*lighta+normal.y*lightb+normal.z*lightc。
在一个实施例中，对于每个采用点而言，采样点的颜色值与三维人脸图像中的环境光沿每个所述方向分量的颜色值的关联关系，都可以通过球谐光照模型公式表示。
具体地，球谐光照模型公式可以表示采样点的实际颜色的颜色值和采样点的样本颜色的颜色值的比值，与采样点的法线和环境光沿每个所述方向分量的颜色值之间的关系，具体地：
I＝normal.x*lighta+normal.y*lightb+normal.z*lightc；
其中，I表示采样点的实际颜色的颜色值和采样点的样本颜色的颜色值的比值，在样本颜色和实际颜色均为包含三通道颜色值的三维向量的情况下，实际颜色的颜色值和样本颜色的颜色值的比值是通过比较样本颜色的颜色值和实际颜色的颜色值相同维的分量得到的，例如实际颜色的颜色值为(R,G,B)，样本颜色的颜色值为(R',G',B')，其中第一维是红色分量，第二维是绿色分量，第三维是蓝色分量，那么实际颜色的颜色值和样本颜色的颜色值的比值，也即I等于(R/R',G/G',B/B')。
采样点的法线为(normal.x,normal.y,normal.z)，其中，normal.x为法线在三维人脸图像中沿x方向的分量，normal.y为法线在三维人脸图像中沿y方向的分量，normal.z为法线在三维人脸图像中沿z方向的分量，x方向和y方向平行于三维人脸图像所在平面，z方向垂直于三维人脸图像所在平面。
环境光表示为(lighta,lightb,lightc)，其中，lighta和lightb以及lightc，是与实际颜色的颜色值和样本颜色的颜色值维度相同的向量。例如lighta为(Ra,Ga,Bb)，表示环境光沿方向分量normal.x(也即x方向)的颜色值，其中Ra表示环境光沿着x方向的红色分量，Ga表示环境光沿着x方向的绿色分量，Bb表示环境光沿着x方向的蓝色分量；lightb为(Rb,Gb,Bb)，表示环境光沿方向分量normal.y(也即y方向)的颜色值，其中Rb表示环境光沿着y方向的红色分量，Gb表示环境光沿着y方向的绿色分量，Bb表示环境光沿着y方向的蓝色分量；lightc为(Rc,Gc,Bc)，表示环境光沿方向分量normal.z(也即z方向)的颜色值，其中Rc表示环境光沿着z方向的红色分量，Gc表示环境光沿着z方向的绿色分量，Bc表示环境光沿着z方向的蓝色分量。
根据球谐光照模型公式得到的环境光沿每个所述方向分量的颜色值，不仅可以表示环境光中各个颜色的分量，还可以表示环境光在每个方向的颜色分量，也即包含了光照的颜色值和方向信息。
本公开实施例示出的环境光信息确定装置的实施例可以应用在终端或服务器等设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为根据本公开的实施例示出的环境光信息确定装置所在设备的一种硬件结构图，除了图7所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
与前述环境光信息确定方法的实施例相对应地，本公开还提出了环境光信息确定装置的实施例。
图8是根据本公开的实施例示出的一种环境光信息确定装置的示意框图。本公开的实施例所述的环境光信息确定方法，可以适用于能够基于环境光信息对三维人脸图像进行渲染的电子设备，所述电子设备可以是手机，平板电脑，可穿戴设备等终端，也可以是服务器。
如图8所示，所述环境光信息确定装置可以包括：
三维生成模块1，被配置为执行基于三维形变模型对二维人脸图像中的关键点进行处理，以生成三维人脸图像；
采样点确定模块2，被配置为执行在所述三维人脸图像中确定多个采样点；
方向确定模块3，被配置为执行确定所述采样点的方向信息，其中，所述方向信息包括多个方向分量；
比值确定模块4，被配置为执行确定所述采样点的实际颜色的颜色值与所述采样点的样本颜色的颜色值的比值；
方程构建模块5，被配置为执行根据所述三维人脸图像中的环境光沿每个所述方向分量的颜色值与所述比值之间的关联关系构建球谐光照模型方程；
颜色值计算模块6，被配置为执行根据所述多个采样点对应的球谐光照模型方程构成的方程组，计算所述环境光沿每个所述方向分量的颜色值。
图9是根据本公开的实施例示出的一种采样点确定模块的示意框图。如图9所示，所述采样点确定模块2包括：
样本点确定子模块21，被配置为执行在所述三维人脸图像中确定位于预设位置的样本点；
采样点确定子模块22，被配置为执行在所述样本点中确定位于预设区域以外的点为所述采样点，其中，所述预设区域包括：
鼻孔区域，侧脸区域，眼镜区域。
可选地，所述采样点的方向信息包括以所述采样点作为切点的切面的法线，其中，所述三维人脸图像构成的曲面与所述切面相切于所述采样点。
图10是根据本公开的实施例示出的一种比值确定模块的示意框图。如图10所示，所述比值确定模块4包括：
位置确定子模块41，被配置为执行确定所述采样点的位置；
样本查询子模块42，被配置为执行在数据库预先存储的多张历史三维人脸图像中查询位于所述位置的历史样本点；
颜色值计算子模块43，被配置为执行计算多个所述历史样本点的颜色值的均值作为所述样本颜色的颜色值；
其中，所述实际颜色包括n个通道的颜色值ai，所述样本颜色包括n个通道的颜色值bi，所述实际颜色的第i个通道与所述样本颜色的第i个通道对应相同颜色，1≤i≤n；
比值计算子模块44，被配置为执行计算所述实际颜色的颜值与所述样本颜色的颜色值的比值
可选地，所述法线包括x方向分量，y方向分量和z方向分量，所述方程构建模块，被配置为执行根据所述三维人脸图像中的环境光沿所述x方向分量normal.x的颜色值lighta，沿所述y方向分量normal.y的颜色值lightb，沿所述z方向分量normal.z的颜色值lightc，和所述采样点的实际颜色与所述采样点的样本颜色的比值I的关联关系构建球谐光照模型方程：
I＝normal.x*lighta+normal.y*lightb+normal.z*lightc。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述任一实施例所述的环境光信息确定方法。
本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的环境光信息确定方法。
可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的环境光信息确定方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。