背景技术

光照分析和处理已成功运用于电影、游戏、3D动画等实际应用中，一些极具真实感的电影当中，光照技术的应用为场景的真实性提供了强有力的支撑。光照对于场景图像的生成重要意义，在不同光照作用下，场景中物体的光照明暗度、阴影、镜面高光等特征会相应发生变化，形成具有真实感的光照变化图像。

当前，大数据量纷繁复杂的图像信息已填充了人们生活的各个角落，大量的图像承载着非常多的信息，处理起来不仅需要复杂的硬件条件，还耗费大量的人力物力，亟需从单张真实光照图像入手，对图像中光照信息进行针对性的分析处理，获得单张图像的光源条件信息以及场景三维空间形构，然后在光源条件信息估算结果的基础上，适当改变光照条件信息，可渲染合成满足人类视觉、心理、真实的动态光照变化图像。

单张图像可以向人们提供场景布局、形构及物体形状特征等信息，还能根据物体表面光照明暗变化、场景中阴影投影方向等信息，提供给人们场景中光源的大致朝向。但仅凭单张图像的二维信息，不能直观得到类似于光源方向、光源位置及场景中物体深度信息等准确的三维信息。因而，基于单张图像的处理与运用充满着挑战和困难。在此之前，现有技术对单张图像的光照信息进行估算处理，大致分为四种：一是借助于光照探测针、探测球、偏振片等额外的设备进行光照条件的估算；二是针对特定的三维结构对光源进行估算；三是基于渲染的单张虚拟图像的光照条件估算；四是基于Kinect的图像解构与渲染估算光照条件的方法。以上四种方法都能在粗略估算得到图像场景的光照条件信息，但这四种方法都存在很大的局限性，其中，最大的局限因素为采用额外的辅助设备，额外的辅助设备不具有普适性，因而，单张图像的光照信息估算具有重要意义和巨大的应用价值。

改变图像场景中光源信息的众多技术中，常见的有图像的重光照技术和基于空间结构的真实感图像渲染技术。重光照技术需要采用复杂的设备获取大量的图像，对场景中不同视角、方位进行光照变化模拟，然后通过改变光照条件，得到任意光照条件、视角变化下增强现实的图像，该技术虽然可以改变光照条件，得到真实场景光照变化的图像，但却不适用于单张图像场景光照的变化。作为一种图像生成方法，传统的真实感图像渲染需要在已知场景三维空间形构、光照信息、物体表面材质属性等信息的前提下，根据光照模型进行渲染，然后在后续的纹理映射、隐藏空间线面等操作下，才能得到具有真实感的光照图像，但单张图像的信息量太少，不足以获得真实感图像渲染的各种参数。例如场景三维空间结构信息，单张图像仅是一个视角下场景信息的呈现，对于估算整个场景的三维空间结构信息存在一定难度，因而，如何最大化的利用单张图像的信息来进行动态光照合成是一个极其充满挑战的工作。

现有技术关于图像中光照条件估算的方法有很多，其中，比较经典的是对有限距离光照的物体表面反射属性和光源位置进行估算，采用了朗伯漫反射模型，运用迭代松弛方案来解构出镜面光和漫反射光以估算光源位置，但该方法具有一定的局限性，实现依赖于偏振滤波器，且要求场景中的物体具有相同的漫反射性质，且显得不够鲁棒。

现有技术基于简单空间形构的光照信息估算以及插入简单空间物体的场景渲染的方法，能够根据简单空间场景的人工交互得到准确的光源位置，但由于该方法光源是场景中固有的，因而不适用于光源移动的相关应用。

现有技术利用基于同一场景、同一视角、不同光照方向的多幅图像来对场景光源位置进行估算，该方法不是直接计算出光源的具体位置，而是运用数据减维技术从一序列的图像中提取出光源的流形位置，然后运用最小二乘法将抽取出来的光源位置进行球面拟合，以得到光源点在三维空间中的具体位置。该方法的数据采样过程很复杂，需要按照特定方式、采用专业的设备对场景物体进行打光操作，实验花销比较大，并且估算结果可能存在很大的误差。因而不适用于一般性的光照信息的估算。

关于图像中光照变化的应用，现有技术较常见的有图像的重光照技术。其中用到球面谐波理论，运用球面谐波函数的离散表示特性，可减少重光照需要采样的数据集数量，得到场景光照的球面谐波Map图，从而可以通过改变该球面谐波函数，渲染合成光照变化的场景图像。但在进行图像生成的过程中要使用大量的图像分割技术，并且Shape FromShading对于物体表面属性有一定的约束条件，只适用于理想漫反射材质物体的问题求解。

除此之外，现有技术的图像光照变化合成方法也还存在不足，本申请的难点和待解决的问题主要集中在以下方面：

第一，现有技术单张图像的动态光照处理面临诸多困难，一方面传统的光照图像生成过程需要知晓场景的三维空间形构以及光照条件等信息，但根据图像成像原理可知，单张图像仅为三维场景信息在二维平面投影，依据该二维信息很难恢复出整个场景的三维空间形构；另一方面，目前针对单张图像光照信息的估算，一般采用光照探测设备的方法或者利用现有空间形构信息的方法，这两者都需要使用额外的测量设备，因而不适用于一般的图像光照变化合成工作；

第二，三维信息向二维信息的转换，这其中自然会损失大量的信息，由于视角的局限性，单张图像的信息往往不足以用来获得场景的深度信息，所以仅从一幅图像的信息一般难以恢复三维场景的空间形构。现有技术获得场景深度信息的方法一般采用微软公司研发的Kinect扫描仪器，单张RGB-D图像可获得整个场景的粗略三维空间形构信息，但它并不是任何人都可以随时随的使用，对没有Kinect设备或其他特殊情况，获得单张图像的深度信息是很困难的事情，同时Kinect获得的信息在精度和效率上也存在较大问题；

第三，对于单张图像的光源估算与应用，现有技术有基于光照探针、偏振滤波片等复杂的测量仪器的、有基于特殊空间布局形构的、有基于渲染的虚拟图像的等等，这些估算光源信息的关联工作要么需要借助额外的探测设备，要么是基于虚拟图像的，对于许多场景下的运用，都存在很大的局限性，现有技术缺少合适的单张图像光源估算与应用方法；

第四，现有技术需要依靠测量设备对光源信息进行求解，无法仅输入单张图像，必须使用额外的测量设备，同时也无法得到动态光照变化的逼真图像；没有利用反射模型进行图像渲染合成，没有充分利用图像解构与光照信息处理结果，无法合成具有真实感的光照变化图像，导致图像的渲染过程非常复杂，无法解决单张图像渲染过程中渲染参数信息不足的问题，得到的光照变化图像不是动态效果，或者明显不够逼真，不具有广泛的应用前景，无法运用在制作单张图像的光照动画、实现虚实融合中图像光照一致性等。