具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的图像融合方法进行详细的解释说明之前，先对本申请实施例提供的图像融合方法的执行主体进行介绍。

本申请实施例提供的图像融合方法的执行主体可以为摄像设备。该摄像设备可以包括摄像头和处理器，该摄像头用于采集图像，该处理器用于对摄像头采集到的图像进行图像处理。

作为一种示例，该摄像设备可以为双目摄像机，该双目摄像机可以包括两路摄像头，用于采集两路图像，一路为通过第一图像传感器采集的未经过红外补光的第一图像，即可见光图像，另一路为通过第二图像传感器采集的经过红外补光的第二图像，即红外图像。然后通过处理器对第一图像和第二图像进行图像融合处理，可以得到图像质量更高的融合图像。其中，第一图像传感器为可见光图像传感器，第二图像传感器为红外图像传感器。

本领域技术人员应能理解上述摄像设备仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

介绍完本申请实施例提供的实施环境后，接下来对本申请实施例提供的图像融合方法进行详细的解释说明。

图1是根据一示例性实施例示出的一种图像融合方法的流程图，该方法应用于上述摄像设备中。请参考图1，该方法可以包括如下步骤：

步骤101：获取第一图像和第二图像，第一图像是摄像设备在未经过红外补光的情况下采集的，第二图像是摄像设备在经过红外补光的情况下采集的。

其中，摄像设备在未经过红外补光的情况下采集的第一图像可以为可见光图像，该第一图像是在未加任何补光装置进行补光的情况下采集的，该第一图像可以包括色彩信息和亮度信息。

其中，摄像设备在经过红外补光的情况下采集的第二图像可以为红外图像，该第二图像是在有红外补光装置进行红外补光的情况下采集的，该第二图像可以包括亮度信息，但不包括色彩信息。

作为一种示例，摄像设备可以通过两路摄像头实时进行图像采集，且第一图像和第二图像通常是同步采集的。

在实施中，在采集图像的过程中，由于外界光照强度极低，采集到的图像可能比较模糊，因此，需要根据外界光照强度，将摄像设备调整至进入长曝光模式或者退出长曝光模式，以便在对应的模式下采集更清晰的图像。

其中，该长曝光模式下的曝光时长大于曝光时长阈值。其中，曝光时长阈值可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限定。例如，曝光时长阈值可以为66ms。

在实施中，可以多次确定外界光照强度，每确定一次外界光照强度，将当前所确定的外界光照强度与光照强度阈值进行比较，记录比较结果。其中，光照强度阈值可以为第一光照强度阈值和/或第二光照强度阈值。若根据所记录的比较结果确定外界光照强度持续低于第一光照强度阈值，进入长曝光模式。

需要说明的是，第一光照强度阈值和第二光照强度阈值均可以由用户根据实际需求进行设置，且可以根据实际情况进行调整，也可以由摄像设备默认设置，本申请实施例对此不做限定。另外，第二光照强度阈值可以小于第一光照强度阈值，如此，可以使得在非长曝光模式采集到的第一图像的图像质量较好。例如，第一光照强度阈值可以为0.2Lx，第二光照强度阈值可以为0.08Lx。

作为一种示例，第一光照强度阈值可以根据大数据或经验来设置。示例性地，可以根据该摄像设备在不同光照强度下采集的第一图像的成像效果来设置，若光照强度低于该第一光照强度阈值，采集的第一图像的噪声会很大且第一图像中的拖影会很差，对第一图像的图像质量影响很大，需要进行长曝光才能提高图像的质量，设置该第一光照强度阈值就是为了将噪声和拖影控制在可接受的范围内。

同理，第二光照强度阈值也可以根据大数据或经验来设置，示例性地，可以根据该摄像设备在不同光照强度下采集的第一图像的成像效果来设置，若光照强度为极低光照强度但高于该第二光照强度阈值，在不进行长曝光的情况下，采集的第一图像的噪声较小且第一图像中拖影较小，使得第一图像的图像质量较好，便可以退出长曝光模式。

另外，根据摄像设备的配置不同，例如图像传感器或光圈不同，设置的第一光照强度阈值和第二光照强度阈值也可能不同。

也就是说，在未经过红外补光的情况下采集图像的过程中，可以多次确定外界光照强度，并且每确定一次外界光照强度，判断当前确定的外界光照强度与第一光照强度阈值的大小关系，或者，判断当前确定的外界光照强度与第二光照强度阈值的大小关系，或者，判断当前确定的外界光照强度分别与第一光照强度阈值和第二光照强度阈值的大小关系，并将比较结果进行记录，进而可以记录多次比较结果。若根据记录的多次比较结果确定外界光照强度持续低于第一光照强度阈值，可以认为外界环境持续处于比较黑暗的状态，在这种情况下采集到的图像的图像质量会很差，因此可以进入长曝光模式。

在实施中，可以通过如下方式确定外界光照强度：

确定目标摄像参数，其中，摄像设备在目标摄像参数下所采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值。基于目标摄像参数，从指定映射关系中确定对应的光照强度，指定映射关系用于指示摄像参数与光照强度的对应关系，将所确定的光照强度确定为外界光照强度。

其中，摄像设备的摄像参数至少可以包括曝光时长和增益。

作为一种示例，对于不同的摄像设备，摄像参数还可以包括摄像设备的镜头的光圈的大小和图像传感器的感光度。

其中，指定映射关系可以预先存储在摄像设备中，且该指定映射关系是根据历史图像、历史外界光照强度以及历史摄像参数分析得到。

需要说明的是，第二差值阈值可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限制。例如，第二差值阈值可以为2。

需要说明的是，期望亮度值可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限定。例如，期望亮度值可以为10，该数值10仅为举例，可以用来表示亮度的程度。在实施中，期望亮度值还可以为200cd/m2等。

作为一种示例，期望亮度值是能够使得图像的质量以及效果较好的图像的亮度值。预先存储的指定映射关系指示的是在使得图像的亮度达到期望亮度的情况下，不同的摄像参数与光照强度的对应关系。也就是说，在指定映射关系中的某光照强度下，使用该某光照强度对应的摄像参数采集的图像的亮度与期望亮度接近。因此，通过使得图像的亮度值与期望亮度值接近的目标摄像参数可以确定外界光照强度。另外，将图像的亮度从与期望亮度不接近调整至与期望亮度接近的过程是非常快的，在此过程中，图像的亮度未达到期望亮度，若使用次过程中的摄像参数确定外界光照强度，可能导致确定的外界光照强度不准确。因此，需要使用使得摄像设备采集的图像的亮度达到期望亮度的目标摄像参数确定外界光照强度。

也就是说，确定外界光照强度的过程中，可以先确定能够使得摄像设备所采集的图像的亮度与期望亮度相接近的目标摄像参数，然后基于目标摄像参数，从预先存储的摄像参数与光照强度的对应关系中确定该目标摄像参数对应的光照强度，将所确定的光照强度确定为外界光照强度。

在实施中，确定目标摄像参数的具体实现可以包括：将当前的摄像参数确定为参考摄像参数，基于参考摄像参数采集图像。若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，调整摄像设备当前的摄像参数。将调整后的摄像参数确定为参考摄像参数，并继续返回基于参考摄像参数采集图像的步骤，直到所采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值时，将当前所采集的图像对应的摄像参数确定为目标摄像参数。

也就是说，可以将摄像设备当前的摄像参数确定为参考摄像参数，然后基于该参考摄像参数采集图像，将所采集的图像的亮度值与期望亮度值进行对比，若采集的图像的亮度值与期望亮度值相差较大，可以认为采集的图像的亮度没有达到所需要的期望亮度，可以重新调整摄像设备当前的摄像参数，然后将调整后的摄像参数确定为参考摄像参数，继续基于参考摄像参数采集图像，继续将采集的图像的亮度值与期望亮度值进行对比，若还是没有达到期望亮度，继续调整当前的摄像参数，直到所采集的图像的亮度值与期望亮度值比较接近，即所采集的图像的亮度达到所需要的期望亮度，可以将当前所采集的图像对应的摄像参数确定为目标摄像参数。

在一些实施例中，若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，可以认为所采集的图像的亮度与期望亮度相差很远，不满足对图像的亮度的期望，因此，需要对摄像设备当前的摄像参数进行调整，以使得所采集的图像的亮度满足用户需求，进而确定目标摄像参数。

作为一种示例，若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，且所采集的图像的亮度值小于期望亮度值，可以认为所采集的图像的亮度偏低，可以增加曝光时长和/或增益。示例性地，可以仅增加曝光时长，或者仅增加增益，或者增加曝光时长和增益。

作为另一种示例，若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，且所采集的图像的亮度值大于期望亮度值，可以认为所采集的图像的亮度偏高，可以减小曝光时长和/或增益。示例性地，可以仅减小曝光时长，或者仅减小增益，或者减小曝光时长和增益。

在实施中，确定目标摄像参数后，可以根据目标摄像参数确定外界光照强度。

作为一种示例，假设外界光照强度可以用0-10来表示，0表示外界光照强度最高，10表示外界光照强度最低，0-10分别可以对应一组摄像参数。确定目标摄像参数后，可以根据预先存储的摄像参数与外界光照强度的对应关系，确定该目标摄像参数对应的外界光照强度。

作为另一种示例，可以将摄像参数范围与外界光照强度的对应关系以指定映射关系的形式预先存储在摄像设备中。假设外界光照强度可以用0-10来表示，0表示外界光照强度最高，10表示外界光照强度最低，0-10分别可以对应一组摄像参数范围。确定目标摄像参数后，可以根据预先存储的摄像参数与外界光照强度的对应关系，先确定与目标摄像参数所属的摄像参数范围，再将该摄像参数范围对应的外界光照强度确定为与目标摄像参数对应的外界光照强度。

在实施中，多次根据目标参数确定外界光照强度的过程中，每确定一次外界光照强度，可以将当前确定的外界光照强度与第一光照强度阈值进行比较，并记录比较结果。示例性地，假设第一光照强度阈值为0.08Lx，某次确定的外界光照强度为0.06Lx，可以记录比较结果为外界光照强度小于第一光照强度阈值。

在实施中，根据记录的比较结果确定外界光照强度持续低于第一光照强度阈值可以包括如下几种判断方式：

第一种判断方式：在第一时长内，每次记录的比较结果均为外界光照强度小于第一光照强度阈值。

其中，第一时长可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不作限定。例如，第一时长可以为5秒。

也就是说，如果在第一时长内，每次确定的外界光照强度都小于第一光照强度阈值，可以认为在该第一时长内外界环境持续处于极低的光照强度下，因此可以将这种情况确定为外界光照强度持续低于第一光照强度阈值。

在该种实现方式中，上述对比外界光照强度与第一光照强度阈值，并记录比较结果的过程中，还可以统计比较结果为外界光照强度小于第一光照强度阈值的次数，每当记录一次外界光照强度小于第一光照强度阈值，将统计的比较结果为外界光照强度小于第一光照强度阈值的次数加1。

示例性地，若某次确定的外界光照强度为0.07，可以记录比较结果为外界光照强度小于第一光照强度阈值，并将统计比较结果为外界光照强度小于第一光照强度阈值的次数加1，得到当前统计的比较结果为外界光照强度小于第一光照强度阈值的次数为1。

第二种判断方式：在第二时长内，有M次记录的比较结果为外界光照强度不小于第一光照强度阈值，其他每次记录的比较结果均为外界光照强度小于第一光照强度阈值。

其中，第二时长可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不作限定。例如，第二时长可以为6秒。

需要说明的是，第一时长和第二时长可以相同，也可以不相同，本申请实施例对此不作限定。

其中，M为大于0的正整数，且M可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不作限定。作为一种示例，M的取值可以设置地比较小，例如，M可以为1。

也就是说，如果在第二时长内，有M次确定的外界光照强度不小于第一光照强度阈值，其他每次确定的外界光照强度都小于第一光照强度阈值，可以认为在该第二时长内外界环境大多数时间处于极低的光照强度下，只有某时刻处于高于第一光照强度阈值的光照强度下，这种可能是突然开灯又关掉的情况，持续时间非常短，可以忽略不计，因此，可以将这种情况确定为外界光照强度持续低于第一光照强度阈值。

第三种判断方式：在连续N次内，每次记录的比较结果均为外界光照强度小于第一光照强度阈值。

其中，N为大于0的正整数，且N可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不作限定。例如，N可以为20。

也就是说，如果在连续N次内，每次确定的外界光照强度都小于第一光照强度阈值，可以认为在该连续N次内外界环境持续处于极低的光照强度下，因此可以将这种情况确定为外界光照强度持续低于第一光照强度阈值。

第四种判断方式：在连续N次内，有K次记录的比较结果为外界光照强度不小于第一光照强度阈值，其他每次记录的比较结果均为外界光照强度小于第一光照强度阈值。

其中，K为大于0的正整数，且K可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不作限定。作为一种示例，K的取值可以设置地比较小，例如，K可以为2。

也就是说，如果在连续N次内，有K次确定的外界光照强度不小于第一光照强度阈值，其他每次确定的外界光照强度都小于第一光照强度阈值，可以认为在该连续N次内外界环境大多数时间处于极低的光照强度下，只有K次处于高于第一光照强度阈值的光照强度下，这种可能是突然开灯又关掉的情况，持续时间非常短，可以忽略不计，因此，可以将这种情况确定为外界光照强度持续低于第一光照强度阈值。

在实施中，若确定外界光照强度持续低于第一光照强度阈值，可以认为外界环境持续处于极低光照强度的情况下，光照严重不足，需要进入长曝光模式以便提高采集的图像的图像质量。

在实施中，长曝光模式下可以包括至少一个曝光时长，进入长曝光模式的具体实现可以包括：调整摄像设备的增益为第一增益，第一增益为使得所采集的图像的噪声小于噪声阈值的增益。增大摄像设备的曝光时长，得到长曝光模式下的一个曝光时长。

需要说明的是，第一增益可以由用户根据大数据或经验进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限定。例如，第一增益可以为38dB。

需要说明的是，噪声阈值可以由用户根据大数据或经验进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限定。例如，噪声阈值可以为2dB。

也就是说，进入长曝光模式后，由于摄像设备在第一增益下所采集的图像的噪声小于噪声阈值，因此可以先将摄像设备的增益调整为第一增益，然后增大曝光时长，得到长曝光模式下的一个曝光时长，该曝光时长大于曝光时长阈值。

在实施中，增大摄像设备的曝光时长之后，还包括：在基于增大后的曝光时长和第一增益采集的图像的亮度值小于期望亮度值，且基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，继续增大摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长。或者，在基于增大后的曝光时长和第一增益采集的图像的亮度值大于期望亮度值，且基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，减小摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长。

也就是说，增大曝光时长后，还需要基于增大后的曝光时长和第一增益采集图像，并将所采集的图像与亮度值与期望亮度值进行比较，若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，说明所采集的图像的亮度与期望亮度的差距较大，从而说明对曝光时长的调整还不够，图像的亮度未达到期望，还需要对摄像设备的曝光时长进行调整。

作为一种示例，在基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，若基于增大后的曝光时长和第一增益采集的图像的亮度值小于期望亮度值，可以认为所采集的图像的亮度偏低，需要继续增大摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长。

作为另一种示例，在基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，若基于增大后的曝光时长和第一增益采集的图像的亮度值大于期望亮度值，可以认为所采集的图像的亮度偏高，需要减小摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长。

在实施中，对摄像设备的曝光时长进行调整后，可以基于调整后的曝光时间和第一增益采集图像，若采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，说明当前采集的图像的亮度未达到期望亮度的要求，对曝光时长的调整还不够，可以继续调整曝光时长，直到采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值，可以认为当前采集的图像的亮度达到期望，可以根据当前的曝光时长和第一增益确定外界光照强度，并将确定的外界光照强度与第二光照强度阈值进行对比，记录比较结果。

也就是说，在长曝光模式下，仍然需要不断调整曝光时长，多次确定外界光照强度，记录比较结果，并根据记录的比较结果确定外界光照强度与第二光照强度阈值的关系，判断摄像设备是退出长曝光模式，还是继续处于长曝光模式。

进一步地，若根据所记录的比较结果确定外界光照强度持续高于第二光照强度阈值，且当前处于长曝光模式，退出长曝光模式。

也就是说，若根据所记录的比较结果确定外界光照强度持续高于第二光照强度阈值，可以认为外界环境持续处于光照强度较高的情况下，不需要很大的曝光时长，若当前处于长曝光模式，可以退出长曝光模式。

需要说明的是，确定外界光照强度是否持续高于第二光照强度阈值的方法与上述实施例确定外界光照强度持续低于第一光照强度阈值的方法雷同，具体实现方式可以参见上述实施例相关描述，本申请实施例在此不再赘述。

在一些实施例中，退出长曝光模式可以包括：调整摄像设备当前的曝光时长至指定曝光时长，指定曝光时长小于或等于曝光时长阈值。调整摄像设备当前的增益。

其中，指定曝光时长可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不作限定。例如，指定曝光时长可以为60ms。

也就是说，退出长曝光模式，说明当前的外界光照强度比较足够，可以不用增大曝光时长，只需增大增益即可。由于摄像设备在指定曝光时长下所采集的图像的质量较高，因此可以先将摄像设备当前的曝光时长调整为指定曝光时长，然后增大摄像设备当前的增益为大于第一增益。

作为一种示例，调整后的增益可以大于使得所采集的图像的噪声最小的增益。

在实施中，增大摄像设备当前的增益后，还需要基于指定曝光时长和增大后的增益采集图像，并将所采集的图像的亮度值与期望亮度值进行对比，若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，说明对增益的调整还不够，图像的亮度未达到期望，还需要继续对摄像设备的增益进行调整。

作为一种示例，在基于增大后的增益和指定曝光时长采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，若基于增大后的增益和指定曝光时长采集的图像的亮度值小于期望亮度值，可以认为所采集的图像的亮度偏低，需要继续增大摄像设备当前的增益，直到所采集的图像的亮度达到期望。

作为另一种示例，在基于增大后的增益和指定曝光时长采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，若基于增大后的增益和指定曝光时长采集的图像的亮度值大于期望亮度值，可以认为所采集的图像的亮度偏高，需要减小摄像设备当前的增益，直到所采集的图像的亮度达到期望。

在实施中，对摄像设备的增益进行调整后，可以基于调整后的增益和指定曝光时长采集图像，若采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，说明当前采集的图像的亮度还未达到期望亮度的要求，对增益的调整还不够，可以继续调整增益，直到采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值，可以认为当前采集的图像的亮度达到期望，可以根据当前的增益和指定曝光时长确定外界光照强度，并将确定的外界光照强度与第一光照强度阈值进行对比，记录比较结果。

也就是说，退出长曝光模式后，仍然需要不断调整增益，多次确定外界光照强度，记录比较结果，并根据记录的比较结果确定外界光照强度与第一光照强度阈值的关系，判断摄像设备是进入长曝光模式，还是继续处于当前模式。

在另一些实施例中，若外界光照强度持续高于第二光照强度阈值，当前的曝光时长可能小于曝光时长阈值。如此，退出长曝光模式包括：保持当前曝光时长和增益不变，并基于当前曝光时间和增益采集图像，然后根据所采集的图像对曝光时长和增益进行调整。

需要说明的是，退出长曝光模式后，增大增益的过程中，若将增益增大到第二增益，基于该第二增益和当前的曝光时长所采集的图像的亮度仍然没有达到期望亮度，由于在第二增益下采集的图像的噪声已经较大了，因此可以不再继续增大增益，此时，若当前的曝光时长小于曝光时长阈值，可以增大曝光时长，直到曝光时长等于曝光时长阈值，然后继续采集图像做判断。

其中，在增益为第二增益的情况下，采集的图像的噪声比较大，若增益大于第二增益，采集的图像的噪声会更大，对图像的质量影响非常大，因此，可以控制增益的调整上限，尽量不大于第二增益。

需要说明的是，该第二增益可以由用户根据经验和大数据进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限定。例如，第二增益可以为50dB。

通过上述方式对摄像设备的摄像参数不断进行调整，可以在不同时刻采集到不同摄像参数下的图像，进而可以得到与第二图像为同一时刻的第一图像。

示例性地，参见图2，调整摄像设备的摄像参数的步骤可以描述为首先多次获取外界光照强度，然后判断外界光照强度与光照强度阈值的大小关系。若确定外界光照强度持续低于第一光照强度阈值，进入长曝光模式，调整增益为第一增益，增大曝光时长；若确定外界光照强度持续高于第二光照强度阈值，若当前处于长曝光模式，则退出长曝光模式，固定曝光时长为指定曝光时长，调整增益。

步骤102：若第一图像是摄像设备在长曝光模式下采集的，调整第一图像和/或第二图像的融合加权系数，得到第一图像的第一融合加权系数和第二图像的第二融合加权系数，第一融合加权系数与第二融合加权系数的差值大于第一差值阈值，长曝光模式下的曝光时长大于曝光时长阈值。

其中，第一图像和第二图像的融合加权系数可以是由用户预先根据实际需求进行设置的，也可以是由摄像设备默认设置的，本申请实施例对此不做限定。

其中，第一差值阈值可以由用户根据实际需求进行设置，也可以由摄像设备默认设置，本申请实施例对此不做限定。例如，第一差值阈值可以为5。

长曝光模式下采集的第一图像虽然包括颜色，但帧率较低会影响图像的显示效果，且图像中的细节信息可能不清楚，而第二图像虽然没有颜色，但细节信息比较清晰且帧率为比较高的帧率，因此，可以将第一图像和第二图像进行融合，得到的融合图像不但可以保留第二图像上清晰的细节信息，而且含有第一图像上的颜色，信息量更加丰富，另外，还使得融合图像的帧率为较高的帧率，避免图像出现卡顿，影响显示效果。

在实施中，由于图像采集与图像融合是实时进行的，因此，可以根据摄像设备当前的摄像参数确定第一图像是否是在长曝光模式下采集的。若第一图像是摄像设备在长曝光模式下采集的，由于长曝光模式下采集的第一图像可能会比较清晰，也可能会出现拖影问题。因此，根据实际情况不同，若需要将第一图像和第二图像进行图像融合，可以分别调整第一图像和第二图像的融合加权系数，或者，可以仅调整第一图像的融合加权系数，或者，可以仅调整第二图像的融合加权系数，得到第一图像的第一融合加权系数和第二图像的第二融合加权系数，并且使得第一融合加权系数和第二融合加权系数相差较大，以便可以根据实际需求进行图像融合，使得融合图像更加倾向于第一图像和第二图像中图像质量更好的图像，可以提高融合图像的图像质量。

在光照强度较低的情况下，通过摄像设备采集图像的过程中，采用长曝光模式可以拍摄出帧率较低但是噪声较小的图像，而且，若图像中不包括运动物体，拍摄的图像会比较清晰。但是若图像中存在运动物体，则图像中的运动物体会出现运动模糊的拖影现象，导致图像比较模糊。因此，可以根据第二图像中是否包括运动物体来判断如何调整第一图像和第二图像的融合加权系数。

在一些实施例中，若第一图像是摄像设备在长曝光模式下采集的，确定第二图像是否包括运动物体。在第二图像包括运动物体的情况下，减小第一图像的融合加权系数，和/或，增大第二图像的融合加权系数，第一融合加权系数小于第二融合加权系数。

也就是说，若第一图像是在长曝光模式下采集的，还可以判断与第一图像采集时间相同的第二图像中是否存在运动物体，若第二图像中包括运动物体，可以认为第一图像中拖影问题比较严重，第一图像比较模糊，因此，可以减小第一图像的融合加权系数并增大第二图像的融合加权系数，或者，仅减小第一图像的融合加权系数，或者，仅增大第二图像的融合加权系数，使得第一融合加权系数小于第二融合加权系数，即使得融合图像更加倾向于第二图像，减少融合图像中的拖影问题，提高融合图像的清晰度。

在实施中，可以通过深度学习、背景建模、图像运动检测等方式确定第二图像中是否包括运动物体。

在另一些实施例中，若第一图像是摄像设备在长曝光模式下采集的，确定第二图像是否包括运动物体。在第二图像不包括运动物体的情况下，增大第一图像的融合加权系数，和/或，减小第二图像的融合加权系数，第一融合加权系数大于第二融合加权系数。

也就是说，若第一图像是在长曝光模式下采集的，还可以判断与第一图像采集时间相同的第二图像中是否存在运动物体，若第二图像中不包括运动物体，说明第一图像也不包括运动物体，可以认为第一图像比较清晰，因此，可以增大第一图像的融合加权系数并减小第二图像的融合加权系数，或者，仅增大第一图像的融合加权系数，或者，仅减小第二图像的融合加权系数，使得第一融合加权系数大于第二融合加权系数，即使得融合图像更加倾向于第一图像，使得融合图像更能反映实际情况，且提高了融合图像的清晰度。

进一步地，若第一图像不是在长曝光模式下采集的，则第一图像中可能不会有拖影问题，这种情况下，可以不判断第二图像是否包括运动物体，直接增大第一图像的融合加权系数，和/或，减小第二图像的融合加权系数，使得第一融合加权系数大于第二融合加权系数，如此，得到的融合图像更倾向于第一图像，能够更加真实地反映外界情况。

示例性地，参见图3，调整第一图像和第二图像的融合加权系数的步骤可以描述为：获取第二图像，判断第一图像是否是在长曝光模式下采集的，若是，判断第二图像中是否包括运动物体，若第二图像包括运动物体，可以调整使得第一融合加权系数小于第二融合加权系数；若第二图像中不包括运动物体，可以调整使得第一融合加权系数大于第二融合加权系数；若第一图像不是在长曝光模式下采集的，可以调整使得第一融合加权系数大于第二融合加权系数。

步骤103：基于第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，得到融合图像。

在一些实施例中，可以直接将第一图像中每个像素点的像素值与第一融合加权系数相乘，得到第三图像，然后将第二图像中每个像素点的像素值与第二融合加权系数相乘，得到第四图像，然后将第三图像和第四图像叠加，可以得到融合图像。

在另一些实施例中，可以将第一图像进行色彩和亮度分离，得到色彩图像和亮度图像，然后将亮度图像与第一融合加权系数相乘，得到第一亮度图像，将第二图像与第二融合加权系数相乘，得到第二亮度图像。将第一亮度图像与第二亮度图像进行叠加，得到第三亮度图像，再将第三亮度图像与色彩图像进行融合，可以得到融合图像。

作为一种示例，若第二图像中包括运动物体，可以通过运动检测分别确定第一图像中运动物体的第一运动区域和第二图像中运动物体的第二运动区域，在进行图像融合的过程中，将第一运动区域与第一融合加权系数相乘，和/或，将第二运动区域与第二融合加权系数相乘。并且，将第一图像中除该第一运动区域之外的其他区域与第一图像的融合加权系数相乘，以及将第二图像中除第二运动区域之外的其他区域与第二图像的融合加权系数相乘。然后基于相乘后的数据进行图像叠加，得到融合图像。

需要说明的是，在图像融合的过程中，需要以第二图像为基准。即若第一图像是在长曝光模式下采集的，在1s内仅采集了1帧，第二图像在1s内采集了15帧，可以将该1帧第一图像分别与15帧第二图像进行图像融合，得到15帧融合图像。

示例性地，参见图3，调整好第一融合加权系数和第二融合加权系数后，根据第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，得到融合图像。

在本申请实施例中，获取摄像设备采集的第一图像和第二图像，该第一图像是在未经过红外补光的情况下采集的，该第二图像是在经过红外补光的情况下采集的。若该第一图像是摄像设备在曝光时长大于曝光时长阈值的长曝光模式下采集的，由于长曝光模式下采集的图像可能会比较清晰，也可能产生拖影问题，因此根据实际情况不同，可以分别调整第一图像和第二图像的融合加权系数，或者，可以仅调整第一图像的融合加权系数，或者，可以仅调整第二图像的融合加权系数，进而得到第一图像的第一融合加权系数和第二图像的第二融合加权系数。为了使得到的融合图像可以与第一图像和第二图像中图像质量较好的图像更接近，可以使得第一融合加权系数和第二融合加权系数的差值大于第一差值阈值，即使得第一融合加权系数和第二融合加权系数相差较大。然后，基于得到的第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，这样得到的融合图像会更倾向于第一图像和第二图像中质量更好的图像，提高了融合图像的图像质量。

图4是根据一示例性实施例示出的一种图像融合装置的结构示意图，该图像融合装置可以由软件、硬件或者两者的结合实现成为摄像设备的部分或者全部。请参考图4，该装置包括：获取模块401、调整模块402和图像融合模块403。

获取模块401，用于获取第一图像和第二图像，第一图像是摄像设备在未经过红外补光的情况下采集的，第二图像是摄像设备在经过红外补光的情况下采集的；

调整模块402，用于若第一图像是摄像设备在长曝光模式下采集的，调整第一图像和/或第二图像的融合加权系数，得到第一图像的第一融合加权系数和第二图像的第二融合加权系数，第一融合加权系数与第二融合加权系数的差值大于第一差值阈值，长曝光模式下的曝光时长大于曝光时长阈值；

图像融合模块403，用于基于第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，得到融合图像。

在本申请一种可能的实现方式中，调整模块402用于：

若第一图像是摄像设备在长曝光模式下采集的，确定第二图像是否包括运动物体；

在第二图像包括运动物体的情况下，减小第一图像的融合加权系数，和/或，增大第二图像的融合加权系数，第一融合加权系数小于第二融合加权系数。

在本申请一种可能的实现方式中，调整模块402用于：

若第一图像是摄像设备在长曝光模式下采集的，确定第二图像是否包括运动物体；

在第二图像不包括运动物体的情况下，增大第一图像的融合加权系数，和/或，减小第二图像的融合加权系数，第一融合加权系数大于第二融合加权系数。

在本申请一种可能的实现方式中，获取模块401还用于：

多次确定外界光照强度；

每确定一次外界光照强度，将当前所确定的外界光照强度与光照强度阈值进行比较，记录比较结果，光照强度阈值包括第一光照强度阈值和/或第二强度阈值；

若根据所记录的比较结果确定外界光照强度持续低于第一光照强度阈值，进入长曝光模式。

在本申请一种可能的实现方式中，通过如下方式确定外界光照强度：

确定目标摄像参数，其中，摄像设备在目标摄像参数下所采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值；

基于目标摄像参数，从指定映射关系中确定对应的光照强度，指定映射关系用于指示摄像参数与光照强度的对应关系；

将所确定的光照强度确定为外界光照强度。

在本申请一种可能的实现方式中，获取模块401还用于：

将当前的摄像参数确定为参考摄像参数；

基于参考摄像参数采集图像；

若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，调整摄像设备当前的摄像参数；

将调整后的摄像参数确定为参考摄像参数，并继续返回基于参考摄像参数采集图像的步骤；

直到所采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值时，将当前所采集的图像对应的摄像参数确定为目标摄像参数。

在本申请一种可能的实现方式中，长曝光模式下包括至少一个曝光时长，获取模块401还用于：

调整摄像设备的增益为第一增益，第一增益为使得所采集的图像的噪声小于噪声阈值的增益；

增大摄像设备的曝光时长，得到长曝光模式下的一个曝光时长。

在本申请一种可能的实现方式中，获取模块401还用于：

在基于增大后的曝光时长和第一增益采集的图像的亮度值小于期望亮度值，且基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，继续增大摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长；或者，

在基于增大后的曝光时长和第一增益采集的图像的亮度值大于期望亮度值，且基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，减小摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长。

在本申请一种可能的实现方式中，获取模块401还用于：

若根据所记录的比较结果确定外界光照强度持续高于第二光照强度阈值，且当前处于长曝光模式，退出长曝光模式。

在本申请一种可能的实现方式中，获取模块401还用于：

调整摄像设备当前的曝光时长至指定曝光时长，指定曝光时长小于或等于曝光时长阈值；

调整摄像设备当前的增益。

在本申请实施例中，获取摄像设备采集的第一图像和第二图像，该第一图像是在未经过红外补光的情况下采集的，该第二图像是在经过红外补光的情况下采集的。若该第一图像是摄像设备在曝光时长大于曝光时长阈值的长曝光模式下采集的，由于长曝光模式下采集的图像可能会比较清晰，也可能产生拖影问题，因此，根据实际情况，可以分别调整第一图像和第二图像的融合加权系数，或者，可以仅调整第一图像的融合加权系数，或者，可以仅调整第二图像的融合加权系数，进而得到第一图像的第一融合加权系数和第二图像的第二融合加权系数。为了使得到的融合图像可以与第一图像和第二图像中图像质量较好的图像更接近，可以使得第一融合加权系数和第二融合加权系数的差值大于第一差值阈值，即使得第一融合加权系数和第二融合加权系数相差较大。然后，基于得到的第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，这样得到的融合图像会更倾向于第一图像和第二图像中质量更好的图像，提高了融合图像的图像质量。

需要说明的是：上述实施例提供的图像融合装置在进行图像融合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是根据另一示例性实施例示出的一种图像融合装置的结构示意图，该图像融合装置可以由软件、硬件或者两者的结合实现成为摄像设备的部分或者全部。请参考图5，该装置包括：第一图像传感器501、第二图像传感器502和处理器503。

第一图像传感器501，用于获取第一图像，第一图像是在未经过红外补光的情况下采集的；

其中，第一图像传感器501可以为可见光图像传感器，第一图像可以为可见光图像。

第二图像传感器502，用于获取第二图像，第二图像是在经过红外补光的情况下采集的；

其中，第二图像传感器502可以为红外图像传感器，第二图像可以为红外图像。

处理器503，用于若第一图像是摄像设备在长曝光模式下采集的，调整第一图像和/或第二图像的融合加权系数，得到第一图像的第一融合加权系数和第二图像的第二融合加权系数，第一融合加权系数与第二融合加权系数的差值大于第一差值阈值，长曝光模式下的曝光时长大于曝光时长阈值。基于第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，得到融合图像。

在本申请一种可能的实现方式中，处理器503用于：

若第一图像是摄像设备在长曝光模式下采集的，确定第二图像是否包括运动物体。在第二图像包括运动物体的情况下，减小第一图像的融合加权系数，和/或，增大第二图像的融合加权系数，第一融合加权系数小于第二融合加权系数。

也就是说，如果第一图像是摄像设备在长曝光模式下采集的，处理器可以判断第二图像中是否包括运动物体，若第二图像中包括运动物体，说明第一图像中也包括运动物体，而在长曝光模式下，包括运动物体的第一图像会存在严重的拖影问题，因此，可以减小第一图像的融合加权系数，或者，增大第二图像的融合加权系数，或者，减小第一图像的融合加权系数并增大第二图像的融合加权系数，使得第一融合加权系数小于第二融合加权系数，可以使融合图像更加倾向于第二图像，提高融合图像的图像质量。

在本申请一种可能的实现方式中，处理器503用于：

若第一图像是摄像设备在长曝光模式下采集的，确定第二图像是否包括运动物体。在第二图像不包括运动物体的情况下，增大第一图像的融合加权系数，和/或，减小第二图像的融合加权系数，第一融合加权系数大于第二融合加权系数。

也就是说，如果第一图像是摄像设备在长曝光模式下采集的，处理器可以判断第二图像中是否包括运动物体，若第二图像中不包括运动物体，说明第一图像中也不包括运动物体，而在长曝光模式下，不包括运动物体的第一图像会更加清晰，因此，可以增大第一图像的融合加权系数，或者，减小第二图像的融合加权系数，或者，增大第一图像的融合加权系数并减小第二图像的融合加权系数，使得第一融合加权系数大于第二融合加权系数，可以使融合图像更加倾向于第一图像，提高融合图像的图像质量。

在本申请一种可能的实现方式中，处理器503还用于：

多次确定外界光照强度，每确定一次外界光照强度，将当前所确定的外界光照强度与光照强度阈值进行比较，记录比较结果，光照强度阈值包括第一光照强度阈值和/或第二强度阈值。若根据所记录的比较结果确定外界光照强度持续低于第一光照强度阈值，进入长曝光模式。

在本申请一种可能的实现方式中，处理器503用于通过如下方式确定外界光照强度：

确定目标摄像参数，其中，摄像设备在目标摄像参数下所采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值。基于目标摄像参数，从指定映射关系中确定对应的光照强度，将所确定的光照强度确定为外界光照强度，指定映射关系用于指示摄像参数与光照强度的对应关系。

在本申请一种可能的实现方式中，处理器503用于：

将当前的摄像参数确定为参考摄像参数，基于参考摄像参数采集图像；

若所采集的图像的亮度值与期望亮度值的差值大于第二差值阈值，调整摄像设备当前的摄像参数；

将调整后的摄像参数确定为参考摄像参数，并继续返回基于参考摄像参数采集图像的步骤；

直到所采集的图像的亮度值与期望亮度值的差值小于或等于第二差值阈值时，将当前所采集的图像对应的摄像参数确定为目标摄像参数。

在本申请一种可能的实现方式中，处理器503用于：

长曝光模式下包括至少一个曝光时长，调整摄像设备的增益为第一增益，第一增益为使得所采集的图像的噪声小于噪声阈值的增益。增大摄像设备的曝光时长，得到长曝光模式下的一个曝光时长。

在本申请一种可能的实现方式中，处理器503还用于：

在基于增大后的曝光时长和第一增益采集的图像的亮度值小于期望亮度值，且基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，继续增大摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长；或者，

在基于增大后的曝光时长和第一增益采集的图像的亮度值大于期望亮度值，且基于增大后的曝光时长和第一增益采集的图像的亮度值与期望亮度值的差值大于第二差值阈值的情况下，减小摄像设备的曝光时长，得到长曝光模式下的另一个曝光时长。

在本申请一种可能的实现方式中，处理器503还用于：

若根据所记录的比较结果确定外界光照强度持续高于第二光照强度阈值，且当前处于长曝光模式，退出长曝光模式。

在本申请一种可能的实现方式中，处理器503用于：

调整摄像设备当前的曝光时长至指定曝光时长，指定曝光时长小于或等于曝光时长阈值，调整摄像设备当前的增益。

在本申请实施例中，获取摄像设备采集的第一图像和第二图像，该第一图像是在未经过红外补光的情况下采集的，该第二图像是在经过红外补光的情况下采集的。若该第一图像是摄像设备在曝光时长大于曝光时长阈值的长曝光模式下采集的，由于长曝光模式下采集的图像可能会比较清晰，也可能产生拖影问题，因此，根据实际情况，可以分别调整第一图像和第二图像的融合加权系数，或者，可以仅调整第一图像的融合加权系数，或者，可以仅调整第二图像的融合加权系数，进而得到第一图像的第一融合加权系数和第二图像的第二融合加权系数。为了使得到的融合图像可以与第一图像和第二图像中图像质量较好的图像更接近，可以使得第一融合加权系数和第二融合加权系数的差值大于第一差值阈值，即使得第一融合加权系数和第二融合加权系数相差较大。然后，基于得到的第一融合加权系数和第二融合加权系数，将第一图像和第二图像进行图像融合，这样得到的融合图像会更倾向于第一图像和第二图像中质量更好的图像，提高了融合图像的图像质量。

需要说明的是：上述实施例提供的图像融合装置在进行图像融合时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像融合装置与图像融合方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是根据一示例性实施例示出的一种摄像设备的结构示意图。摄像设备包括中央处理单元(CPU)601、包括随机存取存储器(RAM)602和只读存储器(ROM)603的系统存储器604，以及连接系统存储器604和中央处理单元601的系统总线605。摄像设备还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)606，和用于存储操作系统613、应用程序614和其他程序模块615的大容量存储设备607。

基本输入/输出系统606包括有用于显示信息的显示器608和用于用户输入信息的诸如鼠标、键盘之类的输入设备609。其中显示器608和输入设备609都通过连接到系统总线605的输入输出控制器610连接到中央处理单元601。基本输入/输出系统606还可以包括输入输出控制器610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器610还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备607通过连接到系统总线605的大容量存储控制器(未示出)连接到中央处理单元601。大容量存储设备607及其相关联的计算机可读介质为摄像设备提供非易失性存储。也就是说，大容量存储设备607可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器604和大容量存储设备607可以统称为存储器。

根据本申请的各种实施例，摄像设备还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即摄像设备可以通过连接在系统总线605上的网络接口单元611连接到网络612，或者说，也可以使用网络接口单元611来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中图像融合方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图像融合方法的步骤。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。