图像融合方法、设备及计算机存储介质
阅读说明：本技术 图像融合方法、设备及计算机存储介质 (Image fusion method, device and computer storage medium ) 是由 姜平 万珺 何洪路 马楷 杨华 黄嘉良 陈俊城 黄平 许敏 徐景亮 林明辉 周 于 2021-08-26 设计创作，主要内容包括：本申请提供一种图像融合方法、设备及计算机存储介质,主要包括获取各拍摄装置对应的各原始图像以及各原始图像对应的各位置信息；根据预设转换规则,针对各原始图像对应的各位置信息执行转换处理,获得各原始图像对应的各转换图像；再针对各转换图像执行融合处理,获得融合图像。借此,本申请可提高图像融合效果,且所述融合图像可供实现全景空间下的监控调度,以有效提高监控效率。(The application provides an image fusion method, image fusion equipment and a computer storage medium, which mainly comprise the steps of obtaining each original image corresponding to each shooting device and each position information corresponding to each original image; according to a preset conversion rule, performing conversion processing on each position information corresponding to each original image to obtain each conversion image corresponding to each original image; and then executing fusion processing aiming at each converted image to obtain a fused image. Therefore, the image fusion effect can be improved, and the fusion image can be used for realizing monitoring scheduling in a panoramic space, so that the monitoring efficiency is effectively improved.)
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像融合方法、装置及计算机存储介质。
背景技术
在机场海关旅检工作中，对于一些在系统中重点标注的旅客，能够准确地进行识别、定位、跟踪，一直是海关查验关员重要的工作内容之一。同时，就目前而言，针对已识别的重点关注旅客，如何做到持续追踪、快速响应、有效调度开展相关工作，更多的是凭借海关关员的主观分析与经验总结，此不仅对于关员的个人工作经验要求较高，且由于前置信息不够完整，使得判断准确性也十分有限。
目前的机场均配置有摄像头和视频监控系统，其可支持对视频结果进行追溯、存储及搜索，以及由前端人脸抓拍完成人脸检测、上报的功能。但是，由于机场海关的现有监控系统无法针对大空间内多路摄像头进行有效关联，若仅通过人工查阅视频录像，容易出现因旅客跨越镜头、利用障碍物躲避、更换着装等情况，而导致人员踪迹丢失的风险。
有鉴于此，亟需一种低成本且高准确性的监控处理技术。
发明内容
鉴于上述问题，本申请提供一种图像融合方法、设备及计算机存储介质，可提高图像融合效果，并可提供在视频拼接实景下实现监控，以提高监控准确性。
本申请第一方面提供一种图像融合方法，其包括：获取各拍摄装置对应的各原始图像以及各所述原始图像对应的各位置信息；根据预设转换规则，针对各所述原始图像对应的各所述位置信息执行转换处理，获得各所述原始图像对应的各转换图像；以及针对各所述转换图像执行融合处理，获得融合图像。
本申请第二方面提供一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行上述第一方面所述的图像融合方法中各步骤的各指令。
本申请第三方面提供一种图像融合设备，其包括：获取模块，用于获取各拍摄装置对应的各原始图像以及各所述原始图像对应的各位置信息；转换模块，用于根据预设转换规则，针对各所述原始图像对应的各所述位置信息执行转换处理，获得各所述原始图像对应的各转换图像；融合模块，用于针对各所述转换图像执行融合处理，获得融合图像。
综上所述，本申请实施例的图像融合方法、设备及计算机存储介质，通过针对各原始图像的位置信息执行转换处理，以生成全景空间下的融合图像，不仅具有较佳的图像融合效果，且可支持在视频拼接实景下执行各项监控任务，可在降低人力投入以及响应时长的同时，有效提高监控任务的处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请第一实施例的图像融合方法的处理流程图。
图2为本申请第二实施例的图像融合方法的处理流程图。
图3为本申请第三实施例的图像融合方法的处理流程图。
图4为本申请第五实施例的图像融合设备的结构示意图。
元件标号
400：图像融合设备；402：获取模块；404：转换模块；406：融合模块；50：拍摄装置。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
第一实施例
图1示出了本申请第一实施例的图像融合方法的流程视图。如图所示，本实施例主要包括以下步骤：
步骤S102，获取各拍摄装置对应的各原始图像以及各原始图像对应的各位置信息。
可选地，可获取各拍摄装置对应的各物理参数信息，并根据各拍摄装置对应的各物理参数信息，确定各拍摄装置所捕获的各原始图像对应的各位置信息。
可选地，拍摄装置可包括球形摄像机，其可根据拍摄目标的所处位置，进行水平角度和/或俯仰角度的调整，使得拍摄目标位于拍摄装置的拍摄区域中。
于本实施例中，拍摄装置的物理参数信息可包括拍摄装置的拍摄位置参数和拍摄姿态参数。其中，拍摄位置参数例如为拍摄装置的经纬度参数，而拍摄姿态参数例如包括拍摄装置的水平角参数和俯仰角参数。
可选地，待融合的原始图像的数量可不少于3个。
步骤S104，根据预设转换规则，针对各原始图像对应的各位置信息执行转换处理，获得各原始图像对应的各转换图像。
可选地，针对各原始图像对应的各位置信息所执行的转换处理可包括平面转换处理、投影转换处理、缩放转换处理，从而为后续的图像融合处理做准备。
步骤S106，针对各转换图像执行融合处理，获得融合图像。
可选地，可根据几何运动模型针对各转换图像执行配准处理，以将各转换图像转换到同一个坐标系中；再针对配准后的转换图像执行融合处理，以合成为全景空间下的拼接图像。
可选地，可获取各拍摄装置的各原始视频，并提取各原始视频中具有相同时间戳的各原始图像帧，并利用本实施例所示的各步骤(即步骤S102 至步骤S106)针对各原始图像帧执行图像融合处理，获得对应于各时间戳的各融合图像帧，再基于时间戳顺序排列各融合图像帧，以获得各原始视频的融合视频。
具体地，上述融合视频可进一步与跨镜追踪(ReID)技术、视频全结构化技术等进行结合应用，例如，在融合视频对应的融合空间或平面地图内，识别、分析、展示监控目标的位置，从而达到跨摄像头跨场追踪的技术功效。
综上所述，本实施例的图像融合方法通过对原始图像的位置信息执行转换，以生成各原始图像的融合图像，从而实现全景空间下的监控功能，并可达到较好的监控效果。
第二实施例
图2示出了本申请第二实施例的图像融合方法的流程示意图。本实施例为上述步骤S104的具体实施方案，如图所示，本实施例主要包括以下步骤：
步骤S202，基于各原始图像对应的各预设基准面，转换各原始图像，获得各原始图像对应的各平面转换图像。
可选地，原始图像的位置信息包括坐标信息。
具体地，在实际应用中，全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。然而，由于相机的排列方式不尽相同，不能保证相机均处于同一平面，如柱面投影不一定位于同一个柱面上，平面投影也不一定位于同一平面上；另外为了避免出现拍摄盲区，拍摄装置在执行拍摄时往往会向下倾斜一定角度。这些常见的情况往往容易被忽略，导致图像拼接的效果较差。因此，有必要在所有原始图像投影到指定柱面或指定平面之前，根据拍摄装置的位置信息和姿态信息来针对原始图像的坐标信息进行转换。
于本实施例中，可根据各原始图像对应的各图像中心点，确定各原始图像对应的各预设基准面，并基于所确定的各预设基准面，针对各原始图像对应的各坐标信息执行平面转换处理，获得各平面转换图像。
步骤S204，基于预设投影规则，转换各平面转换图像，获得各平面转换图像对应的各投影转换图像。
具体而言，由于每幅原始图像是拍摄装置在不同角度下拍摄得到的，所以各原始图像往往不在同一投影平面上，如果对重叠的原始图像直接进行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对原始图像进行投影转换，以提高后续图像拼接的精度。
于本实施例中，可基于预设投影规则，确定基准坐标系，并基于所确定的基准坐标系，针对各平面转换图像的各坐标信息执行投影处理，以获得各平面转换图像对应的各投影转换图像。
可选地，预设投影规则包括平面投影、柱面投影、立方体投影、球面投影中的一个。
步骤S206，基于预设缩放规则，针对各投影转换图像执行缩放处理，获得各投影转换图像对应的各缩放转换图像。
于本实施例中，可根据从各投影转换图像中所确定的各标定点，确定图像缩放规则，并根据所确定的图像缩放规则，针对各投影转换图像执行缩放处理，以获得各投影转换图像对应的各缩放转换图像。
可选地，可根据融合图像的应用场景，确定各投影转换图像中各标定点的标定位置以及标定数量。
于本实施例中，所确定的标定点可包括各图像的角点以及满足预设需求的兴趣点。借由这些标定点，可以更加容易地处理图像之间的旋转、仿射、透视等变换关系。
综上所述，本实施例的图像融合方法，通过针对各原始图像执行平面转换处理、投影转换处理以及缩放转换处理，可提高后续图像融合的处理效果。
第三实施例
图3示出了本申请第三实施例的图像融合方法的流程示意图。本实施例主要示出了上述步骤S106的具体实施方案，如图所示，本实施例主要包括以下步骤：
步骤S302,基于预设拼接模型，针对各转换图像执行拼接处理，获得拼接图像。
于本实施例中，可针对上述步骤S206所生成的各缩放转换图像执行拼接处理，以获得拼接图像。
可选地，预设拼接模型可包括但不限于：平移模型、相似性模型、仿射模型或透视模型等。
步骤S304,基于预设融合算法，针对拼接图像执行融合处理，获得融合图像。
可选地，可利用非多分辨率技术或多分辨率技术，针对拼接图像执行融合处理，获得融合图像。
可选地，非多分辨率技术可包括但不限于：平均值法、帽子函数法、加权平均法、中值滤波法等。
可选地，多分辨率技术可包括但不限于：高斯金字塔、拉普拉斯金字塔、对比度金字塔，梯度金字塔、小波等。
综上所述，本实施例通过针对各转换图像执行拼接和融合处理，以获得具有全景空间特征的融合图像，在融合图像所展示的全景融合空间内，可供识别、监控目标人员的位置，达到跨摄像头跨场追踪指挥的技术效果。
第四实施例
本申请第四实施例提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述各实施例所述的图像融合方法中各步骤的各指令。
第五实施例
图4示出了本申请第五实施例的图像融合设备的架构示意图。如图所示，本实施例的图像融合设备400主要包括：获取模块402、转换模块404、融合模块406。
获取模块402用于获取各拍摄装置50对应的各原始图像以及各所述原始图像对应的各位置信息。
可选地，获取模块402还用于获取各拍摄装置50对应的各物理参数信息；并根据各所述拍摄装置50对应的各物理参数信息，确定各所述拍摄装置 50所捕获的各原始图像对应的各所述位置信息。
可选地，所述物理参数信息包括所述拍摄装置50的拍摄位置参数和拍摄姿态参数；所述拍摄姿态参数包括所述拍摄装置50的水平角参数和俯仰角参数。
转换模块404用于根据预设转换规则，针对各所述原始图像对应的各所述位置信息执行转换处理，获得各所述原始图像对应的各转换图像。
可选地，转换模块404还用于基于各所述原始图像对应的各预设基准面，转换各所述原始图像，获得各所述原始图像对应的各平面转换图像；基于预设投影规则，转换各所述平面转换图像，获得各所述平面转换图像对应的各所述投影转换图像；以及基于预设缩放规则，针对各所述投影转换图像执行缩放处理，获得各所述投影转换图像对应的各缩放转换图像。
可选地，所述位置信息包括坐标信息，转换模块404还用于根据各所述原始图像对应的各图像中心点，确定各所述原始图像对应的各所述预设基准面；基于各所述预设基准面，针对各所述原始图像对应的各坐标信息执行平面转换处理，获得各所述平面转换图像。
可选地，转换模块404还用于基于所述预设投影规则，确定基准坐标系；基于所述基准坐标系，针对各所述平面转换图像的各坐标信息执行投影处理，获得各所述投影转换图像。
可选地，所述预设投影规则包括平面投影、柱面投影、立方体投影、球面投影中的一个。
可选地，转换模块404还用于根据从各所述投影转换图像中所确定的各标定点，确定图像缩放规则；以及根据所述图像缩放规则，针对各所述投影转换图像执行缩放处理，获得各所述缩放转换图像。
可选地，转换模块404还用于根据所述融合图像的应用场景，确定各所述投影转换图像中各所述标定点的标定位置以及标定数量。
融合模块406用于针对各所述转换图像执行融合处理，获得融合图像。
可选地，融合模块406还用于基于预设拼接模型，针对各所述转换图像执行拼接处理，获得拼接图像；基于预设融合算法，针对所述拼接图像执行融合处理，获得所述融合图像。
可选地，所述预设拼接模型至少包括平移模型、相似性模型、仿射模型或透视模型中的一个。
可选地，融合模块406还用于利用非多分辨率技术或多分辨率技术，针对所述拼接图像执行融合处理，获得所述融合图像；其中，所述非多分辨率技术包括平均值法、帽子函数法、加权平均法、中值滤波法中的一个；其中，所述多分辨率技术包括高斯金字塔、拉普拉斯金字塔、对比度金字塔，梯度金字塔、小波中的一个。
此外，本发明实施例的图像融合设备400还可用于实现前述各图像融合方法实施例中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。
综上所述，本申请各实施例提供的图像融合方法、设备及计算机存储介质，通过获取原始图像的位置信息，并基于预设规则针对原始图像的位置信息执行平面转换、投影转换、缩放转换等处理，并针对转换后的原始图像进行融合以获得融合图像，据此，本申请可有效提高融合图像的融合效果。
再者，本申请所生成的融合图像可提供在全景空间下执行各项监控任务，以达到跨摄像头跨场追踪、指挥的技术效果。
最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。