一种目标测温方法、装置及测温系统

文档序号:434350 发布日期:2021-12-24 浏览:23次 >En<

阅读说明:本技术 一种目标测温方法、装置及测温系统 (Target temperature measurement method, device and temperature measurement system ) 是由 张俊力 唐政 高其涛 于 2020-06-24 设计创作,主要内容包括:本申请实施例提供了一种目标测温方法、装置及测温系统,通过获取双目相机采集的可见光图像和热成像图像,确定指定目标在可见光图像中的第一目标区域以及指定目标在热成像图像中的第二目标区域,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差,根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离,根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。目标距离并不受姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,计算出的指定目标的温度更为准确,提高了目标测温的精度。(The embodiment of the application provides a target temperature measuring method, a target temperature measuring device and a temperature measuring system, wherein a first target area of a designated target in a visible light image and a second target area of the designated target in a thermal imaging image are determined by acquiring the visible light image and the thermal imaging image which are acquired by a binocular camera, the target parallax of the designated target is calculated by using a preset position difference calculating method according to the position of the first target area in the visible light image and the position of the second target area in the thermal imaging image, the target distance of the designated target is calculated by using a preset binocular parallax distance measuring method according to the target parallax, and the temperature of the designated target is calculated according to the target distance and the gray value in the second target area. The target distance is not influenced by the change of the attitude characteristics, so that the calculated target distance is ensured to be closer to the actual target distance, the calculated temperature of the specified target is more accurate, and the target temperature measurement precision is improved.)

一种目标测温方法、装置及测温系统

技术领域

本申请涉及安防技术领域,特别是涉及一种目标测温方法、装置及测温系统。

背景技术

随着热成像技术的不断发展,利用热成像相机对目标进行测温,在公共卫生安全和异常目标布控等领域的应用越来越广泛。传统的测温方法中,采用热成像相机对进入监控范围内的目标进行图像采集,通过检测采集到的热成像图像中区域灰度值变化,确定待测温目标,根据待测温目标在热成像图像中的成像大小以及热成像目标距离和成像大小的换算关系,计算目标温度。可见,目标距离是计算目标温度的重要参数,直接影响着测温精度,然而,目标的成像大小容易受到监控场景的实际环境等因素影响,导致估计出的目标距离与实际的目标距离具有较大的误差,由此引起测温的误差较大。

为了解决上述问题,当前的测温方法中,采用双目相机对目标进行测温,双目相机包括可见光相机和热成像相机,可见光相机和热成像相机分别对进入监控范围内的目标进行图像采集,利用可见光测距技术,根据可见光相机采集到的可见光图像中的目标尺寸、以及预先设置的该目标的目标尺寸与目标距离的对应关系,换算出目标距离,将可见光图像中的该目标映射到热成像图像中对应的位置处,得到该目标在热成像图像中所处区域的灰度值,根据目标距离和该目标所处区域的灰度值,计算目标温度。

然而,在实际的应用场景下,目标在可见光图像中的目标尺寸受该目标的实际姿态特征变化的影响较大,而预先设置的该目标的目标尺寸与目标距离的对应关系很难做到完全覆盖该目标的各种姿态特征变化,当姿态特征变化时,会使得换算出的目标距离误差较大,导致测温的误差仍然较大。

发明内容

本申请实施例的目的在于提供一种目标测温方法、装置及测温系统,以提高目标测温的精度。具体技术方案如下:

第一方面,本申请实施例提供了一种目标测温方法,该方法包括:

获取双目相机采集的可见光图像和热成像图像,其中,双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机;

确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域;

根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差;

根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离;

根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

可选的,在确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤之前,该方法还包括:

根据预先标定的双目相机的标定参数,对可见光图像及热成像图像进行图像矫正;

确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤,包括:

确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。

可选的,标定参数包括可见光相机的内外参、热成像相机的内外参,以及可见光相机与热成像相机之间的相对位置关系;

根据预先标定的双目相机的标定参数,对可见光图像及热成像图像进行图像矫正的步骤,包括:

根据可见光相机的内外参,对可见光图像进行图像矫正,得到可见光矫正图像;

根据热成像相机的内外参,对热成像图像进行图像矫正,得到热成像矫正图像;

根据相对位置关系,将可见光矫正图像及热成像矫正图像矫正至同一极平面。

可选的,双目相机的标定方式,包括:

利用预先调整好的温度交替标定板,采用张正友标定法,对双目相机进行标定,其中,温度交替标定板包括黑色块和白色底板,温度交替标定板为:通过温度控制器对黑色块和白色底板的温差进行调整,以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。

可选的,确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤,包括:

对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域;

根据第一目标区域的位置,确定热成像图像中的目标匹配区域;

基于第一目标区域,在目标匹配区域中进行目标匹配,得到指定目标在热成像图像中的第二目标区域。

可选的,确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域的步骤,包括:

对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域;

对热成像图像进行目标检测,确定热成像图像中各个目标的待匹配区域;

将第一目标区域分别与各待匹配区域进行目标匹配,确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。

可选的,根据目标距离及第二目标区域内的灰度值,计算指定目标的温度的步骤,包括:

根据指定目标的目标类型,确定第二目标区域内的感兴趣测温点;

从热成像图像中,读取感兴趣测温点的灰度值;

根据目标距离及感兴趣测温点的灰度值,计算指定目标的温度。

可选的,在根据目标距离及第二目标区域内的灰度值,计算指定目标的温度的步骤之后,该方法还包括:

将温度叠加到可见光图像中进行显示。

第二方面,本申请实施例提供了一种目标测温装置,该装置包括:

获取模块,用于获取双目相机采集的可见光图像和热成像图像,其中,双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机;

目标区域确定模块,用于确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域;

视差计算模块,用于根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差;

距离计算模块,用于根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离;

温度计算模块,用于根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

可选的,该装置还包括:

图像矫正模块,用于根据预先标定的双目相机的标定参数,对可见光图像及热成像图像进行图像矫正;

目标区域确定模块,具体用于确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。

可选的,标定参数包括可见光相机的内外参、热成像相机的内外参,以及可见光相机与热成像相机之间的相对位置关系;

图像矫正模块,具体用于根据可见光相机的内外参,对可见光图像进行图像矫正,得到可见光矫正图像;根据热成像相机的内外参,对热成像图像进行图像矫正,得到热成像矫正图像;根据相对位置关系,将可见光矫正图像及热成像矫正图像矫正至同一极平面。

可选的,该装置还包括:

标定模块,用于利用预先调整好的温度交替标定板,采用张正友标定法,对双目相机进行标定,其中,温度交替标定板包括黑色块和白色底板,温度交替标定板为:通过温度控制器对黑色块和白色底板的温差进行调整,以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。

可选的,目标区域确定模块,具体用于对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域;根据第一目标区域的位置,确定热成像图像中的目标匹配区域;基于第一目标区域,在目标匹配区域中进行目标匹配,得到指定目标在热成像图像中的第二目标区域。

可选的,目标区域确定模块,具体用于对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域;对热成像图像进行目标检测,确定热成像图像中各个目标的待匹配区域;将第一目标区域分别与各待匹配区域进行目标匹配,确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。

可选的,温度计算模块,具体用于根据指定目标的目标类型,确定第二目标区域内的感兴趣测温点;从热成像图像中,读取感兴趣测温点的灰度值;根据目标距离及感兴趣测温点的灰度值,计算指定目标的温度。

可选的,该装置还包括:

显示模块,用于将温度叠加到可见光图像中进行显示。

第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,其中,存储器存储有能够被处理器执行的机器可执行指令,机器可执行指令由处理器加载并执行,以实现本申请实施例第一方面所提供的方法。

第四方面,本申请实施例提供了一种机器可读存储介质,机器可读存储介质内存储有机器可执行指令,机器可执行指令在被处理器加载并执行时,实现本申请实施例第一方面所提供的方法。

第五方面,本申请实施例提供了一种测温系统,该测温系统包括双目相机及处理器;双目相机包括可见光相机及热成像相机;

可见光相机,用于采集可见光图像;

热成像相机,用于采集热成像图像;

处理器,用于获取双目相机采集的可见光图像和热成像图像;确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域;根据第一目标区域的位置及第二目标区域的位置,利用预设的位置差计算方法,计算指定目标的目标视差;根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离;根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

本申请实施例提供的一种目标测温方法、装置及测温系统,通过获取双目相机采集的可见光图像和热成像图像,确定指定目标在可见光图像中的第一目标区域以及指定目标在热成像图像中的第二目标区域,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差,根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离,根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。在获取到可见光图像和热成像图像后,确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域,不论指定目标为何种姿态特征,指定目标在可见光图像和热成像图像中的目标区域大小相同或相近,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差,而该目标视差实际是由指定目标与双目相机间的目标距离所决定的,因此利用双目视差测量方法可以计算出指定目标的目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,从而根据目标距离及第二目标区域内的灰度值,计算出的指定目标的温度更为准确,提高了目标测温的精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的目标测温方法的一种流程示意图;

图2为本申请实施例提供的可见光图像与热成像图像叠在一起后的图像示例;

图3为本申请实施例提供的目标测温方法的另一种流程示意图;

图4为本申请实施例提供的温度交替标定板示意图;

图5为本申请实施例提供的目标测温装置的一种结构示意图;

图6为本申请实施例提供的目标测温装置的另一种结构示意图;

图7为本申请实施例提供的可见光图像上目标框与热成像图像匹配的示例;

图8为本申请实施例提供的电子设备的结构示意图;

图9为本申请实施例的测温系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

为了提高目标测温的精度,本申请实施例提供了一种目标测温方法、装置及测温系统。下面,首先对本申请实施例所提供的目标测温方法进行介绍。该方法应用于具有图像处理能力的电子设备,例如,可以为与双目相机远程连接的计算机,也可以为配备有处理器的双目相机(具体的目标测温方法由双目相机中的处理器执行)等。本申请实施例所提供的目标测温方法可以被设置于电子设备中的软件、硬件电路和逻辑电路中的至少一种实现。

如图1所示,本申请实施例所提供的目标测温方法的一种流程,可以包括如下步骤。

S101,获取双目相机采集的可见光图像和热成像图像,其中,双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机。

S102,确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域。

S103,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差。

S104,根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离。

S105,根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

应用本申请实施例,在获取到可见光图像和热成像图像后,确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域,不论指定目标为何种姿态特征,指定目标在可见光图像和热成像图像中的目标区域大小相同或相近,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差,而该目标视差实际是由指定目标与双目相机间的目标距离所决定的,因此利用双目视差测量方法可以计算出指定目标的目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,从而根据目标距离及第二目标区域内的灰度值,计算出的指定目标的温度更为准确,提高了目标测温的精度。

本申请实施例中,利用双目相机进行目标测温,双目相机包括可见光相机和热成像相机。可见光相机为日常生活中最常见的一种相机,采集到的图像为彩色图像,在本申请实施例中,将可见光相机采集到的彩色图像称为可见光图像。热成像相机为采用热成像技术的一种相机,其工作原理为:人体等自然界目标都会有红外辐射,这是物体内部分子热运动的结果,其辐射能量与自身温度的四次方成正比,辐射出的波长与其温度成反比,热成像技术就是根据探测到的物体的辐射能量的高低,经系统处理转变为目标物体的热图像,以灰度值或伪彩色显示出来,不同距离下探测到的目标辐射强度不同,展现的灰度值也不同,通过不同距离下目标灰度值的高低可以计算出目标的温度。在本申请实施例中,将热成像相机采集到的灰度图像/伪彩色图像称为热成像图像。

相机中的摄像头由于受光学透镜的特性影响,使得成像往往存在径向畸变,因此,一般需要对相机进行标定,得到相机的标定参数,基于标定参数,对采集到的图像进行图像矫正。相机标定分为单目相机标定和双目相机标定两类:单目相机标定主要是计算相机的内参(包括相机焦距、成像原点坐标、5个畸变参数)和外参(标定物的世界坐标);双目相机标定除了要得出每个相机的内外参以外,还需要通过标定来测量两个相机之间的相对位置关系(即一个相机相对于另一个相机的旋转矩阵和平移向量)。由于本申请实施例利用的是双目相机,因此,标定时除了要计算出可见光相机和热成像相机的内外参,还需要测量可见光相机和热成像相机之间的相对位置关系。

在本申请实施例中,电子设备所获取到的可见光图像和热成像图像,可以是已经进行过图像矫正的图像,也可以是可见光相机和热成像相机采集的原始的可见光图像和热成像图像。电子设备中还可以记录有图像变换关系,在获取到可见光图像和热成像图像后,利用所记录的图像变换关系,对可见光图像和热成像图像进行变换,以消除畸变。

针对获取到的可见光图像和热成像图像,电子设备可以采用基于深度学习技术的目标检测方法、基于深度学习的目标识别方法、传统的特征匹配方法等,从可见光图像中确定出指定目标的第一目标区域、从热成像图像中确定出指定目标的第二目标区域。其中,指定目标是指某一个特定的目标,例如人、动物、物品等。在本申请实施例的一种实现方式中,可以采用目标检测技术融合目标匹配技术的方式,对指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域进行确定。具体的,是对可见光图像和热成像图像中的至少一张图像进行目标检测,如果只选择对其中一张图像进行目标检测,则需要在另一张图像的目标匹配区域(根据检测到的指定目标所处目标区域的位置确定)内匹配出指定目标的目标区域;如果对两张图像都进行目标检测,则可以对两张图像检测到的目标进行匹配。

在本申请实施例的一种实现方式中,S102具体可以通过如下步骤实现:

第一步,对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域。

第二步,根据第一目标区域的位置,确定热成像图像中的目标匹配区域。

第三步,基于第一目标区域,在目标匹配区域中进行目标匹配,得到指定目标在热成像图像中的第二目标区域。

由于可见光图像是彩色图像,从可见光图像中可以准确地获知目标特征,因此,采用基于深度学习技术的目标检测方法或者传统的特征匹配方法等,可以从可见光图像中检测出指定目标,并且得到指定目标在可见光图像中的第一目标区域。

可见光相机和热成像相机布局在一起,对相同的监控范围进行图像采集,因此,可见光图像和热成像图像之间具有一定的对应关系,按照这种对应关系,根据第一目标区域的位置,就可以大致确定出指定目标在热成像图像中的区域范围(即热成像图像中的目标匹配区域),而由于热成像图像是灰度图或者伪彩色图,没有明显的目标特征,且实际场景中往往存在多个目标同时出现的情况,可以根据灰度变化判断出目标的轮廓,但是第一目标区域与指定目标的轮廓大体上是吻合的。

因此,可以用第一目标区域,通过目标轮廓边界灰度值变化、目标尺寸大小、位置等信息,到目标匹配区域中进行匹配,如果目标匹配区域中某一个目标的目标区域与第一目标区域匹配上,则可以确定该目标区域为指定目标在热成像图像中的第二目标区域。采用本实施例,可以解决热成像图像和可见光图像中目标相似特征较少、匹配较难的问题。

在本申请实施例的另一种实现方式中,S102具体可以通过如下步骤实现:

第一步,对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域,并对热成像图像进行目标检测,确定热成像图像中各个目标的待匹配区域。

第二步,将第一目标区域分别与各待匹配区域进行目标匹配,确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。

如上述,采用基于深度学习技术的目标检测方法或者传统的特征匹配方法等,可以从可见光图像中检测出指定目标,并且得到指定目标在可见光图像中的第一目标区域。针对热成像图像,可以采用基于深度学习技术的目标分割方法等,确定出热成像图像中各个目标的待匹配区域,由于热成像图像是灰度图或者伪彩色图,没有明显的目标特征,且实际场景中往往存在多个目标同时出现的情况,则在对热成像图像进行目标检测时,只能够根据灰度变化判断出目标的大致轮廓(即各个目标的待匹配区域)。

在得到第一目标区域和各待匹配区域后,可以将第一目标区域分别与各待匹配区域进行目标匹配,目标匹配的方式可以采用基于目标轮廓边界灰度值变化、目标尺寸大小等信息训练得到的神经网络模型进行匹配,最终确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。

在确定第一目标区域和第二目标区域后,由于受指定目标与双目相机间的目标距离影响,在将第一目标区域与第二目标区域放到同一坐标系下的时候,两者之间的位置往往具有一定的差距,这种位置差称为目标视差,因此,为了计算目标距离,可以根据第一目标区域在可见光图像中的位置和第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算出指定目标的目标视差。

其中,预设的位置差计算方法可以是根据第一目标区域在可见光图像中的位置和第二目标区域在热成像图像中的位置,将第一目标区域和第二目标区域映射到同一坐标系下,在该坐标系下计算两个目标区域表征同一点的坐标之差。由于可见光相机和热成像相机是对相同的监控范围进行图像采集,所采集到的图像大小一致,由于视角不同,两个图像有重合的部分,因此,也可以将可见光图像和热成像图像的重合部分叠在一起,在叠后的图像中,就可以直观地观察到第一目标区域和第二目标区域的位置差,从而基于叠后的图像,就可以获得指定目标的目标视差,如图2所示。

在得到指定目标的目标视差后,根据目标视差,利用预设的双目视差测距方法,即可计算出指定目标的目标距离。双目视差测距方法中可以限定目标视差与目标距离之间的关系,一般情况下,目标视差与目标距离之间呈反比关系,也就是说,目标离双目相机越近,则目标视差越大。目标距离除了受目标距离影响以外,还与双目相机的镜头焦距、可见光相机和热成像相机之间的基线距等参数相关,因此,双目视差测距方法具体可以为双目视差测距公式,具体如公式(1)所示。

D=f*B/XL (1)

其中,D为目标距离、f为双目相机的镜头焦距、B为可见光相机和热成像相机之间的基线距、XL为目标视差。

本申请实施例中,采用可见光图像融合热成像图像的双目测温技术,与可见光单目相机通过目标成像大小和目标距离的对应关系预估目标距离的方式不同,是通过目标视差计算出目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离更加精准,并且由于目标距离不受姿态特征变化的影响,本申请实施例的场景适应性更好,测温结果也更为准确、稳定,目标测温方法的鲁棒性更强。本申请实施例中也无需记载目标成像大小和目标距离的对应关系,节省了电子设备的存储空间,能够实现多种类目标的测距测温。

在计算出目标距离后,可以利用传统的计算目标温度的方式,根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。其中,计算目标温度可以采用如下公式:

T=a*T1+b*T2+c*T3 (2)

其中,T为目标温度;a、b、c为预设比重,可由黑体测温实验模拟获得;T1为基于第二目标区域内的灰度值计算出的温度值,T1=f(K),K为第二目标区域内的灰度值;T2为环境温度值,可直接获得;T3为基于目标距离补偿的温度值,T3=g(x),x为目标距离。

在本申请实施例的一种实现方式中,S105具体可以通过如下步骤实现:

第一步,根据指定目标的目标类型,确定第二目标区域内的感兴趣测温点。

第二步,从热成像图像中,读取感兴趣测温点的灰度值。

第三步,根据目标距离及感兴趣测温点的灰度值,计算指定目标的温度。

在对目标进行测温时,由于目标种类的不同,所关注的测温点也会不相同,例如对人进行测温时,更关注额头的温度,而对物体进行测温时,更关注物体底部的温度,因此,可以根据指定目标的目标类型(可以是在进行目标检测时得到的,也可以是预先输入的),确定第二目标区域内的感兴趣测温点,则第二目标区域内的灰度值具体指的就是感兴趣测温点的灰度值,则在进行温度计算时,具体是根据目标距离和感兴趣测温点的灰度值进行计算。

在本申请实施例的一种实现方式中,在S105之后,该方法还可以包括:将温度叠加到可见光图像中进行显示。

如上述,可见光图像是彩色图像,具有完整的目标特征,便于用户查看,因此,一般是将可见光相机采集的实时的可见光图像进行显示,以便用户查看实时的监控内容,在测出指定目标的温度后,可以将该温度叠加到可见光图像中,这样,用户可以实时地看到指定目标的温度,及时获知哪些目标的温度异常,具体的,可见光图像中显示温度的方式可以是:在指定目标的周围显示温度,或者,单独地开辟一个温度显示区域,该区域中显示指定目标的目标属性和温度。

基于图1所示实施例,本申请实施例所提供的目标测温方法的另一种流程,如图3所示,可以包括如下步骤。

S301,获取双目相机采集的可见光图像和热成像图像,其中,双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机。

S302,根据预先标定的双目相机的标定参数,对可见光图像及热成像图像进行图像矫正。

S303,确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。

S304,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差。

S305,根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离。

S306,根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

在本申请实施例的一种实现方式中,电子设备所获取到的可见光图像和热成像图像是原始的可见光图像和热成像图像,需要对可见光图像和热成像图像进行图像矫正。图像矫正是指:根据双目相机标定后获得的标定参数,分别对可见光图像和热成像图像消除畸变和行对准,使得可见光图像及所述热成像图像的成像原点坐标一致、两相机光轴平行、两相机的成像平面共面、极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点必然具有相同的行号,在该行进行一维搜索即可匹配到对应点。

在本申请实施例的一种实现方式中,标定参数包括可见光相机的内外参、热成像相机的内外参,以及可见光相机与热成像相机之间的相对位置关系。相应的,S302具体可以为:根据可见光相机的内外参,对可见光图像进行图像矫正,得到可见光矫正图像;根据热成像相机的内外参,对热成像图像进行图像矫正,得到热成像矫正图像;根据相对位置关系,将可见光矫正图像及热成像矫正图像矫正至同一极平面。

通过上述的图像矫正过程,矫正后的可见光图像和热成像图像在同一极平面上,即目标的极平面对应的图像行数一致。

在本申请实施例的一种实现方式中,双目相机的标定方式,具体可以为:利用预先调整好的温度交替标定板,采用张正友标定法,对双目相机进行标定,其中,温度交替标定板包括黑色块和白色底板,温度交替标定板为:通过温度控制器对黑色块和白色底板的温差进行调整,以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。

在本申请实施例中,双目相机的标定主要采用张正友标定法,由于热成像图像无法区分图像色彩,采用传统的黑白星盘标定板无法实现热成像相机的标定,因此,在本申请实施例中,改善原有的黑白星盘标定板,将温度信息与黑白色相结合,热成像图像中,颜色较深(灰度较大)的为温度较低的目标,颜色较浅(灰度较小)的为温度较高的目标,因此设计了如图4所示的温度交替标定板。其中,温度控制器用于调节温度交替标定板中黑色块和白色底板的温差,黑色块采用隔温材料制作,与白色底板之间采用隔温材料隔离。在利用温度交替标定板进行标定时,预先在一定距离上,通过温度控制器对黑色块和白色底板的温差进行调整,使得热成像相机采集温度交替标定板的图像满足预设星盘状效果,其中,预设星盘状效果为可见亮暗交替、轮廓清晰的星盘状成像效果。在预先调整好温度交替标定板后,利用该温度交替标定板,采用传统的张正友标定法,即可标定可见光相机和热成像相机的内外参,再通过该温度交替标定板在热成像图像和可见光图像上的对应位置关系,计算出可见光相机和热成像相机之间的相对位置关系。

本申请实施例中,确定第一目标区域、第二目标区域,计算指定目标的目标视差,计算指定目标的目标距离,计算指定目标的温度,这些步骤的具体执行可以采用上述实施例中的方式,这里不再赘述。

本申请实施例中,利用温度交替标定板可以快速完成双目相机的自动标定,节省了标定时间。

基于上述方法实施例,本申请实施例提供了一种目标测温装置,如图5所示,该装置可以包括:

获取模块510,用于获取双目相机采集的可见光图像和热成像图像,其中,双目相机包括用于采集可见光图像的可见光相机、以及用于采集热成像图像的热成像相机;

目标区域确定模块520,用于确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域;

视差计算模块530,用于根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,利用预设的位置差计算方法,计算指定目标的目标视差;

距离计算模块540,用于根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离;

温度计算模块550,用于根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

可选的,该装置还可以包括:图像矫正模块,用于根据预先标定的双目相机的标定参数,对可见光图像及热成像图像进行图像矫正;

目标区域确定模块520,具体可以用于确定指定目标在矫正后的可见光图像中的第一目标区域、以及指定目标在矫正后的热成像图像中的第二目标区域。

可选的,标定参数包括可见光相机的内外参、热成像相机的内外参,以及可见光相机与热成像相机之间的相对位置关系;

图像矫正模块,具体可以用于根据可见光相机的内外参,对可见光图像进行图像矫正,得到可见光矫正图像;根据热成像相机的内外参,对热成像图像进行图像矫正,得到热成像矫正图像;根据相对位置关系,将可见光矫正图像及热成像矫正图像矫正至同一极平面。

可选的,该装置还可以包括:标定模块,用于利用预先调整好的温度交替标定板,采用张正友标定法,对双目相机进行标定,其中,温度交替标定板包括黑色块和白色底板,温度交替标定板为:通过温度控制器对黑色块和白色底板的温差进行调整,以使热成像相机采集温度交替标定板的图像满足预设星盘状效果后得到。

可选的,目标区域确定模块520,具体可以用于对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域;根据第一目标区域的位置,确定热成像图像中的目标匹配区域;基于第一目标区域,在目标匹配区域中进行目标匹配,得到指定目标在热成像图像中的第二目标区域。

可选的,目标区域确定模块520,具体可以用于对可见光图像进行目标检测,确定指定目标在可见光图像中的第一目标区域;对热成像图像进行目标检测,确定热成像图像中各个目标的待匹配区域;将第一目标区域分别与各待匹配区域进行目标匹配,确定与第一目标区域相匹配的待匹配区域为指定目标在热成像图像中的第二目标区域。

可选的,温度计算模块550,具体可以用于根据指定目标的目标类型,确定第二目标区域内的感兴趣测温点;从热成像图像中,读取感兴趣测温点的灰度值;根据目标距离及感兴趣测温点的灰度值,计算指定目标的温度。

可选的,该装置还可以包括:显示模块,用于将温度叠加到可见光图像中进行显示。

应用本申请实施例,在获取到可见光图像和热成像图像后,确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域,不论指定目标为何种姿态特征,指定目标在可见光图像和热成像图像中的目标区域大小相同或相近,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差,而该目标视差实际是由指定目标与双目相机间的目标距离所决定的,因此利用双目视差测量方法可以计算出指定目标的目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,从而根据目标距离及第二目标区域内的灰度值,计算出的指定目标的温度更为准确,提高了目标测温的精度。

为了便于理解,下面结合具体的应用场景,对本申请实施例所提供的目标测温方法和目标测温装置进行介绍。

本申请实施例的目标测温方法应用于疫情防控、异常体温目标检测和抓拍场景。在疫情防控期间,地铁、酒店、商场、车站等场景中有大量的人员流动,需要对进出人群进行体温监测,当发现体温异常目标之后,抓拍目标图像并报警,禁止异常目标人员进入场所。

因此在地铁安检口、酒店或商场入口处,架设一台包括可见光相机和热成像相机的双目相机,并在监控人员处设置一台具有显示屏的电子设备。电子设备中包括处理器,处理器主要包括如下7个模块(如图6所示):双目相机标定模块601、图像矫正模块602、目标检测模块603、目标匹配模块604、目标测距模块605、目标测温位置选取模块606和目标测温模块607。

其中,双目相机标定模块601用于对双目相机进行标定,具体可以采用如图2所示实施例中的方式对双目相机进行标定,这里不再赘述。

图像矫正模块602用于对获取的可见光图像和热成像图像进行图像校正。双目相机标定模块601对双目相机标定后的标定参数存储在图像矫正模块602中,图像矫正模块602可以根据可见光相机和热成像相机的内外参,对可见光图像和热成像图像进行图像校正,同时根据可见光相机和热成像相机之间的相对位置关系,将可见光图像和热成像图像矫正到同一个极平面上,即目标的极平面对应的图像行数一致,如图7所示。

目标检测模块603用于在可见光图像上对需要测温的人员进行检测,具体可采用深度学习检测网络等多种算法,获取人员的目标框(tx,ty,w,h),其中tx、ty为目标框左上角坐标,w、h为目标框的宽和高,如图7所示。

目标匹配模块604用于对热成像图像进行目标匹配。以可见光tx、ty坐标为起始点,在热成像图像上找到目标的同一极平面,并在热成像图像上选取W*h的一段矩形区域,其中W标识原图的宽、h标识目标框的高;将可见光图像中的目标框、热成像图像中的矩形区域,通过目标轮廓边界灰度值变化等信息进行目标匹配,完成目标匹配后,输出热成像图像上的目标框(Rx,Ry,Rw,Rh)。

目标测距模块605用于基于可见光图像上的目标框和热成像图像上的目标框的视差来计算目标距离,具体的,将可见光图像和热成像图像叠到一起,计算目标的相对位置差XL,该位置差即为目标视差,计算出目标视差XL后,使用双目视差测距公式(公式(1))计算目标距离。

目标测温位置选取模块606用于从热成像图像上的目标框(Rx,Ry,Rw,Rh)内寻找出感兴趣测温点。对于人员来讲,假设感兴趣测温点为目标框(Rx,Ry,Rw,Rh)内灰度值最低的点,读取该感兴趣测温点的灰度值。

目标测温模块607用于根据目标距离和该感兴趣测温点的灰度值,计算目标温度。

当监测到人员目标温度异常时,触发抓拍机制,抓拍温度异常的人员目标并在显示屏显示的可见光图像中显示出该人员目标的温度,进行报警。

本申请实施例还提供了一种电子设备,如图8所示,包括处理器801和存储器802,其中,存储器802存储有能够被处理器801执行的机器可执行指令,机器可执行指令由处理器801加载并执行,以实现本申请实施例提供的目标测温方法。

上述存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器,包括CPU、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processor,数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器802与处理器801之间可以通过有线连接或者无线连接的方式进行数据传输,并且电子设备与其他设备之间可以通过有线通信接口或者无线通信接口进行通信。图8所示的仅为通过总线进行数据传输的示例,不作为具体连接方式的限定。

本申请实施例中,处理器通过读取存储器中存储的机器可执行指令,并通过加载和执行机器可执行指令,能够实现:在获取到可见光图像和热成像图像后,确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域,不论指定目标为何种姿态特征,指定目标在可见光图像和热成像图像中的目标区域大小相同或相近,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差,而该目标视差实际是由指定目标与双目相机间的目标距离所决定的,因此利用双目视差测量方法可以计算出指定目标的目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,从而根据目标距离及第二目标区域内的灰度值,计算出的指定目标的温度更为准确,提高了目标测温的精度。

另外,本申请实施例提供了一种机器可读存储介质,机器可读存储介质内存储有机器可执行指令,机器可执行指令在被处理器加载并执行时,实现本申请实施例提供的目标测温方法。

本申请实施例中,机器可读存储介质存储有在运行时执行本申请实施例所提供的目标测温方法的机器可执行指令,因此能够实现:在获取到可见光图像和热成像图像后,确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域,不论指定目标为何种姿态特征,指定目标在可见光图像和热成像图像中的目标区域大小相同或相近,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差,而该目标视差实际是由指定目标与双目相机间的目标距离所决定的,因此利用双目视差测量方法可以计算出指定目标的目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,从而根据目标距离及第二目标区域内的灰度值,计算出的指定目标的温度更为准确,提高了目标测温的精度。

在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一目标测温方法。

本申请实施例提供了一种测温系统,如图9所示,该测温系统包括双目相机910及处理器920;双目相机910包括可见光相机911及热成像相机912;

可见光相机911,用于采集可见光图像;

热成像相机912,用于采集热成像图像;

处理器920,用于获取双目相机910采集的可见光图像和热成像图像;确定指定目标在可见光图像中的第一目标区域、以及指定目标在热成像图像中的第二目标区域;根据第一目标区域的位置及第二目标区域的位置,利用预设的位置差计算方法,计算指定目标的目标视差;根据目标视差,利用预设的双目视差测距方法,计算指定目标的目标距离;根据目标距离及第二目标区域内的灰度值,计算指定目标的温度。

本申请实施例所提供的测温系统可以为分布式系统,即双目相机和处理器为两个独立分布的设备;本申请实施例所提供的测温系统也可以为一个设备,即双目相机和处理器集成在一个硬件设备中。

应用本申请实施例,处理器在获取到可见光图像和热成像图像后,确定出指定目标在可见光图像中的第一目标区域、指定目标在热成像图像中的第二目标区域,不论指定目标为何种姿态特征,指定目标在可见光图像和热成像图像中的目标区域大小相同或相近,根据第一目标区域在可见光图像中的位置及第二目标区域在热成像图像中的位置,所计算出的指定目标的目标视差表征了第一目标区域和第二目标区域之间的位置差,而该目标视差实际是由指定目标与双目相机间的目标距离所决定的,因此利用双目视差测量方法可以计算出指定目标的目标距离,目标距离并不会受到姿态特征变化的影响,因此,计算得到的目标距离保证与实际的目标距离更为接近,从而根据目标距离及第二目标区域内的灰度值,计算出的指定目标的温度更为准确,提高了目标测温的精度。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line,数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc,数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk,固态硬盘))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于目标测温装置、电子设备、机器可读存储介质、计算机程序产品和测温系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

22页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种无人机非制冷型热像仪测温结果漂移去除方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!