阅读说明：本技术 具有多信息融合和光流测速功能的超小型双光成像系统 (Subminiature dual-light imaging system with multi-information fusion and light stream speed measurement functions ) 是由 徐保树 张程硕 魏东溟 陆朝阳 李凯 周毅伟 于 2020-06-24 设计创作，主要内容包括：本发明属于无人机携带的双光成像系统技术领域,具体涉及一种具有多信息融合和光流测速作用的超小型双光成像系统,本系统应用在飞行器上,包括红外成像模块、可见光成像模块、超声波测距模块、惯性测量模块和核心图像处理器,核心图像处理器包括多信息融合模块、光流测速模块、OSD模块和视频压缩模块。本发明将红外成像技术、可见光成像技术与信息融合技术一体化设计,创新性地在双光系统中增加光流测速和人脸识别功能,实现超小型双光成像系统,进一步拓展小型侦察式无人机在复杂环境中的作业能力,为地面作战单位在隐匿的环境下充分的扩大视野,使行动人员能够随时随地保持态势感知、威胁探测和监视能力。(The invention belongs to the technical field of double-light imaging systems carried by unmanned aerial vehicles, and particularly relates to a subminiature double-light imaging system with multi-information fusion and optical flow speed measurement functions. The invention integrates the infrared imaging technology, the visible light imaging technology and the information fusion technology, innovatively adds the functions of optical flow speed measurement and face recognition in a double-optical system, realizes a subminiature double-optical imaging system, further expands the operation capability of the small reconnaissance type unmanned aerial vehicle in a complex environment, fully expands the visual field of a ground operation unit in a hidden environment, and enables action personnel to keep situation perception, threat detection and monitoring capability anytime and anywhere.)

具有多信息融合和光流测速功能的超小型双光成像系统

技术领域

本发明属于无人机携带的双光成像系统技术领域，具体涉及一种具有多信息融合和光流测速作用的超小型双光成像系统及光流测速方法。

背景技术

随着电子技术的飞速发展，小型无人机凭借较高的机动性能、良好的环境适应性以及经济性，在安防监控、搜索救援、警用执法、森林防火、电力巡线、环保科研等诸多领域得到了广泛应用。技术发展至今，除了无人机平台本身的发展外，有效载荷的不断丰富及性能的不断提升，也极大扩展了无人机的应用范畴。无人机主要是通过成像探测设备获取地面图像信息来完成监视、侦察等任务。就现状而言，无人机载设备受无人机自身技术特点制约，有着与其它载体设备不同的要求：

1、无人机自身体积偏小，其机载设备线路板的体积、形状都会受到限制；

2、由于无人机，特别是小型无人机的载荷能力有限，机载的任务载荷需符合轻量化要求，以便延长无人机的续航时间；

3、无人机提供的电源功率有限，不能同地面设备一样提供大功率电源，因此，要求机载的任务载荷低功耗。

基于以上特点，无人机对载荷的重量、体积和功耗有着严格的要求，超小型载荷尤为重要。

由于不同成像探测设备成像机理、工作波段和工作环境等因素的不同，不同类型的传感器对同一目标或场景进行成像时，其获取到的目标或场景信息存在差异。可见光传感器能够获得丰富、细腻的可见光图像，但在光照条件差时，其成像质量受到严重影响；红外探测器在夜晚等光照较差条件下具有较好的目标探测能力，但其所成的红外图像细节表现能力较差。特别是对于低分辨率红外成像设备而言，探测器像元数有限，输出红外图像边缘模糊，限制了红外成像设备向着高性能轻量化的方向发展。另外，倘若无人机在飞行过程中出现丟星情况，姿态容易发散，会直接导致飞行任务失败甚至飞行器坠毁。

发明内容

为了解决上述问题，本发明提供了一种具有多信息融合和光流测速作用的超小型双光成像系统及光流测速方法。

本发明是这样实现的，提供一种具有多信息融合和光流测速作用的超小型双光成像系统，应用在飞行器上，包括红外成像模块、可见光成像模块、超声波测距模块、惯性测量模块和核心图像处理器，核心图像处理器包括多信息融合模块、光流测速模块、OSD模块和视频压缩模块，红外成像模块与多信息融合模块的输入端连接，可见光成像模块分别与多信息融合模块和光流测速模块连接，超声波测距模块、惯性测量模块分别与光流测速模块的输入端连接，在核心图像处理器内，光速测流模块分别与多信息融合模块和OSD模块输入端连接，OSD模块输出端与多信息融合模块连接，多信息融合模块的输出端与视频压缩模块连接，视频压缩模块通过网络将处理后的图像信息发送出去。

优选地，还包括人脸识别模块，人脸识别模块连接在所述多信息融合模块与所述OSD模块之间，人脸识别模块包括人脸图像特征提取模块、人脸图像匹配与识别模块以及人脸图像档案存储模块，人脸图像特征提取模块与多信息融合模块连接，用于提取捕捉的人像特征，之后人脸图像匹配与识别模块将捕捉的人像特征与人脸图像档案存储模块中存储的人脸图像匹配，进行人脸识别，然后通过OSD模块将识别结果传输到多信息融合模块中进行融合。

进一步优选，还包括拾音器，拾音器与所述多信息融合模块的输入端连接，用于为视频图像采集音频进行融合。

进一步优选，还包括探照灯，探照灯与所述可见光成像模块连接，用于在低照度下为可见光成像模块提供光源。

进一步优选，所述多信息融合模块将所述红外成像模块输入的红外图像与所述可见光成像模块输入的可将光图像进行融合的方式为红外成像模块输入的红外图像叠加嵌入到可见光成像模块输入的可见光图像中或红外图像与可见光图像在像素级上进行叠加。

进一步优选，红外图像与可见光图像在像素级上进行叠加的具体步骤为：

501)利用线下标定方法将所述可见光成像模块和所述红外成像模块的光轴对准；

502)然后通过双线性差值法，实现可见光图像和红外图像的像元匹配；

503)计算匹配的可见光图像块和红外图像块的显著度；

504)可见光像元和红外像元级叠加过程中，给显著度高的像素点分配较高的权值，完成像素级上的叠加。

进一步优选，所述红外成像模块尺寸为10.50×12.701×7.14mm，重0.9g，配置水平视场角为56°HFOV、焦距为1.8mm、F数为1.1的无热化红外光学镜头；所述可见光成像模块为自动对焦照相模组，尺寸为8.50×8.5×5.03mm，质量小于0.5g，配置视场角为60～69°、焦距为3.34mm、F数为2.8的可见光自动对焦镜头；所述拾音器为MEMS麦克风；所述超声波测距模块包括超声波发射器、超声波接收器及控制电路；所述惯性测量模块为MEMS陀螺仪。

与现有技术相比，本发明的优点在于：

本发明将红外成像技术、可见光成像技术与信息融合技术一体化设计，创新性地在双光系统中增加光流测速和人脸识别功能，实现超小型双光成像系统，进一步拓展小型侦察式无人机在复杂环境中的作业能力，为地面作战单位在隐匿的环境下充分的扩大视野，使行动人员能够随时随地保持态势感知、威胁探测和监视能力。

附图说明

图1为本系统模块组成图；

图2为人脸识别模块组成图；

图3为超声测距模块组成图。

图4为多信息融合模块中红外成像模块输入的红外图像叠加嵌入到可见光成像模块输入的可见光图像中示意图；

图5为多信息融合模块中红外图像与可见光图像在像素级上进行叠加示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

参考图1，本发明提供一种具有多信息融合和光流测速作用的超小型双光成像系统，应用在飞行器上，包括红外成像模块、可见光成像模块、超声波测距模块、惯性测量模块和核心图像处理器，核心图像处理器包括多信息融合模块、光流测速模块、OSD模块和视频压缩模块，红外成像模块与多信息融合模块的输入端连接，可见光成像模块分别与多信息融合模块和光流测速模块连接，超声波测距模块、惯性测量模块分别与光流测速模块的输入端连接，在核心图像处理器内，光速测流模块分别与多信息融合模块和OSD模块输入端连接，OSD模块输出端与多信息融合模块连接，多信息融合模块的输出端与视频压缩模块连接，视频压缩模块通过网络将处理后的图像信息发送出去。

参考图2，核心图像处理器包括人脸识别模块，人脸识别模块连接在所述多信息融合模块与所述OSD模块之间，人脸识别模块包括人脸图像特征提取模块、人脸图像匹配与识别模块以及人脸图像档案存储模块，人脸图像特征提取模块与多信息融合模块连接，用于提取捕捉的人像特征，之后人脸图像匹配与识别模块将捕捉的人像特征与人脸图像档案存储模块中存储的人脸图像匹配，进行人脸识别，然后通过OSD模块将识别结果传输到多信息融合模块中进行融合。

为了增加音频和提高可见光图像采集效果，本系统还包括拾音器和探照灯，拾音器与所述多信息融合模块的输入端连接，用于为视频图像采集音频进行融合。探照灯与所述可见光成像模块连接，用于在低照度下为可见光成像模块提供光源。

红外成像模块：提供9HZ分辨率为160×120的红外视频，配置水平视场角为56°HFOV，焦距为1.8mm、F数为1.1的无热化红外光学镜头。在能见度大于5km,相对湿度小于70％,目标背景温差大于5k的条件下，可实现60m的人员探测距离和30m的人员识别距离。红外成像模块通过SPI接口与核心图像处理器相连，利用其强大的图像处理功能可实现多种智能红外显示，包含多达9种的伪彩模板。多样化的红外智能显示模式，可满足不同环境不同任务的侦测需求。红外成像模块还可以提供肉眼无法感知的温度数据，帮助现场快速分析与决策。测温模式包括点测温、区域测温、等温线显示等，主要用于与温度相关的搜索、侦测任务，如城市巡检、森林防火、危险物体侦测及消防搜救等应用领域。红外成像模组体积只有10.50×12.701×7.14mm大小，重0.9g，功耗140mW，对整个超小型双光系统的小型化轻型化提供了有力支撑。

可见光成像模块：可见光成像模块由自动对焦照相模组构成。支持输出最大为500万像素的图像(2592x1944分辨率)，60fps的720p HD视频和30fps的1080p HD视频。配置视场角为60～69°，焦距为3.34mm,F数为2.8的可见光自动对焦镜头，可以实现大于200m的人员探测距离，大于100m的人员识别距离和大于25m的人脸识别距离。可见光成像模块利用核心处理器强大的图像处理功能可进行亮度、对比度色度和饱和度的自适应调节，实现夜景模式和去雾算法。自动对焦照相模组只有8.50×8.5×5.03mm大小，质量小于0.5g，工作时功率在150mW-200mW之间。

超声波测距模块：参考图3，超声波测距模块包括超声波发射器、超声波接收器及控制电路，提供2cm-400cm的非接触式距离感测。

惯性测量模块：为MEMS陀螺仪。

拾音器：为MEMS麦克风。

探照灯：探照灯使用低功耗的LED灯珠进行照明，在照明条件不理想，需要可见光视频输出的条件下使用。低功耗的LED灯珠功耗0.5W。

核心图像处理器中：

多信息融合模块：多信息融合模块实现可见光与红外成像、视频与声音的有效融合。可见光图像与红外图像的融合方式分为画中画和像素级融合两种模式，其中画中画融合通过将红外嵌入可见光图像中进行同屏显示，如图4所示。像素级融合通过图像标定使红外图像与可见光图像的光轴对齐，然后根据可见光图像与红外图像表征的信息量进行像素级上的叠加，得到信息更加丰富的视频图像，如图5所示，具体的融合方法为:

501)利用线下标定方法将所述可见光成像模块和所述红外成像模块的光轴对准；

502)然后通过双线性差值法，实现可见光图像和红外图像的像元匹配；

503)计算匹配的可见光图像块和红外图像块的显著度；

504)可见光像元和红外像元级叠加过程中，给显著度高的像素点分配较高的权值，完成像素级上的叠加。

多信息融合模块利用多个模块提供的互补信息，融合后的图像包含了更为全面、丰富的信息，其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别；在不利的环境条件下(例如烟、尘、云、雾、雨等)，通过多传感器图像融合可以改善检测性能。例如，在烟、雾环境下，可见光图像质量差(甚至无法看清目标)，而获得的红外图像对于烟、雾却有较强的穿透能力，尽管信号会有些衰减，但仍然可获得较清晰的图像。

光流测速模块：

通过“光流追踪”算法，处理由可见光成像模块连续采集的物体表面图像，对所产生的图像数字矩阵进行分析处理。由于相邻的两幅图像总会存在相同的特征，通过对比这些特征点的位置变化信息，便可以判断出物体表面特征的平均运动，这个分析结果最终被转换为二维的坐标偏移量，并以像素数形式存储在特定的寄存器中，实现对运动物体的检测。因为可见光图像的单位是像素，光流法计算出的速度是没有尺度的，通过超声波模块测量平面运动离相机的距离，把像素运动转换成真实的运动。为了让光流测速模块无人机飞行器上也能使用，通过找出图像所代表的平面，在算法上将超声波模块与惯性测量元件两种传感器进行融合得到稳定的速度输出，光流测速算法流程具体如下：

801)由所述可见光成像模块采集第i帧图像，选取此图像中一个特征显著目标，提取此目标的特征点集F_i；

802)由所述可见光成像模块采集第i+1帧图像，在第i+1帧图像搜索与第i帧图像特征点集匹配特征点集F_i+1；

803)根据获取特征点集F_i与F_i+1中匹配的特征点对计算平均光流向量：

其中为特征点集F_i与F_i+1中匹配的特征点的坐标值；

804)根据平均光流向量得到飞行器对地的相对速度：

其中，T为相邻两帧i,i+1间的时间间隔；

805)根据所述超声波测距模块测量出可见光成像模块与地面目标的距离Z，将飞行器对地的相对速度转换成绝对速度：

其中f为可见光镜头焦距；

806)由于飞行器在飞行过程中会发生自身抖动，利用所述惯性测量元件测量出因为抖动产生的偏差，将偏差从步骤805)中计算的绝对速度中消除掉，得到目标对地绝对速度。

人脸识别模块：

人脸识别模块包括人脸面像档案库、人脸图像特征提取模块以及人脸图像匹配与识别模块三部分。人脸面像档案库利用摄像机采集单位人员的人脸面像文件，并将这些面像文件生成特征模板贮存到数据库中。人脸图像特征提取模块采用区域特征分析方法，融合计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从云台相机回传的图像中提取人像特征点，利用生物统计学原理分析建立人脸特征模板。人脸图像匹配与识别模块将提取的人脸特征模板与数据库中存储的特征模板进行比对识别，最终根据比对的相似值对人员的身份信息进行判断与确认。整个人脸识别的工作流程如下：

2)超小型双光系统通过可见光成像模块进行人脸捕获与跟踪；

3)可见光成像模块将采集到的图像输入人脸识别模块；

4)人脸识别模块对输入的人脸图片/图像进行特征点提取，建立特征模板；

5)对所提取的人脸特征模板与数据库中特征模板进行识别比对，从而确认人员身份。

OSD模块：把光流测速模块测出来的速度输入到多信息融合模块，把速度信息嵌入到视流中，用于线下分析。

视频压缩模块：对融合后的视频进行压缩编码，传递给外界。

本发明提供的具有多信息融合和光流测速作用的超小型双光成像系统的主要性能指标如下：

1、红外指标：

视场角：56°×48°

分辨率：160(h)×120(v)

帧率：9HZ

NETD<50mk

测温精度：±5°@25℃

2、可见光指标：

视场角：60°—69°

最高分辨率：2592x1944

帧率：1080p30Hz

720p 60Hz

3、重量：<30g

4、体积：72(长)×36(宽)×20(高)mm

5、功耗：<2W

6、侦察性能：

目标探测距离≥200m(可见)≥60m(红外)

目标探测距离≥200m(可见)≥30m(红外)

人脸识别距离≥25m(可见)。