一种超分辨率红外成像系统及其稳像方法、装置
阅读说明：本技术 一种超分辨率红外成像系统及其稳像方法、装置 (Super-resolution infrared imaging system and image stabilizing method and device thereof ) 是由 范大勇 黄涛 于 2020-06-08 设计创作，主要内容包括：本发明涉及一种超分辨率红外成像系统及其稳像方法、装置,属于红外热成像技术领域。其中稳像方法包括：获取当前时刻平台的振动量、以及下一时刻扫描镜的需求位移量；根据当前时刻平台的振动量得到下一时刻成像位置与感光位置的偏移量；根据偏移量得到下一时刻扫描镜的补偿量；根据补偿量以及需求位移量确定下一时刻扫描镜的实际位移量；根据实际位移量得到驱动装置的控制量,以该控制量控制驱动装置。本发明通过当前时刻的平台振动量实现扫描镜位移的补偿,保证成像位置和感光位置重合,避免因振动出现图像模糊化的问题。(The invention relates to a super-resolution infrared imaging system and an image stabilizing method and device thereof, belonging to the technical field of infrared thermal imaging. The image stabilizing method comprises the following steps: obtaining the vibration quantity of the platform at the current moment and the required displacement quantity of the scanning mirror at the next moment; obtaining the offset of the imaging position and the photosensitive position at the next moment according to the vibration quantity of the platform at the current moment; obtaining the compensation quantity of the scanning mirror at the next moment according to the offset; determining the actual displacement of the scanning mirror at the next moment according to the compensation amount and the required displacement; and obtaining the control quantity of the driving device according to the actual displacement, and controlling the driving device according to the control quantity. According to the invention, the compensation of the displacement of the scanning mirror is realized through the vibration quantity of the platform at the current moment, the coincidence of the imaging position and the photosensitive position is ensured, and the problem of image blurring caused by vibration is avoided.)
技术领域
本发明涉及一种超分辨率红外成像系统及其稳像方法、装置，属于红外热成像技术领域。
背景技术
红外成像技术是一种将不可见的红外辐射能量转换成可见图像的技术，它利用对红外波段敏感的红外探测器来收集物体的红外辐射能量分布，再通过合适的算法来恢复出物体的图像。
红外成像技术受红外探测器的技术发展水平的限制，目前虽然可以做出大规模的红外焦平面探测器，但是由于制备大尺寸均匀性好的红外晶体材料很困难，难以满足使用要求，而且红外焦平面探测器制作工艺水平还不完善，导致红外焦平面探测器不仅成本很高，而且性价比低。同时由于红外成像系统工作在波长较长的红外波段(1～12μm)，受限于衍射极限，红外成像探测系统的分辨力不可能做到很高。目前红外探测器的分辨率一般在384×288、640×512或1280×1024，分辨率的提升伴随着成本的数量级增长，最常用的制冷型的红外探测器的分辨率为384×288。
为此，有人提出一种微扫超分方法，该方法通过设置扫描镜，有效地重复利用红外探测器的各像素，通过微扫描方式来提高成像系统的采样频率，再从多幅图像中重建得到一副高分辨率的图像，通过微扫描技术，可以提高成像系统的空间分辨力。同时，利用微扫超分方法时，为了获得更加清晰的图像，红外成像系统对视场和曝光时间有要求，然而，鉴于红外成像系统所搭载的平台由于惯性太大，因此其对于高频振动的控制能力有限，而且还伴随着万向节运动轴偏移等问题，使得微扫超分红外成像受到振动的影响，进而导致图像模糊化。
发明内容
本申请的目的在于提供一种超分辨率红外成像系统的稳像方法，用以解决现有红外成像因振动导致图像模糊化的问题；同时还提出一种超分辨率红外成像系统的稳像装置，用以解决现有红外成像因振动导致图像模糊化的问题；同时还提出一种超分辨率红外成像系统，用以解决现有红外成像因振动导致图像模糊化的问题。
为实现上述目的，本申请提出了一种超分辨率红外成像系统的稳像方法的技术方案，包括以下步骤：
1)获取当前时刻平台的振动量、以及下一时刻扫描镜的需求位移量；所述需求位移量为微扫超分方法中的亚像素位移量；
2)根据当前时刻平台的振动量得到下一时刻成像位置与感光位置的偏移量；
3)根据所述偏移量得到下一时刻扫描镜的补偿量；
4)根据所述补偿量以及所述需求位移量确定下一时刻扫描镜的实际位移量；
5)根据所述实际位移量得到驱动装置的控制量，以该控制量控制驱动装置。
另外，本申请还提出一种超分辨率红外成像系统的稳像装置，包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现上述的超分辨率红外成像系统的稳像方法的技术方案。
本发明的超分辨率红外成像系统的稳像方法、装置的技术方案的有益效果是：本发明通过当前时刻的平台振动量即可得到下一时刻的偏移量，通过偏移量推算出扫描镜的补偿量，以该补偿量确定扫描镜的实际位移，进而确定驱动装置的控制量，通过控制驱动装置而实现扫描镜的位移补偿，保证成像位置和感光位置重合，避免因振动出现图像模糊化的问题。
进一步的，上述超分辨率红外成像系统的稳像方法、装置中，为了更加精确的获得平台的振动量，通过惯性传感器获取当前时刻平台的振动量。
进一步的，上述超分辨率红外成像系统的稳像方法、装置中，为了更加精确的控制扫描镜，所述驱动装置为微扫器。
进一步的，上述超分辨率红外成像系统的稳像方法、装置中，微扫超分方法中的亚像素位移量可以灵活设置，所述亚像素位移量为0.5像素、0.33像素、0.25像素、0.2像素或0.1像素。
另外，本申请还提出一种超分辨率红外成像系统，包括用于成像的成像透镜组、用于对成像透镜组所形成的图像信息进行微扫的扫描镜、用于驱动扫描镜运动的驱动装置，以及用于接收图像信息的红外传感器，还包括：
振动量采集装置，用于采集平台的振动量；
控制装置，控制装置的输入端连接振动量采集装置，控制装置的输出端控制连接驱动装置，控制装置包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
1)获取当前时刻平台的振动量、以及下一时刻扫描镜的需求位移量；所述需求位移量为微扫超分方法中的亚像素位移量；
2)根据当前时刻平台的振动量得到下一时刻成像位置与感光位置的偏移量；
3)根据所述偏移量得到下一时刻扫描镜的补偿量；
4)根据所述补偿量以及所述需求位移量确定下一时刻扫描镜的实际位移量，
5)根据所述实际位移量得到驱动装置的控制量，以该控制量控制驱动装置。
本发明的超分辨率红外成像系统的技术方案的有益效果是：本发明通过振动量采集装置得到当前时刻的平台振动量，进而得到下一时刻的偏移量，通过偏移量推算出扫描镜的补偿量，以该补偿量确定扫描镜的实际位移，进而确定驱动装置的控制量，通过控制驱动装置而实现扫描镜的位移补偿，保证成像位置和感光位置重合，避免因振动出现图像模糊化的问题。
进一步的，为了更加精确的获得平台的振动量，通过惯性传感器获取当前时刻平台的振动量。
进一步的，为了更加精确的控制扫描镜，所述驱动装置为微扫器。
进一步的，所述扫描镜为透射式扫描镜或者反射式扫描镜。
进一步的，微扫超分方法中的亚像素位移量可以灵活设置，所述亚像素位移量为0.5像素、0.33像素、0.25像素、0.2像素或0.1像素。
附图说明
图1是本发明超分辨率红外成像系统的结构框图；
图2是本发明红外成像的光路原理图；
图3是本发明微扫超分方法的原理图；
图4是本发明微扫超分方法的成像原理图；
图5-1是本发明微扫超分方法顺时针时序示意图；
图5-2是本发明微扫超分方法逆时针时序示意图；
图5-3是本发明微扫超分方法交叉时序的示意图一；
图5-4是本发明微扫超分方法交叉时序的示意图二；
图6是本发明超分辨率红外成像系统的稳像方法的原理图；
图7-1是本发明成像位置与感光位置重合的示意图；
图7-2是本发明成像位置与感光位置存在误差的示意图；
图7-3是本发明成像位置与感光位置存在误差时，经过调整重合的示意图；
图8是本发明反射式扫描镜的成像系统的结构简图；
图9是本发明超分辨率红外成像系统的稳像装置的结构示意图；
图中：1为惯性传感器、2为成像透镜组、3为扫描镜、4为微扫器、5为红外传感器、6为控制装置、7为显示器。
具体实施方式
超分辨率红外成像系统实施例：
超分辨率红外成像系统如图1所示，包括惯性传感器1、成像透镜组2、扫描镜3、微扫器4、红外传感器5、控制装置6、显示器7，红外成像系统搭载在一个可以运动的平台上，通过平台的移动实现红外成像。
成像透镜组2用于实现待成像物体的成像；微扫器4与控制装置6连接，用于接收控制装置6输出的设定时序的控制量以驱动扫描镜3移动；
扫描镜3为透射式高速扫描镜，精度可达0.1μm，带宽可达1KHz，为了使得扫描镜3的透镜尺寸和重量较小，如图2所示，其位置设置在成像透镜组2的光路中，通过高速扫描镜的移动将成像透镜组的像面发生移动后的不同帧的图像透射至红外传感器5上；
红外传感器5与控制装置6连接，用于将所采集的不同帧的图像信息发送至控制装置6，控制装置6对不同帧的图像信息进行重构，得到高分辨率图像；红外传感器5采用中波制冷型红外探测器，分辨率640×512，帧率100Hz，像元尺寸15μm，经过图像重构后可输出25Hz、1280×1024高分辨率图像；
显示器7与控制装置6连接，用于显示所得到的高分辨率图像；
惯性传感器1为MEMS惯性器件，用于采集平台的振动量，惯性传感器1与控制装置6的信号输入端连接，将平台的振动量实时发送至控制装置6；
控制装置6为红外成像系统的核心装置，控制装置6包括处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，处理器在执行所述计算机程序时实现稳像方法。
稳像方法的主要构思在于，通过控制微扫器4控制扫描镜3的移动实现微扫超分方法，并且根据惯性传感器1所采集的振动量实现微扫超分成像中扫描镜的位移补偿，也即在微扫超分方法的基础上进行稳像。
首先，微扫超分方法的原理如下：
微扫器4带动扫描镜3按照设定的时序移动，成像光束在穿过光路中最后一组与扫描镜3连接的透镜时使得红外传感器5中焦平面上的图像也随之进行平移(其中扫描镜3的垂轴放大率为0.5，红外传感器5的像源尺寸为15μm，因此扫描镜3每移动15μm，红外传感器5的焦平面上的图像移动7.5μm)，具体的，如图3所示，扫描镜3根据每个时刻的需求位移量，按照右移、下移、左移、上移的顺序进行平移，如图4所示(图4中原点代表红外传感器5的感光位置，横竖线的交叉点为成像位置)，使相邻帧之间红外传感器5上光学图像发生0.5像素的位移，原始位置获取第一帧图像，在红外传感器5开始第二帧曝光前，像面向右移动0.5像素；第三帧图像为像面向下移动0.5像素，第四帧图像为像面向左移动0.5像素；并将四帧图像发送至控制装置6；
控制装置6将获得的四帧图像按照像素点所在位置填充到一幅分辨率提升至2×2倍的空白图像中，通过空域迭代超分重构等算法处理即可获得高分辨图像。
关于上述微扫超分方法的扫描时序，为图5-1所示的顺时针时序，作为其他实施方式，扫描时序也可以为如图5-2所示的逆时针时序、或者如图5-3、5-4所示的交叉时序，本发明对此不做限制。
关于上述扫描镜3的每个时刻的需求位移量为亚像素位移量，也即需要像面移动的位移量，为0.5像素，作为其他实施方式，需求位移量可以根据需要进行设定，也可以为0.33像素、0.25像素、0.2像素或0.1像素等。
为了避免微扫超分成像时因振动而导致图像模糊，控制装置6实现的稳像方法如图6所示，具体实施步骤如下：
1)平台未振动时，红外成像系统在红外传感器5的焦平面上的成像位置与感光位置如图7-1所示，为重合的，不会出现模糊；
2)当平台振动时，通过惯性传感器1获取当前时刻平台的振动量，以及下一时刻扫描镜3的需求位移量；
3)根据测量的当前时刻平台的振动量得到下一时刻在红外传感器5的焦平面上的成像位置与期望感光位置(期望感光位置为横竖线的交叉点)如图7-2所示，存在偏移量ΔS，假定平台的振动量为ΔS0，由图3所示光路可知下一时刻的偏移量ΔS＝-ΔS0；
4)根据偏移量得到下一时刻扫描镜3的补偿量，偏移量和补偿量的关系可以根据扫描镜3的放大倍率确定；例如：扫描镜3的放大倍率为0.5，若偏移量ΔS＝-4mm时，补偿量应当为-2mm；
5)根据补偿量以及需求位移量确定下一时刻扫描镜3的实际位移量；具体为：将补偿量和需求位移量相加即可得到下一时刻扫描镜3的实际位移量；
6)根据实际位移量得到微扫器4的控制量，以该控制量控制微扫器4，使得红外传感器5的焦平面上的成像位置与感光位置如图7-3所示，重新重合。
上述步骤6)中通过实际位移量得到微扫器4的控制量的过程为现有技术，与在微扫超分方法中通过需求位移量得到微扫器4的控制量的过程相同，这里不做赘述。
上述实施例中，扫描镜3为透射式扫描镜，作为其他实施方式，扫描镜3也可以如图8所示，为反射式扫描镜，成像透镜组2形成的成像光束经扫描镜3反射后进入红外传感器5，相比透射式的结构，反射式结构能够获得更大的校正行程，反应速度也更快。
上述实施例中，通过惯性传感器1采集平台的振动量，为惯性式的传感器，作为其他实施方式，也可以通过相对式的传感器进行振动量的采集。
上述实施例中，控制装置为DSP+FPGA，作为其他实施方式，也可以采用其他高速处理芯片等。
上述实施例中，通过微扫器4驱动扫描镜3，作为其他实施方式，也可以采用其他驱动装置驱动扫描镜3，本发明不做限制。
本发明通过采集平台的振动量，对微扫超分方法中扫描镜3的需求位移量进行补偿，保证在红外传感器5的焦平面上的成像位置与感光位置重合，避免出现图像模糊的现象，在实现微扫超分的同时又实现了光学稳像。
超分辨率红外成像系统的稳像装置实施例：
超分辨率红外成像系统的稳像装置，也即超分辨率红外成像系统中的控制装置，如图9所示，包括处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现超分辨率红外成像系统的稳像方法。
超分辨率红外成像系统的稳像方法的具体实施过程以及效果在上述超分辨率红外成像系统实施例中介绍，这里不做赘述。
也就是说，以上超分辨率红外成像系统实施例中的稳像方法应理解可由计算机程序指令实现超分辨率红外成像系统的稳像方法的流程。可提供这些计算机程序指令到处理器(如通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备等)，使得通过处理器执行这些指令产生用于实现上述方法流程所指定的功能。
本实施例所指的处理器是指微处理器MCU或可编程逻辑器件FPGA等的处理装置；
本实施例所指的存储器用于存储实现超分辨率红外成像系统的稳像方法而形成的计算机程序指令，包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。例如：利用电能方式存储信息的各式存储器，RAM、ROM等；利用磁能方式存储信息的的各式存储器，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的各式存储器，CD或DVD。当然，还有其他方式的存储器，例如量子存储器、石墨烯存储器等等。
通过上述存储有实现超分辨率红外成像系统的稳像方法而形成的计算机程序指令的存储器、处理器构成的超分辨率红外成像系统的稳像装置，在计算机中由处理器执行相应的程序指令来实现，计算机可使用windows操作系统、linux系统、或其他，例如使用android、iOS系统程序设计语言在智能终端实现，以及基于量子计算机的处理逻辑实现等。
作为其他实施方式，超分辨率红外成像系统的稳像装置还可以包括其他的处理硬件，如数据库或多级缓存、GPU等，本发明并不对超分辨率红外成像系统的稳像装置的结构做具体的限定。
超分辨率红外成像系统的稳像方法实施例：
超分辨率红外成像系统的稳像方法的具体实施过程以及效果在上述超分辨率红外成像系统实施例中介绍，这里不做赘述。