气动光学效应目标孪生图像的超快复原方法及系统
阅读说明：本技术 气动光学效应目标孪生图像的超快复原方法及系统 (Ultrafast restoration method and system for pneumatic optical effect target twin image ) 是由 洪汉玉 雷金磊 张耀宗 章秀华 吴锦梦 张天序 于 2021-11-17 设计创作，主要内容包括：本发明公开了一种气动光学效应目标孪生图像的超快复原方法,包括以下步骤：在高速流场中,通过相机快速生成两帧目标孪生图像；S2、对两帧目标孪生图像进行快速离散傅里叶变换,分别建立图像湍流模糊退化模型；S3、将两个图像湍流模糊退化模型合并计算,消去相同的噪声项与退化模型中的相同项,并加入非负性约束项和空间相关性约束项,求解得到每帧目标孪生图像的模糊核；S4、将两帧目标孪生图像的边界分别进行微分连续延拓,抑制边界振铃效应；S5、根据求解的模糊核,并通过超拉普拉斯先验的快速非盲反卷积方法进行两帧目标孪生图像的复原；S6、对复原后的图像分别进行归一化,得到清晰图像。本发明能够对具有目标孪生图像的气动光学效应退化图像进行超快复原。(The invention discloses an ultrafast restoration method of a pneumatic optical effect target twin image, which comprises the following steps of: in a high-speed flow field, two frames of target twin images are rapidly generated through a camera; s2, performing fast discrete Fourier transform on the two frame target twin images, and respectively establishing an image turbulence fuzzy degradation model; s3, combining and calculating the two image turbulence fuzzy degradation models, eliminating the same noise term and the same term in the degradation models, adding a non-negative constraint term and a spatial correlation constraint term, and solving to obtain a fuzzy core of each frame of target twin image; s4, respectively carrying out differential continuous continuation on the boundaries of the two frame target twin images to inhibit the boundary ringing effect; s5, restoring the twin image of the two frames of targets by a fast non-blind deconvolution method of a super-Laplace prior according to the solved fuzzy kernel; and S6, normalizing the restored images respectively to obtain clear images. The invention can carry out ultrafast restoration on the degraded image with the target twin image and the aerodynamic optical effect.)
技术领域
本发明属于气动光学效应校正，图像处理领域，尤其涉及一种气动光学效应目标孪生图像的超快复原方法。
背景技术
高速飞行器在大气中高速飞行时，因与周围空气的相对运动和相互作用，产生气动流场，使飞行器光学成像探测系统功能严重退化的物理过程和现象，称为气动光学效应。由于环境的复杂性，其成像系统会受到气动光学效应干扰，导致获取到的图像产生湍流退化，会影响到对目标的识别与追踪。飞行器的高速运动留给完成探测处理时间间隔更短，对成像识别系统有限的处理能力提出严峻的挑战。
针对气动光学效应校正，现有的方法大致可以分为两类：1基于深度学习网络方法；2基于模型最优化的方法。但是由于其算法设计的复杂性，计算量大，耗时长，很难满足快速处理的要求，尤其对于高速飞行器来说，实时性至关重要。基于这一问题，提出了一种气动光学效应目标孪生图像的超快复原方法。
发明内容
本发明的目的在于提供一种可大大加快复原速度的图像复原速度大大提升的气动光学效应目标孪生图像的超快复原方法及系统。
为实现上述目的，本发明所采用的技术方案为：
提供一种气动光学效应目标孪生图像的超快复原方法，包括以下步骤：
S1、在高速流场中，通过相机快速生成两帧目标孪生图像；
S2、对两帧目标孪生图像进行快速离散傅里叶变换，分别建立图像湍流模糊退化模型；
S3、将两个图像湍流模糊退化模型并合并计算，消去相同的噪声项与退化模型中的相同项，并加入非负性约束项和空间相关性约束项，求解得到每帧目标孪生图像的模糊核；
S4、将两帧目标孪生图像的边界分别进行微分连续延拓，抑制边界振铃效应；
S5、根据求解的模糊核，并通过超拉普拉斯先验的快速非盲反卷积方法进行两帧目标孪生图像的复原；
S6、对复原后的图像分别进行归一化，得到清晰图像。
接上述技术方案，步骤S2中：
图像湍流模糊退化模型，其中为清晰图像，为噪声项，为模糊核，计算时噪声项忽略不计，（x、y）为每个像素点的坐标；
将两帧孪生目标图像分别建模并进行合并计算，计算过程中添加非负性惩罚项，保证模糊核的非负性，添加空间相关性约束项保证图像湍流模糊退化模型中相邻点之间的差异在先验知识的约束条件下为极小。
接上述技术方案，步骤S4中，延拓尺寸大于模糊核边长的两倍，小于原始图像短边尺寸的一半。
接上述技术方案，步骤S6具体采用降采样法分别在复原图像的行和列方向上每隔两个点取一次值求得能量损失比例，然后进行归一化处理。
本发明一种气动光学效应目标孪生图像的超快复原系统，包括：
图像采集模块，用于在高速流场中，通过相机快速生成两帧目标孪生图像；
退化模型建立模块，用于对两帧目标孪生图像进行快速离散傅里叶变换，并分别建立图像湍流模糊退化模型；
模糊核计算模块，用于将两个图像湍流模糊退化模型并合并计算，消去相同的噪声项与退化模型中的相同项，并加入非负性约束项和空间相关性约束项，求解得到每帧目标孪生图像的模糊核；
边界延拓模块，用于将两帧目标孪生图像的边界分别进行微分连续延拓，抑制边界振铃效应；
复原模块，用于根据求解的模糊核，并通过超拉普拉斯先验的快速非盲反卷积方法进行两帧目标孪生图像的复原；
归一化模块，用于对复原后的图像分别进行归一化，得到清晰图像。
接上述技术方案，退化模型建立模块中建立的图像湍流模糊退化模型为：
，其中为清晰图像，为噪声项，为模糊核，计算时噪声项忽略不计；（x、y）为每个像素点的坐标；
退化模型建立模块具体用于将两帧孪生目标图像分别建模并进行合并计算，计算过程中添加非负性惩罚项，保证模糊核的非负性，添加空间相关性约束项保证图像湍流模糊退化模型中相邻点之间的差异在先验知识的约束条件下为极小。
接上述技术方案，边界延拓模块进行边界延拓时，延拓尺寸大于模糊核边长的两倍，小于原始图像短边尺寸的一半。
接上述技术方案，归一化模块具体采用降采样法分别在复原图像的行和列方向上每隔两个点取一次值求得能量损失比例，然后进行归一化处理。
本发明还提供了一种计算机存储介质，其可被处理器执行，其内存储有计算机程序，该计算机程序执行上述技术方案所述的气动光学效应目标孪生图像的超快复原方法。
本发明产生的有益效果是：本发明的气动光学效应目标孪生图像的超快复原方法通过两帧孪生目标图像去模糊相较于单幅图像可以更加充分的利用像素信息，并发挥图像退化信息的互补作用，将两个图像湍流模糊退化模型合并计算，消除了单幅图像对噪声的敏感，并利用非负性约束项和空间相关性约束项求解模糊核，保证了模糊核的准确性，加快了图像复原速度并提高了复原图像的清晰度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例气动光学效应目标孪生图像的超快复原方法的流程图；
图2为本发明实施例整体算法流程示意图；
图3为本发明实施例两帧目标孪生湍流模糊退化图像采集过程；
图4为本发明实施例两帧目标孪生湍流模糊退化图像示例；
图5为本发明实施例两帧目标孪生湍流模糊退化图像经计算所得模糊核；
图6为本发明实施例求得两个模糊核的三维模型展示；
图7为本发明实施例延拓后的模糊图像；
图8为本发明实施例经超拉普拉斯快速反卷积的到的结果图；
图9为本发明实施例经归一化后得到的清晰图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的气动光学效应目标孪生图像的超快复原方法，在windows10平台采用C++与MFC进行系统搭建。可以理解的是，还可将本发明的算法移植至其他编程语言或硬件设备中。
如图1、2所示，本发明实施例的气动光学效应目标孪生图像的超快复原方法，包括以下步骤：
S1、在高速流场中，通过相机快速生成两帧目标孪生图像；
S2、对两帧目标孪生图像进行快速离散傅里叶变换，分别建立图像湍流模糊退化模型；
S3、将两个图像湍流模糊退化模型合并计算，消去相同的噪声项与退化模型中的相同项，并加入非负性约束项和空间相关性约束项，求解得到每帧目标孪生图像的模糊核；
S4、将两帧目标孪生图像的边界分别进行微分连续延拓，抑制边界振铃效应；
S5、根据求解的模糊核，并通过超拉普拉斯先验的快速非盲反卷积方法进行两帧目标孪生图像的复原；
S6、对复原后的图像分别进行归一化，得到清晰图像。
在高速流场中，因气动光学气动效应的瞬态性与高频性特征，两帧图像之间的湍流环境有很大差异，两帧目标孪生图像目标相同，但湍流场环境参数不同。
如图3所示，本发明的一个较佳实施例中，两张图像分别记为,两帧拍摄间隔T1，下一轮拍摄间隔T2，，图像大小为，设定模糊核大小（设定范围为）。该实施例中，图像大小为256×256，设定点模糊核大小8×8，测试用例如图4。
步骤S2中：
图像湍流模糊退化模型为，其中为清晰图像，为噪声，为模糊核，n=1,2。 两帧目标孪生图像的噪声项可忽略不计。
将图像分别进行FFTW变换（快速离散傅里叶变换）得到 。不同于FFT方法，采用FFTW可对任意尺寸图像进行处理。减少了处理时间，并可对任意尺寸图片进行快速处理，不需要限定图像大小为图像2的n次方。
计算公式如下：
建立方程，因两帧孪生目标图像相同只是湍流模糊核不同，可以进行消去，得到以下式子：
湍流总体模糊核的支持域尺寸为为湍流总体模糊核的有效宽度，该实施例中V=8。
对上式进行移项和整理得：
将复变量表示为实部和虚部，有:
将复变量代入，并将虚部实部展开得到
从上述方程组中将线性相关方程去掉，剩余的用矩阵向量的形式表示为:
此时x为两帧图像的模糊核的集合，A为矩阵。模糊核应该满足一些常见的先验知识约束。求解x则可求得两帧目标孪生图像模糊核的集合。本步骤将两帧图像建模并进行合并计算，充分利用两帧的相同图像信息，大大节省了计算量与计算时间。
进一步地，步骤S3的具体方法为：
为添加非负性约束项和空间相关性约束项，在最小二乘准则函数上增加三个惩罚项，求解得到关于两个模糊核h 1，h 2，见图5，模糊核的三维模型见图6。
加入约束项后，h 1，h 2求解模型：
其中和为正则化系数；为非负性惩罚项，用来保证模糊核的非负性；为对角矩阵；为连通系数，保证模糊核的集合x内各点连续。惩罚项用来保证图像湍流模糊退化模型相邻点之间的差异在先验知识的约束条件下为极小，从而使退化模型具有空间相关性。表示模糊核矩阵中一个点的具体值。
采用迭代极小化算法求解x得:
x为模糊核h 1和h 2的合并矩阵，x矩阵上半部分为h 1，x矩阵下半部分为h 2。
进一步地，步骤S4的具体方法为：
边界振铃效应的产生通常是由于图像边界处信息丢失造成的，如果可以解决图像边界信息丢失的问题，使得边界处满足微分条件，为了抑制边界振铃效应，须对两帧图像进行边界微分可连续的延拓，采用FFTW进行计算，不需将图像大小延拓至2的n次方，对任意尺寸的图像均可进行处理，进而提升了图像反卷积速度，延拓的尺寸应大于2V，小于N/2。延拓后的图像尺寸可根据图像尺寸进行延拓，相比常规延拓方法减少了计算量。该实施例中将两张目标孪生图像进行边界延拓，抑制边界振铃效应扩展尺寸为50，见图7。为了抑制边界振铃效应，须对两帧图像进行边界平滑延拓，延拓的尺寸为50，延拓的值为图像的边界平滑过渡区域值。
由求得的模糊核，通过超拉普拉斯先验的快速非盲反卷积方法进行复原得到结果图像，见图8。
步骤S5具体使用了超拉普拉斯先验图像退化模型求解复原图像复原，模型如下：
为控制正则化输出的权重，为已知模糊核，为模糊核偏差估计，为模糊图；为基于超拉普拉斯的算子先验。该实施例中，可设为100，设为0.66。通过反卷积恢复获得的复原图像可以表示为以下式子，给定前一次迭代得到的的固定值，最优解 I 可以表示为：
式中为卷积矩阵，采用2维FFTW对卷积矩阵进行处理，得到x的最优解：
其中*为复数共轭，为对应元素乘法运算符，为快速傅里叶反变换，FFTW为快速傅里叶变换。在每次迭代中求解式需要3次FFTW。采用FFTW进行计算大大减小了运行时间，使得卷积速度进一步提升，在与两帧算法求模糊核合并之后，使得图像的去模糊过程速度大大提升。
进一步地，本发明较佳实施例中，因采用超拉普拉斯快速非盲反卷积会导致在复原时引起成比例的能量损失，可采用降采样归一化方法使得去模糊结果恢复至与原图能量保持一致。
步骤S6的具体方法为：设去模糊后图像为,设能量丢失比例为P，设最终结果图为。采用降采样法，分别在步骤S5复原图像的行和列方向上每隔两个点取一次值，求得能量损失比例P，然后进行归一化处理。
其中能量损失比例：
将此比例P与去模糊后的图像相乘得到最终复原结果图,原图灰度有效范围0-L（该实施例中为0-255），最终复原结果图：
最终输出得到的清晰图像，见图9。
本实施例通过测试得出此算法在恢复两帧图像的总耗时为0.5264s。
本发明实施例气动光学效应目标孪生图像的超快复原系统主要用于实现上述方法实施例，具体包括：
图像采集模块，用于在高速流场中，通过相机快速生成两帧目标孪生图像；
退化模型建立模块，用于对两帧目标孪生图像进行快速离散傅里叶变换，并分别建立图像湍流模糊退化模型；
模糊核计算模块，用于将两个图像湍流模糊退化模型合并计算，消去相同的噪声项与退化模型中的相同项，并加入非负性约束项和空间相关性约束项，求解得到每帧目标孪生图像的模糊核；
边界延拓模块，用于将两帧目标孪生图像的边界分别进行微分连续延拓，抑制边界振铃效应；
复原模块，用于根据求解的模糊核，并通过超拉普拉斯先验的快速非盲反卷积方法进行两帧目标孪生图像的复原；
归一化模块，用于对复原后的图像分别进行归一化，得到清晰图像。
各个模块具体用于实现上述各个实施例中的具体方法，在此不赘述。
本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于被处理器执行时实现上述方法实施例的气动光学效应目标孪生图像的超快复原方法。
综上，本发明的气动光学效应目标孪生图像的超快复原方法通过两帧孪生目标图像去模糊相较于单幅图像可以更加充分的利用像素信息，并发挥图像退化信息的互补作用，将两个图像湍流模糊退化模型合并计算，消除了单幅图像对噪声的敏感，并利用非负性约束项和空间相关性约束项求解模糊核，保证了模糊核的准确性，加快了图像复原速度并提高了复原图像的清晰度。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。