Sar卫星图像与光学图像自动匹配检索方法

文档序号:1954763 发布日期:2021-12-10 浏览:22次 >En<

阅读说明:本技术 Sar卫星图像与光学图像自动匹配检索方法 (SAR satellite image and optical image automatic matching retrieval method ) 是由 葛雨辰 熊召龙 赖作镁 于 2021-08-31 设计创作,主要内容包括:本发明公开的一种SAR卫星图像与光学图像自动匹配检索方法,鲁棒性好,匹配精度高,计算速度快,本发明通过下述技术方案实现:首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样;采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果,以及所有SAR图像序列向光学模板图像的匹配结果,合并两条循环匹配支路的SAR图像块序列结果至全图;并送入筛选模块,筛选各自分支的距离度量矩阵结果符合门限的特征点对,组成有效匹配点对集合;然后利用获取的相关矩阵,计算出SAR特征点坐标和光学特征点坐标,合并两组坐标结果,筛选距离最小的N组匹配点对;采用RANSAC算法将异常值筛除,获得自动匹配检索结果。(The invention discloses an automatic matching retrieval method of SAR satellite images and optical images, which has the advantages of good robustness, high matching precision and high calculation speed, and is realized by the following technical scheme: firstly, overlapping and equally-spaced sampling is carried out on an SAR image to be detected by adopting a sliding window method; respectively calculating matching results of all the optical template images to the SAR image sequences and matching results of all the SAR image sequences to the optical template images by adopting a circular matching mechanism, and combining the results of the SAR image block sequences of the two circular matching branches to a full graph; sending the data to a screening module, screening characteristic point pairs of which the distance measurement matrix results of the respective branches conform to a threshold to form an effective matching point pair set; then, calculating SAR characteristic point coordinates and optical characteristic point coordinates by using the obtained correlation matrix, combining two sets of coordinate results, and screening N sets of matching point pairs with the minimum distance; and (4) screening abnormal values by adopting a RANSAC algorithm to obtain an automatic matching retrieval result.)

SAR卫星图像与光学图像自动匹配检索方法

技术领域

本发明涉及图像处理技术领域,光学图像匹配SAR卫星图像的方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)图像与光学图像配准是图像融合、目标变化检测、自然灾害评估等应用的前提,属于多模态图像配准范畴。光学图像通常采用中心投影面域成像或推帚式扫描获取数据,其成像结果符合人眼的视觉特征,具有较高成像分辨率,易辨识,但光学传感器容易受到物候天象与光照条件的影响,易产生模糊的图像噪声,因而工作效率受到一定的限制。合成孔径雷达(SAR)技术作为一种主动的成像系统,SAR不仅能高分辨率成像,而且具有全天候工作能力,且能够提供高分辨率图像数据。SAR图像属于斜距投影的相干成像,由合成孔径雷达(SAR)系统产生,是一种主动式的对地观测系统,能够全天时、全天候对地实施观测、具备一定的地表穿透能力,且具备其他传感器无法获取的特有的相位信息。然而,相较于光学图像而言,SAR图像的分辨率和信噪比均较低,其成像结果存在相干斑噪声,以及停留、透视和雷达阴影等造成的几何畸变。因此,在光学与SAR卫星图像的异源匹配过程中,面临着如何处理两种数据源显著的几何与辐射差异的问题。目前,在图像匹配过程中,由于现有技术条件限制,通常采用卫星SAR图像与实时光学图像进行匹配,由于光学图像往往包含显著的地理位置误差,因此不能直接依赖地理编码来提供与卫星SAR卫星图像的准确匹配,需要依赖异源图像匹配技术进行修订。然而,受限于光学图像与SAR图像的成像机理不同,光学与SAR图像间往往存在较大的灰度差异,传统的在单源图像上发展起来的匹配方法不能取得满意的结果。

实际生产过程中,一种常见的使用场景是将一幅局部视野的光学图像设为目标模板,在大范围的SAR图像中进行检索匹配的问题。常用的大图检索匹配有两类主流方法。一类是基于SAR与光学图像共有图像信息进行边缘、纹理等特征提取,采用相关性热力图峰值响应的方式进行滤波,直接获取光学模板小图在SAR大图中的全局最优位置。然而基于相关性热力图匹配的方法存在较大的应用场景的限制,只适用于具有平移差异的图像对,对于存在地理编码信息缺失、精度不佳的光学图像,由于无法与SAR图像进行先验的预缩放和旋转匹配,该方法不具备使用前提。另一类常用方法是基于稀疏特征点的匹配方法,先提取光学和SAR图像各自的特征点与描述子,再进行特征点之间的匹配。较相关性热力图而言,特征点的匹配方法具备解决包含旋转、缩放问题的图像对的能力,然而由于光学与SAR图像的异源匹配过程中,面临着如何处理两种数据源显著的几何与辐射差异的问题。SAR图像中存在如停留、透视和雷达阴影等造成的几何畸变,而光学图像会受到如云层、物体阴影等光照效果的影响,因此两幅图像提取的特征点往往具有较大差异,例如一些在光学图像中显著的特征点在SAR图像中并不明显,反之,一些在光SAR图像中显著的特征点在光学图像中也并不明显,此时对图像直接采取稀疏匹配将会造成许多误匹配对。

发明内容

为实现SAR图像与光学图像的匹配,本发明的目的是针对现有技术存在的问题,提供一种鲁棒性好,匹配精度高,计算速度快,具有循环验证机制的SAR卫星图像与光学图像自动匹配检索方法,以解决或者至少部分解决现有技术中的方法存在光学图像与SAR卫星图像的在强光照变化与强辐射差异场景匹配效果不佳的技术问题。

本发明提供一种SAR卫星图像与光学图像自动匹配检索方法,其特征在于:首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样,收集与光学模板图像尺寸大小一致的SAR图像块序列;采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果,以及所有SAR图像序列向光学模板图像的匹配结果,并根据循环匹配的距离误差合并两条循环匹配支路的SAR图像块序列结果至全图,分别得到光学模板图像向SAR全图的匹配结果;以及SAR全图向光学模板图像的匹配结果;随后将由上述两条循环匹配支路获取的匹配结果送入筛选模块,筛选各自分支的距离度量矩阵结果符合门限的特征点对,组成有效匹配点对集合;然后利用由上述两条循环匹配支路获取的相关矩阵,计算出由光学有效匹配点出发匹配得到的SAR特征点坐标和由SAR有效匹配点出发匹配得到的光学特征点坐标,合并两组坐标结果并计算其与有效匹配点对集合的距离,筛选距离最小的N组匹配点对;最后采用随机采样一致算法RANSAC将异常值筛除,获得自动匹配检索结果。

本发明相比于现有技术具有如下有益效果:

本发明针对现有技术中的缺陷,采用滑窗的手段对待检索的SAR图像进行重叠等间隔采样,可以保证相同位置的全局特征点在不同子图像视野获得不同的显著性效果,从而使得子图像能够获取更加丰富多样的局部特征,并在全局特征合并阶段给予更加准确的结果,同时提高计算速度,在保证配准速度的同时提高了配准的精度。

本发明采用两次循环匹配机制分别计算SAR图像向光学模板图像的匹配结果以及光学模板图像向SAR图像的匹配结果,能够适应SAR与光学图像强光照变化与强辐射差异场景提取共有特征,保证所获取特征点的共有性与可回溯性,以实现鲁棒的异源图像匹配。

本发明通过RANSAC算法,清除异常值,不需要过多的参数调优,且不需要预配准信息,还可以检查模型是否是线性的,以及误差是否随机分布。最终,能够解决或者至少部分解决现有技术中的方法存在光学图像与SAR卫星图像的在强光照变化与强辐射差异场景匹配效果不佳的技术问题。

附图说明

图1为本发明光学图像和SAR图像匹配算法流程图;

图2为本发明循环匹配机制的实施例示意图;

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。

具体实施方式

参阅图1。根据本发明,首先对待检测的SAR图像采用滑窗的手段进行重叠等间隔采样,收集与光学模板图像尺寸大小一致的SAR图像块序列;采用循环匹配机制分别计算所有光学模板图像向SAR图像序列的匹配结果,以及所有SAR图像序列向光学模板图像的匹配结果,并根据循环匹配的距离误差合并两条循环匹配支路的SAR图像块序列结果至全图,分别得到光学模板图像向SAR全图的匹配结果;以及SAR全图向光学模板图像的匹配结果;随后将由上述两条循环匹配支路获取的匹配结果送入筛选模块,筛选各自分支的距离度量矩阵结果符合门限的特征点对,组成有效匹配点对集合;然后利用由上述两条循环匹配支路获取的相关矩阵,计算出由光学有效匹配点出发匹配得到的SAR特征点坐标和由SAR有效匹配点出发匹配得到的光学特征点坐标,合并两组坐标结果并计算其与有效匹配点对集合的距离,筛选距离最小的N组匹配点对;最后采用随机采样一致算法RANSAC将异常值筛除,获得自动匹配检索结果。

具体步骤包括:

1)在采用滑窗的手段对待检索的SAR图像进行重叠等间隔采样中,按照既定窗口大小W光学×h光学与步长s(s<min(W光学,h光学))进行截取,获得长度为M的SAR图像块序列[Isar1,Isar2......IsarM],同时记录每一个图像块坐标位置并与光学图像I光学配对,最终获得的图像块候选序列为[(I光学,Isar1),(I光学,Isar2),......(I光学,IsarM)],其中,W光学,h光学分别为光学图像I光学的长宽尺寸大小。

2)将待检索SAR图像切块与光学图像分为循环匹配分支A、循环匹配分支B两条循环匹配分支,其中,循环匹配分支A采用循环匹配机制计算光学模板图像向所有SAR图像序列的匹配结果,循环匹配分支B采用循环匹配机制计算所有SAR图像序列对向光学模板图像的匹配结果。

3)根据循环匹配的距离误差合并两条支路中SAR图像坐标重叠区域的匹配点,将SAR图像块序列结果合并至全图,分别得到光学模板图像向SAR全图的匹配结果:光学-SAR方向的匹配点对、距离度量矩阵、相关矩阵,SAR全图向光学模板图像的匹配结果:SAR-光学方向的匹配点对、距离度量矩阵、相关矩阵。

4)光学图像点向SAR图像点循环匹配分支,SAR图像点向光学图像点循环匹配分支,筛选模块筛选各自分支的距离度量矩阵符合门限的点,组成有效匹配点对集合(Xall 光学,Xall SAR);根据循环匹配分支A的相关矩阵获得光学图像有效匹配点Xall 光学到SAR图像Xresult SAR的匹配输出和循环匹配分支B的相关矩阵获得SAR图像有效匹配点Xall SAR到光学图像Xresult 光学的匹配输出;合并两条分支输出结果(Xall 光学,Xresult SAR)和(Xresult 光学,Xall SAR),并筛选出合并结果中与有效匹配点对集合(Xall 光学,Xall SAR)距离差最小的N对匹配点对(XN 光学,XN SAR)。

5)最后将筛选出匹配距离最近的N个点送入异常值排除模块,采用RANSAC一致性算法排除匹配点对(XN 光学,XN SAR)中的异常进行异常值筛除,得到并输出最终的匹配结果。

参阅图2。首先提取光学图像全图所有像素点的稠密特征描述子集合Pin 光学:Pin 光学={(x,fx),x∈I光学}以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR=[Pin SAR1,Pin SAR2,...,Pin SAR3],再提取光学图像全图所有像素点的稠密特征描述子集合Pin 光学:Pin 光学={(x,fx),x∈I光学}以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR=[Pin SAR1,Pin SAR2,...,Pin SAR3],其次从光学图像稠密特征描述子集合Pin 光学出发,求得向所有SAR图像块序列成员对应匹配的特征点描述子集。本实施例以第i个图像块Isari为例:其对应匹配特征点描述子集Pmiddle SARi={(x',fx'),x'∈Isari},其中,I光学为光学图像,Isari为第i个SAR图像块,x为图像中的像素,fx为像素x的特征描述子,x'为从I光学中像素x出发,在Isari中求得的对应匹配的像素坐标,fx'为其特征描述子。

然后,循环匹配分支A从Pmiddle SARi出发,采用同样的匹配算法返回求得对应的光学图像块序列匹配结果Pout 光学={(x”,fx”),x”∈I光学},采用的距离函数d,计算Pin 光学与Pout 光学之间所有光学图像素坐标距离度量矩阵DSARi:DSARi={d(x-x”)|x',x∈I光学,x”∈I光学,x'∈Isari}。其中,x”为从Isari中像素x'出发,在I光学中求得的对应匹配的像素坐标,fx”为其特征描述子。上述采用的距离函数d包括但不限于L1距离、L2距离、余弦距离等。

上述采用的特征描述子提取方法包括但不限于传统方法sift、surf以及深度学习网络特征resnet、vgg、hardnet、lisrd等;上述采用的特征描述子提取方法包括但不限于传统方法sift、surf以及深度学习网络特征resnet、vgg、hardnet、lisrd等;上述采用的匹配方法包括但不限于传统匹配方法Flann、暴力匹配以及深度学习cnn网络、superglue、transformer等。

通过合并模块,根据[DSAR1,DSAR2,...DSARM]值,以及每个像素点对应的原图坐标,将所有SAR切块匹配结果按置信度最小值合并到大图,合并出SAR原图完整的匹配结果(X光学,XSAR),以及合并后的距离矩阵Dcompose SAR,光学模板图像向SAR图像重叠区域相同原始坐标点匹配的最终匹配结果为集合中距离差最小值对应的SAR特征点坐标,最后根据(X光学,XSAR)获得光学图像向SAR图像的相关矩阵Cor光学-SAR

循环匹配分支B提取循环匹配分支A中已获得的光学模板图像的全图所有像素点的稠密特征描述子集合Pin 光学={(x,fx),x∈I光学},以及SAR图像块序列[Isar1,Isar2......IsarM]的全图所有像素点的稠密特征描述子集合Pin SAR:Pin SAR=[Pin SAR1,Pin SAR2,...,Pin SAR3],且Pin SARi={(x,fx),x∈Isari};从SAR图像块序列稠密特征描述子集合Pin SAR=[Pin SAR1,Pin SAR2,...,Pin SAR3]出发,采用与循环匹配分支A相同的特征匹配方法,求得每一个SAR图像块特征子集合Pin SARi对应的光学图像块特征点集,本实施例以第i个图像块Isari为例,其对应的Pmiddle 光学i={(x',fx'),x'∈I光学},其中,I光学为光学图像,Isari为第i个SAR图像块,x为图像中的像素,fx为像素x的特征描述子,x'为从Isari中像素x出发,在I光学中求得的对应匹配的像素坐标,fx'为其特征描述子。然后,循环匹配分支B从Pmiddle 光学i出发,采用同样的匹配算法返回求得对应的SAR图像块序列匹配结果Pout SARi={(x”,fx”),x”∈Isari},采用的距离函数d,计算Pin SARi与Pout SARi之间所有光学图像素坐标距离度量矩阵DSARi:DSARi={d(x-x”)|x',x∈Isari,x”∈Isari,x'∈I光学}

合并模块根据[DSAR1,DSAR2,...DSARM]值,以及每个像素点对应的原图坐标,将所有SAR切块匹配结果按置信度最小值合并到大图,合并出SAR原图完整的匹配结果(XSAR,X光学),以及合并后的距离矩阵Dcompose SAR,SAR图像重叠区域向光学模板图像匹配时,原始坐标点匹配的最终匹配结果为集合中距离差最小值对应的SAR特征点坐标,最后根据(XSAR,X光学)获得SAR图像向光学图像的相关矩阵CorSAR-光学

筛选模块筛选各自分支的循环匹配结果符合门限的点,形成匹配点对,从出发源图像点x出发,计算得到的目的源图像的匹配点x',再反向匹配到出发源图像特征点x”,最终获取x与x”距离的过程;筛选模块设定门限Th,筛选回溯距离小于门限的特征点,分别从(X光学,XSAR)和(XSAR,X光学)获取更加优质的匹配特征点对(X1 光学,X1 SAR)与(X2 SAR,X2 光学)

合并模块合并筛选模块中两条循环匹配分支获取的优质的匹配特征点对组成有效匹配点对集合:将(X2 SAR,X2 光学)点对顺序对调为(X2 光学,X2 SAR)并与(X1 光学,X1 SAR)合并,结果命名为(Xall 光学,Xall SAR)。

筛选模块根据采用与循环匹配分支A循环匹配机制,获得的光学图像向SAR图像的相关矩阵Cor光学-SAR,输入Xall 光学特征点集,得到输出特征点集Xresult SAR:Xresult SAR=Xall 光学·Cor光学-SAR;根据获得的SAR图像向光学图像的相关矩阵CorSAR-光学,输入Xall SAR特征点集,得到输出特征点集Xresult 光学:Xresult 光学=Xall SAR·CorSAR-光学

筛选模块合并循环匹配分支输出结果(Xall 光学,Xresult SAR)和(Xresult 光学,Xall SAR)并计算与(Xall 光学,Xall SAR)距离差最小的N对匹配点对(XN 光学,XN SAR):由于SAR图像与光学图像的匹配点应具备统计学的一致性,因此采用RANSAC一致性算法排除异常,得到最终的匹配结果。

以上所述为本发明较佳实施例,应该注意的是上述实施例对本发明进行说明,然而本发明并不局限于此,并且本领域技术人员在脱离所附权利要求的范围情况下可设计出替换实施例。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

10页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:图像配准方法、装置、印刷机和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!