一种基于特征融合的深度学习sar影像溢油区识别方法

文档序号:170378 发布日期:2021-10-29 浏览:25次 >En<

阅读说明:本技术 一种基于特征融合的深度学习sar影像溢油区识别方法 (Deep learning SAR image oil spilling region identification method based on feature fusion ) 是由 范永磊 芮小平 张光远 徐锡杰 于 2021-08-03 设计创作,主要内容包括:本发明公开了一种基于特征融合的深度学习SAR影像溢油区识别方法,包括:利用ToZero阈值分割方法进行全局特征提取;将全局特征与源数据进行融合;利用卷积神经网络对融合的数据进行高维特征提取,并记录池化过程中最大值的位置;反卷积利用记录的最大值位置特征将高维小尺寸特征恢复到原图像尺寸;获得图像分割的结果。本发明的方法提高了原模型分割准确率并且降低了过拟合现象,提供了一种新型的提高模型识别精度的方法。(The invention discloses a deep learning SAR image oil spilling region identification method based on feature fusion, which comprises the following steps: extracting global features by using a ToZero threshold segmentation method; fusing the global features with the source data; performing high-dimensional feature extraction on the fused data by using a convolutional neural network, and recording the position of a maximum value in the pooling process; deconvolution is carried out to restore the high-dimensional small-size features to the original image size by utilizing the recorded maximum position features; the result of the image segmentation is obtained. The method improves the segmentation accuracy of the original model, reduces the overfitting phenomenon, and provides a novel method for improving the identification accuracy of the model.)

一种基于特征融合的深度学习SAR影像溢油区识别方法

技术领域

本发明涉及图像分割技术领域,特别涉及一种基于Tozero阈值分割与UNet深度学习两种算法融合的海洋溢油自动监测方法。

背景技术

海洋以后问题近些年来越来越严重,随着海洋石油的进一步开采和海洋原油运输量持续增加,海洋生态环境的破坏也愈发严重。对海洋溢油的监测是及时控制溢油污染扩散,减少海洋溢油带来的经济损失和环境污染的有效方法。

主要有两类对溢油区识别的方式,一种是人工提取方式,另一种是自动提取方法。利用深度学习模型自动且准确地识别海洋溢油成为近些年来的研究热点,一些基于深度学习的语义分割模型,例如UNet、SegNet等,在这个领域已经有了较为广泛的应用,但是识别有效性不足,且模型会出现过拟合问题。

发明内容

本发明针对现有技术的缺陷,提供了一种基于特征融合的深度学习SAR影像溢油区的识别方法。

为了实现以上发明目的,本发明采取的技术方案如下:

一种基于特征融合的深度学习SAR影像溢油区的识别方法,包括以下步骤:

步骤1,利用ToZero阈值分割方法进行全局特征提取;

步骤2,将全局特征与下载获得的源数据集(SAR溢油数据集)在维度上进行融合;

步骤3,利用卷积神经网络对融合的数据进行高维特征提取,并记录池化过程中最大值的位置;

步骤4,反卷积利用记录的最大值位置特征将高维小尺寸特征恢复到原图像尺寸;

步骤5,获得图像分割的结果。

进一步地,ToZero阈值分割方法阈值大小为75。

进一步地,全局特征与源数据特征融合是在维度上的叠加融合。

进一步地,SAR影像的高维特征提取过程以及后续的反卷积过程采用的是UNet图像分割方法。

与现有技术相比,本发明的优点在于:

提高了UNet、SegNet模型的识别准确率并缓解模型过拟合问题,融合后的模型获得了更多的特征,这有利于做出更准确的决策。基于UNet和ToZero融合的FMNet模型提高了0.26个百分点,达到了98.40%,过拟合现象缓解了0.53个百分点,差值从4.89%降低到4.36%。

附图说明

图1是本发明实施例FMNet模型框架图;

图2是本发明实施例训练中准确率与误差的变化过程;

图3是本发明实施例实验中准确率与误差的变化过程;

图4是本发明实施例在测试样本中的结果I,图中:(a)为Dataset,(b)为Label,(c)为BaselineUNet,(d)为BinaryFMNet,(e)为TruncFMNet,(f)为ToZeroFMNet,(g)为OSTUFMNet,(h)为TriangleFMNet。

图5是本发明实施例在测试样本中的结果II,图中:(a)为Dataset,(b)为Label,(c)为BaselineUNet,(d)为BinaryFMNet,(e)为TruncFMNet,(f)为ToZeroFMNet,(g)为OSTUFMNet,(h)为TriangleFMNet。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白,以下根据附图并列举实施例,对本发明做进一步详细说明。

如图1所示,为模型的设计思路,首先是对数据集进行阈值分割,获取影像的全局特征,然后与源数据进行融合。接下来利用UNet网络模型进行高维特征提取,然后利用提取的高维特征进行上采样,逐步将高维特征转换为与原图像大小一致的特征,并将这个结果利用softmax算法进行分类决策,最终得到溢油区分割结果。

1.SAR影像全局特征提取

图像阈值化的目的是要按照灰度级,对像素集合进行一个划分,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。高频信息在这个过程中被表现,低频信息被削弱。图像以一种简约的形式屏蔽细节特征,突出全局特征。本实施例对比了五种常用的阈值分割技术对SAR影像分割的效果。

1.1二值化阈值分割

分割原理:选定一个特定的阈值,大于或者等于该阈值的像素点的灰度值设定为最大值255,小于该阈值的像素点的灰度值设定为0,分割算法如下:

1.2Truncate阈值分割

分割原理:需要首先选定一个阈值,图像中大于等于该阈值的像素点的灰度值被设定为该阈值,小于该阈值的像素点灰度值保持不变,公式如下:

1.3零值化阈值分割

分割原理:选定一个阈值,大于等于阈值的像素点灰度值保持不管,小于该阈值的像素点阈值设置为0,公式如下:

1.4三角阈值分割

分割原理:该方法使用直方图数据,基于纯几何方法寻找最佳阈值,他的成立条件是假设直方图最大波峰在靠近最亮的一侧,然后通过三角求得最大直线距离,根据最大直线距离对应的脂肪肚灰度等级作为分割阈值。

1.5大津阈值分割

最大类间方差是由日本学者Otsu与1979年提出,是一种自适应的阈值确定方法。算法假设图像像素能够根据阈值,被分成背景和目标两部分。目标像素点所占图像的比例为ω0其平均灰度值为μ0,背景像素点所占图像的比例为ω1,平均灰度值为μ1,图像所有像素平均灰度为μ,类间方差为g,通过如下公式计算该最佳阈值T用来区分两类像素,使得两类像素区分度最大。这种基于全局的二值化算法计算简单快速,不受图像亮度和对比度的影响。缺点是对图像噪声敏感,只能针对单一目标进行分割,当目标和背景大小比例悬殊,类间方差函数可能呈现双峰或者多峰现象,这种情况下分割效果变差。

g=[ω0ω101)]2

2.U-Net局部特征提取

U-Net是比较早的使用全卷机网络进行语义分割的算法之一,本发明中使用包含压缩路径和扩展路径的对称U形结构在当时非常具有创新性,且一定程度上影响了后面若干分割网络的设计。该网络是一个全卷积网络,包含两个部分,网络的左侧是由卷积核MaxPooling构成的压缩路径,主要目的是提取特征。压缩路径由4个block组成,每个block使用了3个有效卷积核1个Max Pooling,每次降采样后feature map的个数翻倍。网络的右侧部分称作扩展路径,由4个block组成,每个block开始之前,通过卷积将feature map的尺寸乘2,同时将其个数减半,最后一层稍微不同,然后与左侧压缩路径的feature map合并,U-Net是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的。

3.特征融合网络模型

根据设计思路,首先对源数据进行阈值分割,阈值分割按照像素灰度值划分等级,利用简单的聚类原理将不同的类别从数值上进行区分,作用是提取影像的全局特征,并且加强局部特征。阈值分割后源数据图像内的纹理特征被凸显出来,类别之间的边界更为清晰,源数据在全局域上的特征被加强。另外类别内部的局部特征被削弱,由于同类别内部的像元值是相似的,将相似的像元值通过阈值转换为相同,减少了类别内部噪声的影响。本次利用上述五种阈值分割方法对图像进行全局特征提取,并结合深度卷积网络进行模型搭建。

下一步是将源数据与特征数据输入到Encoder Network网络中,利用卷积操作进行高维特征抽取。这部分卷积操作主要使用的卷积核大小是3*3,并对卷积结果进行归一化和激活操作。然后做最大池化操作,用2*2池化核,步长设置为2,是为了提高模型的感受野。在最大池化同时对最大值的位置的索引进行记录,作用是在decoder过程中向上做非线性上采样。Feature maps包含源数据高维特征全局特征的高维特征被Encoder network最后输出。

接下来对Feature maps进行上采样,即decoder操作。expansive path由若干block组成,不同的decoder network有不同数量的block。在每一个block内部都将输入的feature maps的尺寸扩展为2倍,同时将其数量减半。随后将其和左侧对称的压缩路径的feature maps裁剪到和扩展路径的feature maps具有相同尺寸,并进行归一化处理。这其中上采样采用的反卷积核大小是2*2。最终得到k个(类别数目,本实施例中k=5)与原图像大小相同的预测结果输入到softmax层进行最终的类别判别。

4.结果与结论

4.1训练结果

图2与表1展示了模型的训练过程准确率与误差的动态变化过程和结果,从图2中可以看出在训练的后期过程,原模型在训练数据集上的准确率达到了98.16%,误差为0.051,在验证数据集上的准确率是93.2%,误差为0.235,这几个数据作为基础对比数据,用来证明特征融合模型的效果。从变化曲线可以看出,零值阈值分割方法与U-Net网络融合的模型达到了最好的效果,准确率达到了98.4%,误差是0.047;在验证集上的识别准确率是94.04%,误差是0.230。

表1

图4和图5展示了模型在实际应用当中的识别效果,可以看出,本发明提出的特征融合网络模型取得了更好的识别精度。本发明提出的FMNet模型的实验结果在细节上的表现更加出色,最终的图形轮廓也是最接近数据标签的。

表2展示了FMNet模型在统计方面的优势,通过对比Intersection-of-Union(IoU)和MIoU两种统计参数,结果也表明本发明方法FMNet效果是最好的。

表2

如图3所示,可以看出五种特征融合模型与原模型在验证集上准确率和误差值的变化情况。

本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的实施方法,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

11页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于视觉感知的面部神经麻痹患者康复检测系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!