一种基于图卷积的遥感图像道路提取方法
阅读说明：本技术 一种基于图卷积的遥感图像道路提取方法 (Remote sensing image road extraction method based on graph convolution ) 是由 陶敏玉 迟远英 丁治明 杨博文 于 2021-01-16 设计创作，主要内容包括：本发明公开了一种基于图卷积的遥感图像道路提取方法,图卷积可以聚合相邻节点之间的特征信息,在节点较大邻域内提取特征,有效解决局部位置信息丢失问题。所设计的方法可以视为多任务学习,首先,利用CNN实现对遥感图像的特征提取,其次,在基于CNN所提取的道路特征基础上构建图结构模型,主要由节点和相应的边关系组成,将CNN分支所提取的道路特征信息视为节点,节点之间的差异度视作边,通过获取节点之间的关系来获取局部位置信息,本发明通过利用图卷积来解决卷积神经网络因为泛化效果而造成的道路局部位置信息丢失问题,从而能有效提高道路分割精度。(The invention discloses a remote sensing image road extraction method based on graph convolution, wherein the graph convolution can aggregate feature information between adjacent nodes, and features are extracted in a larger neighborhood of the nodes, so that the problem of local position information loss is effectively solved. The designed method can be regarded as multi-task learning, firstly, CNN is used for realizing feature extraction of a remote sensing image, secondly, a graph structure model is constructed on the basis of road features extracted on the basis of the CNN, the graph structure model mainly comprises nodes and corresponding edge relations, road feature information extracted by CNN branches is regarded as the nodes, the difference degree among the nodes is regarded as the edge, and local position information is obtained by obtaining the relation among the nodes.)
技术领域
本发明涉及到基于遥感图像道路提取领域，具体是一种基于图卷积模型来实现遥感图像道路的自动提取方法。
背景技术
道路作为一种基础设施，在地理、经济、军事等领域都扮演着重要角色，利用高分辨率遥感图像提取关键道路，获得人们难以获取的有价值的地理信息，可以为后续的车辆导航、城市规划、路网更新或支持救灾等任务提高依据，对促进城市发展具有重要意义。
基于遥感图像进行道路提取的研究已有几十年的历史，然而由于道路自身结构特殊，不同于普通的分割目标，并且遥感图像背景复杂，在道路提取中容易受到其他背景因素的影响，尤其是近年来随着航空图像分辨率的提高，导致一些建筑物有着和道路类似的光谱值，在道路提取时容易被误认为是道路，基于高分辨率遥感图像提取道路仍然是一个难点。目前关于道路提取的方法主要分为基于传统的方法和基于深度学习的方法。传统的道路提取方法主要包括光谱分析法、边缘检测法、阈值分割法等，如shi等人使用自适应邻域将光谱特征空间分类以区分道路和非道路，但是该方法需要为每个输入图像训练SVM，并且不适用于复杂的原型交叉路口。Huilin等人提出基于灰度特征将图像分割成只有目标和背景的二值图，但是速度不够快，并且难以辨别无关特征，Gaetano等人首次提出用Canny算子进行边缘提取，然后通过图割论进行后处理得到最终的道路图，这些传统方法基本都是通过无监督的方式提取道路特征，对模型参数的依赖性较强，大部分都需要一定的人工交互，自动化程度不高，并且针对不同遥感图像数据集不能发挥理想的泛化效果。
伴随着人工智能的蓬勃发展，深度学习方法已经成为一种趋势，并且在图像分析领域取得突破性进展，卷积神经网络不仅可以用来处理目标检测和图像分类问题，而且可以用来进行语义分割等精细推理，越来越多的研究开始利用计算机视觉相关算法实现道路的自动提取，Wei等人基于FCN网络架构，在损失函数中加入道路结构信息，提高了道路分割结果。Kestur等人提用UFCN(U型FCN)模型来实现无人机低空遥感图像道路提取，该模型由一组卷积堆栈和相应的镜像反卷积堆叠组成，使用跳跃链接来保存局部特征信息，zhang等人提出一种结合ResNet和U-Net优点的道路提取网络，该网络由剩余单元组成，简化了深度网络的训练。Filin等人提出利用深度神经网络进行道路提取，得到预测的掩码图像和单独道路的向量，并利用向量进行后处理，MniCoswtea等提出通过三个连续步骤的方法来提取遥感图像中的道路，第一步用多个UNet网络组合提取初始道路结果，其次，基于第一阶段的道路图融合，优化算法生成相应厚度的道路向量，最后基于推断图添加缺失的连接，提高道路提取精度，以上道路提取方法一般都是基于简单的全卷积神经网络或者多种网络组合实现的，在一定程度上保证了像素级的预测精度，提高了道路提取的准确度，但是通过普通的卷积层和池化层的迭代容易造成局部信息丢失，最终影响道路分割结果。
所以基于目前的道路分割网络所存在的缺点，本发明引入GCN模型来捕捉局部位置信息，首先利用CNN分支实现道路特征信息提取，根据CNN所提取的特征信息通过高斯核函数初始化邻接矩阵。通过两层图卷积最终获得节点之间的管理来获取局部位置信息，从而有效提高道路分割精度。
发明内容
本发明的目的在于提供一种基于图卷积模型的高准确率道路提取方法，实现遥感图像中道路的自动提取，以解决上述背景技术中所提到的问题。
为实现上述目的，本发明提供如下技术方案：一种基于图卷积模型的道路提取方法，包括以下步骤：
步骤S1：基于CNN模型设计一个特征提取分支，实现遥感图像的特征提取；
步骤S2：基于GCN模型设计一个局部信息捕获分支，根据CNN模型所提取的特征信息生成相应的图节点；
步骤S3：利用所设计的基于图卷积模型的道路提取网络进行总体设计，进而实现对高分辨率遥感图像的道路提取，并得出结果。
图1为本发明的整体架构图，本发明根据遥感图像中道路特点，由于目前大多道路提取方法都是基于卷积层和池化层的堆叠来获取特征信息，从而增大感受野，实现高分辨率遥感图像提取，但是这种方法会导致大量局部位置信息丢失，从而导致道路间断，不连续等问题，因此本发明提出采用基于GCN模型实现遥感图像道路提取，可以有效获取局部位置信息。本发明整体框架采用编码器-解码器结构，其中在编码器阶段，分为基于CNN模型的道路提取分支和基于GCN的首先根据道路特点设计基于CNN的特征提取分支，使用在ImageNet数据集上预训练的ResNet34作为编码器，去掉最后的全连接层，使用改进之后的ResNet34进行相关道路信息的特征提取，之后将所获取到的相关道路特征信息作为GCN模型的输入，首先根据特征构建相关的图结构，将特征信息视作节点，节点之间的差异度视作边，通过所设计的图卷积模型，来获取图结构中节点之间的关系来获取局部位置信息，整个网络采用多任务联合学习的方式，实现高分辨率遥感图像中的道路信息提取，从而有效提高道路分割精度。
作为本发明进一步的方案：
所述步骤S1是实现基于CNN特征提取分支的设计，主要是采用基于ResNet34网络结构作为道路提取网络的编码器，主要的改进是去掉其中的全连接层，由于ResNet34主要采用瓶颈层实现，主要的网络结构如图2所示，其中采用两个卷积层分别用于降低和升高特征维度，主要的目的就是为了降低参数量，并增加网络层数，其中该模块采用跳跃连接方式，实现浅层信息和深层特征的融合，从而有效解决训练过程中的梯度消失问题。
通过改进后的ResNet34作为所设计网络的特征提取分支，将原始图像作为该分支的输入，提取遥感图像中相关道路特征信息，该分支的主要表达式可由式(1)所示
Y＝g(x) (1)
其中X为所输入的原始图像，函数ɡ表示一系列的卷积池化操作，经过函数CNN特征提取之后，最终获取道路特征信息Y。
作为本发明进一步的方案：
由于目前道路结构特殊，通常表现为细长，占据整个图像信息，因此获取图像的全局上下文信息尤为重要，但是，目前很多方法可能是通过加入注意力机制或者是重复堆叠的卷积层来获取上下文信息，但是这种方法很容易出现局部信息丢失问题，造成道路信息丢失，本发明步骤S2实现对GCN局部特征捕获分支的设计。
GCN作为新兴的网络架构，与传统CNN相比，GCN可以对任意非欧几里得结构的数据进行操作，通过建模样本之间的关系来有效处理图结构数据。GCN的工作原理是基于邻接矩阵来聚合相邻节点之间的特征，从而扩大感受野，并解决了局部信息丢失问题。能够更加准确的捕捉遥感图像中的道路相关信息。由于使用GCN避免了大量的局部信息丢失问题，因此在道路提取任务中能够获取到更到的道路信息，从而显著提升道路提取结果。本课题提出采用GCN来捕捉局部信息，将道路提取问题看作图节点分类问题。
为了捕获CNN所提取的特征之间的关系，首先，我们基于CNN分支所提取的道路特征信息建立一个图结构，图结构由节点和边组成，将所定义的图结构使用G＝(V,E)来表示，其中V表示节点的集合，E表示图的边的集合，节点V表示CNN所提取的特征信息，而边E表示节点之间的差异度，使用该图的邻接矩阵A表示图结构中每个节点与其他节点之间的差异度。
我们采用高斯核函数来初始化图结构的邻接矩阵，之后通过若干层的图卷积，利用消息传播交换节点之间的信息，从而可以在较大邻域内提取特征，并避免了局部信息的丢失。
接下来详细介绍具体的图卷积过程，将遥感图像输入到CNN特征提取分支中，在经过若干层卷积操作之后，获取图像中的重要特征信息，并将其作为GCN的节点特征输入。在基于GCN的分支中，将根据CNN所获取的特征所生成的邻接矩阵A和特征X作为输入，具体的图卷积操作为。
其中L为图的拉普拉斯矩阵，A为基于特征信息预生成的关系矩阵，D为顶点的度矩阵，归一化之后的拉普拉斯矩阵通过最终变换可得到(2)式。
将θ0θ1这两个参数化为单参数θ，得到如下(3)卷积公式。
由于特征值取值范围为[0，2]，这将会导致出现数值不稳定性和梯度爆炸或者消失等一系列问题，因此使用(4)所示的归一化技巧，其中A′＝A+IN，D′ii＝∑A′ij。
综上所述，我们所采用的图卷积的具体操作如下式所示
其中H(l)为第l层图卷积所输出的特征信息，也是第l+1层图卷积的输入信息，当l＝0时，H(l)＝x，θ为可学习的权重。δ为激活函数，在本文中选择ReLU作为激活函数，从而实现非线性操作，在GCN训练过程中，通过关联矩阵A来实现所有节点之间的信息交换。聚集周围特征信息，并通过线性变换W来更换其状态。
通过上述图卷积操作，相当于卷积操作当中的卷积层和池化层，实现对遥感图像当中特征信息的局部感知，以及对局部信息进行综合操作，实现不同节点之间的信息交流，从而得到全局信息。当前节点所能接收到的其余节点的信息的最大范围即为图的感受野，但是由于图卷积并没有像池化层类似的采样，因此避免了局部信息的丢失，由于各种实验证明，GCN层次不宜太深，因此本文所设计的GCN只有两层。
作为本发明进一步的方案：
所述步骤S3，通过利用CNN分支进行特征提取，之后利用GCN分支实现特征之间的关系捕获，图结构中节点之间的关系流通过两层图卷积之后对所获取的深层特征信息进行上采样，最终在解码器输出最终的道路分割图像，
由于采用GCN模型替代卷积层和池化层，不仅扩大了感受野，并且在图卷积的过程中并没有局部位置信息的丢失，因此本发明所提出的基于图卷积的道路分割网络能够获取到更加密集的上下文信息，从而更好的实现高分辨率遥感图像道路分割，最终得到更加真实、准确率更高的道路提取结果。
附图说明
图1为本发明的整体架构图。
图2bottleNeck网络架构。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实验的实时方案如下：
步骤S1：构建实验数据集，实验主要是在Massachusetts数据集上训练的，其中包括1108张训练集，14张验证集，49张测试集，每张图像的像素大小是1500*1500，其次，该数据集是航空遥感图像，覆盖面积超过2634平方公里，拍摄区域包括城市、郊区和乡村地区。
步骤S2：构建网络，采用改进的ResNet34作为CNN分支主要用于高分辨率遥感图像特征提取，主要由bottleNeck模块组成，减少网络参数量，并且可以加深网络层次，从而能够获取更加深层的特征信息。将CNN分支所提取的特征信息作为图结构的节点，采用高斯核函数来初始化图结构的邻接矩阵，之后通过两层图卷积，利用节点之间的消息传播来交换节点之间的信息，从而可以在较大邻域内提取特征，并避免了局部信息的丢失。所构建的网络采用多任务学习的方式，在进行特征提取，并获取特征之间的相互关系之后，对所获取的特征信息进行不断上采样，最终通过解码器输出道路分割结果。
步骤S3：数据集增强，由于Massachusetts数据集测试集较少，为了提高预测的健壮性，我们也对测试数据集进行了数据增强，包括图像水平翻转，垂直翻转，对角翻转等，通过以上一系列对数据集的操作，增强了数据集的数量以及可变性，利用这些数据所训练的网络会具有更好的泛化效果，对于新的遥感图像数据集也能表现出较好的结果。
步骤S4：网络训练，为避免过拟合现象，在训练过程中对训练图像进行图像平移、水平翻转、垂直翻转、多尺度变换等数据增强技术，使用pytorch框架训练网络。考虑到道路分割中存在正负样本不均衡问题，即道路所占像素比例远远小于背景所占像素比例，容易在迭代时丢失重要信息，因此采用diceloss训练该网络，利用Adam优化器自适应的更新参数，同时将训练批量大小设置为8，在4台2080tiGPU上同时进行训练，学习率最初设置为3e-4，当损失函数在超过3次没有下降时，学习率除以5，直到模型收敛。
步骤S5：网络测试，本文将道路分割问题定义为像素的二分类问题，即道路像素为正，背景像素为负，使用准确率、精确率、召回率、F1-score作为预测结果评价标准，其中，准确率表示预测正确的结果占总样本的百分比，精确率又被称为查准率，是在被所有预测为道路的样本中实际为道路样本的概率。召回率表示实际为道路像素中被预测为道路像素的概率。由于精确率和召回率是矛盾的，F1-score同时考虑精确率和召回率，让两者同时达到最高，取得平衡。
其中TP、TN、FN、FP分别表示预测图像像素的真阳性、假阳性、真阴性、假阴性像素。
本发明主要创新点是利用图卷积来获取特征信息之间的相互关系，并能有效捕获局部位置信息，通过在Massachusetts数据集上的表现，证明本发明所设计的道路提取网络架构具有更好的表现性能。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内；不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：车辆重识别方法、电子设备及相关产品