一种卫星图像特征部件语义分割方法
阅读说明：本技术 一种卫星图像特征部件语义分割方法 (Semantic segmentation method for satellite image feature component ) 是由 崔林艳 蔡敬艺 于 2021-07-15 设计创作，主要内容包括：本发明涉及一种卫星图像特征部件语义分割方法,包括以下步骤：(1)针对卫星图像,基于三维仿真软件和CAD软件,综合考虑多种型号卫星不同角度,不同距离,不同亮度等信息,构建卫星图像特征部件分割数据集；(2)针对步骤(1)获得的数据集,结合特征部件区域上下文信息,构建基于上下文信息的DeepLabV3+语义分割模型；(3)在步骤(2)中基于上下文信息的DeepLabV3+语义分割模型的基础上,向模型中添加形状完整性先验信息约束；(4)针对步骤(3)添加形状完整性先验约束后的模型,在步骤(1)获得的卫星图像特征部件语义分割数据集上进行模型的训练,获得训练后的语义分割模型,利用训练后的语义分割模型对卫星图像进行语义分割,获得预测分割图。(The invention relates to a semantic segmentation method for a satellite image feature component, which comprises the following steps of: (1) aiming at satellite images, based on three-dimensional simulation software and CAD software, information of satellites of various types, such as different angles, different distances and different brightness, is comprehensively considered, and a satellite image feature component segmentation data set is constructed; (2) aiming at the data set obtained in the step (1), combining the context information of the feature component area, and constructing a DeepLabV3+ semantic segmentation model based on the context information; (3) adding shape integrity prior information constraint to the model on the basis of the DeepLabV3+ semantic segmentation model based on the context information in the step (2); (4) and (3) adding a model after shape integrity prior constraint aiming at the step (3), training the model on the semantic segmentation data set of the satellite image feature component obtained in the step (1) to obtain a trained semantic segmentation model, and performing semantic segmentation on the satellite image by using the trained semantic segmentation model to obtain a predicted segmentation map.)
技术领域
本发明涉及一种卫星图像特征部件语义分割方法，是一种结合上下文信息和形状完整性先验的语义分割模型，适用于卫星图像特征部件的语义分割任务。
背景技术
从计算机视觉领域来看，卫星典型特征部件识别的本质是对图像的语义分割。语义分割通过给图像打上像素级别的语义信息标签，同时实现对图像的分割和分类两个子任务，是实现图像场景理解的一种基础方法。图像语义分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。在过去的几十年里，有大量的研究人员针对医学图像、遥感图像等特定的应用场景进行图像分割研究并取得了巨大的突破，而针对卫星的图像分割在现有的公开资料里非常少见。但是，由于卫星图像和医学图像、遥感图像等图像都存在着可由肉眼分辨的特征，因此可以将广泛应用于其他应用场景的图像分割方法迁移到卫星典型特征部件的识别上来，从而通过卫星图像的语义分割来实现特征部件的识别。
对于图像语义分割任务，过去通常使用各种传统的机器学习技术。传统图像分割方法，例如基于像素聚类的分割方法、基于图论划分的分割方法等，其中研究投入最多的关键技术是特征提取与表达，传统方法过于依靠先验知识进行人工选择和设计，难以广泛表示图像特征，不仅耗时耗力，而且难以保证最终结果的精度。语义分割任务本身具有许多难点，例如，在物体层次，同一物体在不同拍摄条件下展现出不同外观形象；在类别层次，同类物体的相异性和异类物体的相似性等；背景层次，实际场景中的背景往往复杂多变等。
通过深度CNN网络进行监督学习，已经成为近年来解决图像语义分割任务的主要方法，例如FCN、U-Net、DeepLab系列模型等，进行端到端的训练，获得预测分割图。然而，针对卫星图像特征部件进行语义分割任务的方法很少，目前的研究难点主要表现在以下几个方面：(1)真实卫星图像几乎无法获取，现有的公开数据集也没有专注于卫星特征部件，需要花费大量精力去构建数据集；(2)卫星图像需进行添加噪声和模糊的操作，相较于常规图像来说，图像质量较差，边缘等细节信息模糊，难以进行精确的分割；(3)现有的基于深度学习的语义分割方法一般只针对常见场景的较高质量图像，不适用于卫星图像。
发明内容
本发明的技术解决问题是：克服现有技术不足，针对卫星图像的模糊，分割精度低的问题，提供一种卫星图像特征部件语义分割方法，它基于上下文信息和形状完整性先验实现，改善了卫星图像的分割边缘细节，提升了语义识别准确性，提高了语义分割精度。
本发明的技术解决方案：一种卫星图像特征部件语义分割方法，基于上下文信息和形状完整性先验实现，包括以下步骤：
(1)获取原始卫星仿真图像，对所获取的原始卫星仿真图像进行预处理，从而使原始卫星仿真图像更接近于在轨卫星真实图像，所述预处理包括对原始卫星仿真图像进行灰度化、添加光照和噪声和模糊化处理操作；对预处理后的卫星图像沿边界标注出清晰可见的各类卫星图像特征部件，所述卫星图像特征部件包括帆板、天线、喷管、镜筒、KKV和机械臂六类特征部件，构建出六类特征部件的卫星图像特征部件语义分割数据集；
(2)基于步骤(1)获得的数据集，利用原始DeepLabV3+模型的语义分割结果，以及原始DeepLabV3+基础网络提取到的特征图，结合卫星图像特征部件的上下文信息，即卫星图像特征部件的所处的区域位置信息，构建基于上下文信息的DeepLabV3+语义分割模型；
(3)向步骤(2)中基于上下文信息的DeepLabV3+语义分割模型中依据卫星图像特征部件与规则形状具有相似性的先验信息添加形状完整性约束，构建基于上下文信息和形状完整性先验的卫星图像特征部件语义分割模型；
(4)针对步骤(3)获得的模型，在步骤(1)获得的卫星图像特征部件语义分割数据集上进行模型的训练，获得训练后的语义分割模型，利用训练后的语义分割模型对卫星图像进行语义分割，获得语义分割结果。
所述步骤(1)中，卫星图像特征部件语义分割数据集的构建方法如下：
(11)利用仿真软件STK平台创建仿真卫星在轨场景，设置轨道参数，导入各种型号的卫星三维模型，演示目标在空间中运动的同时改变背景、角度、距离等信息；利用STK软件对卫星在轨运行进行仿真并录取宽度为320～960，高度为240～720，每秒30～60帧的高清晰视频，使用Matlab程序读取视频并每隔3～10帧截取卫星在轨运行视频中的彩色图像并保存，得到原始卫星仿真图像；
(12)对获取的原始卫星仿真图像进行灰度化、添加光照和噪声、模糊化预处理操作，使其更接近于在轨卫星真实图像；所述灰度化是通过对RBG三通道的加权平均获得灰度图像，公式如下：
g(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)
式中，(i,j)代表图像中的像素坐标，R(i,j),G(i,j)和B(i,j)分别代表图像在坐标(i,j)处RGB三通道的像素值，g(i,j)为计算得到的图像在坐标(i,j)处的灰度值；
加权平均算法根据人眼对不同颜色的敏感度不同，人眼对绿色的敏感度最高，对蓝色的敏感度最低，对RGB分量给予不同的权重系数；
在图像灰度化之后，利用如下公式对图像添加光照：
式中k为中心点光照强度，(i0,j0)为光照中心，r为光照半径，f(i,j)为坐标(i,j)处添加的光照强度，添加的光照强度以中心点位置最高，沿半径方向逐渐降低；对添加光照之后的图片，通过添加高斯噪声以及高斯模糊操作来模拟在轨卫星真实情况；
(13)最后利用开源标注软件Labelme对处理后的卫星图像进行处理，沿边界标注出图像中清晰可见的各类特征部件，得到各图像对应的json文件，再经过python代码转换为可使用的卫星图像特征部件语义分割数据集的标签图，最终得到六类特征部件的卫星图像特征部件语义分割数据集。
所述步骤(2)中，构建基于上下文信息的DeepLabV3+语义分割模型的方法如下：
(21)首先将上下文信息模块添加到原始DeepLabV3+模型后端，从而将原始DeepLabV3+模型的语义分割结果转换为维度是B×N×H×W的矩阵，B代表训练时的Batchsize，H和W代表图像的高度和宽度，N对应数据集的类别数目，矩阵中点的坐标为(b,n,h,w)，其中b，n，h，w分别代表训练设置的Batchsize从低到高的索引、卫星图像特征部件所属类别、卫星仿真图像高度方向索引以及卫星仿真图像宽度方向索引，每个点的数值代表了卫星仿真图像中对应位置(h,w)的像素属于类别n的概率；
(22)然后将步骤(21)得到的维度是B×N×H×W的矩阵与原始DeepLabV3+基础网络提取到的特征图FO相乘，得到一个维度是B×N×K×1的矩阵V，其中K为特征图FO的通道数，每个K×1的向量都对应表示了一个类别区域，代表了卫星图像特征部件的位置信息；
(23)利用图像特征图FO与矩阵V计算图像像素和类别区域之间的相关性矩阵，并根据矩相关性阵中的相应数值对矩阵V进行加权求和，得到新的特征图FC，实现通过类别区域表征像素的目的，增强模型对于空间信息的使用来提升语义分割精度；
(24)最后将FO和FC进行通道拼接，得到维度为B×(2*K)×H×W的特征图，基于None-local的思想，通过1×1的卷积、归一化和激活函数操作，得到特征图F，再对特征图F进行卷积操作得到最终的语义分割结果
基于上下文信息模块的DeepLabV3+模型的损失函数由两部分构成：原始DeepLabV3+模型的语义分割结果与标签真值y即构建的卫星图像特征部件语义分割数据集的标签图的交叉熵损失以及添加上下文信息模块后DeepLabV3+模型的语义分割结果与标签真值y的交叉熵损失即：
基于上下文信息的DeepLabV3+模型总损失Ltot的表达式为：
Ltot＝L1+αL2
其中α为权重系数，用于调节上下文信息与单像素信息所占比重。
所述步骤(3)中，构建基于上下文信息和形状完整性先验的语义分割模型的方法如下：
卫星图像的特征部件大多为规则形状，包括卫星帆板近似为平行四边形，卫星的天线近似为圆形，卫星的喷管近似于梯形，卫星的镜筒近似于矩形，KKV、机械臂则近似为多个矩形拼接而成，通过卫星图像特征部件形状完整性评估公式来利用这些先验信息向基于上下文信息的DeepLabV3+语义分割中添加形状完整性约束，卫星图像特征部件形状完整性的评估公式为：
式中，S为卫星图像特征部件面积，C为卫星图像特征部件周长，SC为形状完整性系数，取值范围是(0，1)，其值越接近1，说明卫星图像特征部件形状越紧凑，越规则，在实际使用中，取SC倒数作为形状完整性评判标准；
首先将添加了上下文信息模块的DeepLabV3+模型卫星图像的语义分割预测结果通过one-hot编码转换为维度是B×H×W×N的二值矩阵，然后计算N个B×H×W维度的二值矩阵在水平和垂直方向的梯度和并计算矩阵内每个位置的数值v(i,j)的绝对值的总和作为矩阵对应类别特征部件的面积，形状完整性先验引入的损失函数为：
式中λ是用于计算稳定性预防分母为0的超参；
基于上下文信息和形状完整性先验的DeepLabV3+语义分割模型的损失函数为：
L＝Ltot+βLSCL＝L1+αL2+βLSCL
式中β为权重系数，取值设置为0.01～0.1。
所述步骤(4)中，获得语义分割结果的方法如下：
进行模型训练过程的参数及优化方式的设置，包括卫星图像裁剪尺寸、学习率策略、训练步数和输出比率；
卫星图像裁剪尺寸设置为长宽均大于原图一个像素；学习率策略选择“POLY”，即指数型动态学习率策略，初始学习率设置为0.0005～0.0007，初始训练epoch为280～300，编码器输出比率设置为16，即编码器输出特征图为原图尺寸的1/16，对应空洞卷积扩张率为[12,24,36]。
本发明与现有技术相比的优点在于：
(1)本发明采用了添加上下文信息的方式，改进原始DeepLabV3+模型，更加充分的利用卫星图像上下文信息，此方式进一步精细化分割结果，提升分割精度。
(2)本发明采用了添加形状完整性先验约束的方式，添加形状完整性损失函数，增强形状完整性先验信息的约束效果。该方法可有效改善真实标签图和预测分割图的高阶不一致性，可提高语义分割图中目标语义识别的正确性，并整体提升卫星图像的语义分割效果。
总之，本发明采用的方法原理简洁，语义分割效果良好，可达到对卫星图像特征部件精确语义分割的目的。
附图说明
图1为本发明的卫星图像特征部件语义分割方法流程图；
图2为采用本发明方法获得的语义分割前后的图像示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明的具体实现步骤如下：
步骤1、(11)利用仿真软件STK平台创建仿真卫星在轨场景，设置轨道参数，导入各种型号的卫星三维模型，演示目标在空间中运动的同时改变背景、角度、距离等信息；利用STK软件对卫星在轨运行进行仿真并录取宽度为320～960，高度为240～720，每秒30～60帧的高清晰视频，使用Matlab程序读取视频并每隔3～10帧截取卫星在轨运行视频中的彩色图像并保存，得到原始卫星仿真图像；
(12)对获取的原始卫星仿真图像进行灰度化、添加光照和噪声、模糊化预处理操作，使其更接近于在轨卫星真实图像；所述灰度化是通过对RBG三通道的加权平均获得灰度图像，公式如下：
g(i,j)＝0.299×R(i,j)+0.578×G(i,j)+0.114×B(i,j)
式中，(i,j)代表图像中的像素坐标，R(i,j),G(i,j)和B(i,j)分别代表图像在坐标(i,j)处RGB三通道的像素值，g(i,j)为计算得到的图像在坐标(i,j)处的灰度值；
加权平均算法根据人眼对不同颜色的敏感度不同，人眼对绿色的敏感度最高，对蓝色的敏感度最低，对RGB分量给予不同的权重系数；
在图像灰度化之后，利用如下公式对图像添加光照：
式中k为中心点光照强度，(i0,j0)为光照中心，r为光照半径，f(i,j)为坐标(i,j)处添加的光照强度，添加的光照强度以中心点位置最高，沿半径方向逐渐降低；对添加光照之后的图片，通过添加高斯噪声以及高斯模糊操作来模拟在轨卫星真实情况；
(13)最后利用开源标注软件Labelme对处理后的卫星图像进行处理，沿边界标注出图像中清晰可见的各类特征部件，得到各图像对应的json文件，再经过python代码转换为可使用的卫星图像特征部件语义分割数据集的标签图，最终得到六类特征部件的卫星图像特征部件语义分割数据集。
步骤2、21)首先将上下文信息模块添加到原始DeepLabV3+模型后端，从而将原始DeepLabV3+模型的语义分割结果转换为维度是B×N×H×W的矩阵，B代表训练时的Batchsize，H和W代表图像的高度和宽度，N对应数据集的类别数目，矩阵中点的坐标为(b,n,h,w)，其中b，n，h，w分别代表训练设置的Batchsize从低到高的索引、卫星图像特征部件所属类别、卫星仿真图像高度方向索引以及卫星仿真图像宽度方向索引，每个点的数值代表了卫星仿真图像中对应位置(h,w)的像素属于类别n的概率；
(22)然后将步骤(21)得到的维度是B×N×H×W的矩阵与原始DeepLabV3+基础网络提取到的特征图FO相乘，得到一个维度是B×N×K×1的矩阵V，其中K为特征图FO的通道数，每个K×1的向量都对应表示了一个类别区域，代表了卫星图像特征部件的位置信息；
(23)利用图像特征图FO与矩阵V计算图像像素和类别区域之间的相关性矩阵，并根据矩相关性阵中的相应数值对矩阵V进行加权求和，得到新的特征图FC，实现通过类别区域表征像素的目的，增强模型对于空间信息的使用来提升语义分割精度；
(24)最后将FO和FC进行通道拼接，得到维度为B×(2*K)×H×W的特征图，基于None-local的思想，通过1×1的卷积、归一化和激活函数操作，得到特征图F，再对特征图F进行卷积操作得到最终的语义分割结果
基于上下文信息模块的DeepLabV3+模型的损失函数由两部分构成：原始DeepLabV3+模型的语义分割结果与标签真值y即构建的卫星图像特征部件语义分割数据集的标签图的交叉熵损失以及添加上下文信息模块后DeepLabV3+模型的语义分割结果与标签真值y的交叉熵损失即：
基于上下文信息的DeepLabV3+模型总损失Ltot的表达式为：
Ltot＝L1+αL2
其中α为权重系数，用于调节上下文信息与单像素信息所占比重。
步骤3、卫星图像的特征部件大多为规则形状，包括卫星帆板近似为平行四边形，卫星的天线近似为圆形，卫星的喷管近似于梯形，卫星的镜筒近似于矩形，KKV、机械臂则近似为多个矩形拼接而成，通过卫星图像特征部件形状完整性评估公式来利用这些先验信息向基于上下文信息的DeepLabV3+语义分割中添加形状完整性约束，卫星图像特征部件形状完整性的评估公式为：
式中，S为卫星图像特征部件面积，C为卫星图像特征部件周长，SC为形状完整性系数，取值范围是(0，1)，其值越接近1，说明卫星图像特征部件形状越紧凑，越规则，在实际使用中，取SC倒数作为形状完整性评判标准；
首先将添加了上下文信息模块的DeepLabV3+模型卫星图像的语义分割预测结果通过one-hot编码转换为维度是B×H×W×N的二值矩阵，然后计算N个B×H×W维度的二值矩阵在水平和垂直方向的梯度和并计算矩阵内每个位置的数值v(i,j)的绝对值的总和作为矩阵对应类别特征部件的面积，形状完整性先验引入的损失函数为：
式中λ是用于计算稳定性预防分母为0的超参；
基于上下文信息和形状完整性先验的DeepLabV3+语义分割模型的损失函数为：
L＝Ltot+βLSCL＝L1+αL2+βLSCL
式中β为权重系数，取值设置为0.01～0.1。
步骤4、进行模型训练过程的参数及优化方式的设置，包括卫星图像裁剪尺寸、学习率策略、训练步数和输出比率；
卫星图像裁剪尺寸设置为长宽均大于原图一个像素；学习率策略选择“POLY”，即指数型动态学习率策略，初始学习率设置为0.0005～0.0007，初始训练epoch为280～300，编码器输出比率设置为16，即编码器输出特征图为原图尺寸的1/16，对应空洞卷积扩张率为[12,24,36]。
如图2所示，该图第一列为原始图像，第二列为真值图像，第三列为原始的DeepLabV3+模型的语义分割结果，从图中圈画出的部分可以看出，小体积目标机械臂未被识别分割出来，天线分割精度较差；第四列为本发明提出的模型获得的卫星图像语义分割结果，可见，小体积目标机械臂被识别分割出来，且天线的整体分割精度有很大提升。由此可见，本发明能够针对卫星图像，改善分割结果整体细节，提高语义分割精度。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种船牌识别方法、装置及计算机可读存储介质