阅读说明：本技术 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 (Mask R-CNN-based unmanned aerial vehicle image building area calculation method and system ) 是由 陈珺 王干北 龚文平 罗林波 程展 王永涛 于 2019-07-25 设计创作，主要内容包括：本发明提供了基于Mask R-CNN的无人机图像建筑物面积计算方法及系统,首先使用无人机采集预选定地区的多张图像,每张图像尺寸保持一致；进行删选,删除完全不包含建筑物的图像；对剩下的图像标注出图像中的建筑物,将标注好的图像作为训练图像集；准备一个完整的卫星图像数据集；采用Mask R-CNN算法,先使用卫星图像数据集进行预训练得到一个初始模型；使用训练图像集对初始模型进行训练,得到最终的分割模型；采用无人机对待测地区进行图像采集,拼接成一张全景图,进行降采样处理,然后裁剪成小型图像；使用分割模型对小型图像进行处理；统计每一个标注出建筑物所包含的像素点的个数；根据实际情况,计算得到图像中每个建筑物的面积。(The invention provides a Mask R-CNN-based unmanned aerial vehicle image building area calculation method and a system, wherein an unmanned aerial vehicle is used for collecting a plurality of images of a preselected area, and the size of each image is kept consistent; deleting images which do not contain buildings at all; marking buildings in the images for the rest images, and taking the marked images as a training image set; preparing a complete satellite image data set; adopting a Mask R-CNN algorithm, and firstly using a satellite image data set for pre-training to obtain an initial model; training the initial model by using a training image set to obtain a final segmentation model; collecting images of an area to be detected by using an unmanned aerial vehicle, splicing the images into a panoramic image, performing down-sampling treatment, and cutting the panoramic image into small images; processing the small image by using a segmentation model; counting the number of pixel points contained in each marked building; and calculating the area of each building in the image according to the actual situation.)

基于Mask R-CNN的无人机图像建筑物面积计算方法及系统

技术领域

本发明属于地理信息科学领域，具体涉及基于Mask R-CNN的无人机图像建筑物面积计算方法及系统。

背景技术

近年来，随着气候的变化，地质灾害发生的频率越来越频繁。特别是滑坡，泥石流，洪水等都威胁到人的生命和财产安全，因此必须事先采取预防措施。在一些容易发生地质灾害的地区，比如滑坡带，进行财产评估，然后，根据财产价值采取相应的措施是非常有必要的。财产价值通常根据房屋面积进行评估。传统方法通常是手动操作，耗时相当长，效率低。近年来，遥感技术发展迅速，因此利用遥感图像提取建筑物已成为一种趋势。尽管遥感技术取得了很大突破，但是遥感图像分辨率依然过低，使用遥感图像提取建筑物并计算面积将带来很大的误差，这可能会对房屋价值评估产生不利影响。近年来，无人机技术发展迅速，特别是在航程和载荷上有了很大的进步。使用无人机图像进行财产评估有两个原因。首先，通过配备高清摄像头，可以轻松获得分辨率达到厘米级别的高分辨率图像；第二，在一些容易发生地质灾害的地区，地形复杂且非常危险，而使用无人机却可以在这些地区对指定区域进行拍摄。因此，本发明提出了一种基于无人机航拍图像并自动计算建筑物面积的新方法。

在传统的图像分割算法中，分水岭算法是一种较为流行的方法，在分割过程中，它把相邻像素之间的相似性作为重要的参考依据，从而获得具有相似空间位置和相似灰度值的像素，进而形成相互连接的封闭轮廓。分水岭算法的常用操作步骤为：彩色图像灰度化，然后获得梯度图，最后，在梯度图的基础上进行分水岭算法，得到分割图像的边缘线。在分水岭算法中，对梯度图像进行阈值处理，选择适当的阈值对最终的分割图像有很大的影响。因此，阈值的选择是图像分割效果的关键。此外，传统的分割算法还包括聚类法和边缘检测法等。

近年来，深度卷积神经网络(DCNNs)在计算机视觉应用中变得非常流行。DCNNs通常包含许多卷积层，可以从训练数据中学习深层特征。因此，深度卷积神经网络被引入到分割任务中，并且取得了良好的效果。然而，这些方法仍然有限制。在训练数据较少的的情况下很难实现良好的结果。作为一种有监督学习方法，基于深度神经网络进行图像分割通常需要大量的训练数据，但是有些情况下样本数量是较少的。遥感图像与无人机图像有较大的相似性，而前者可以在一些开源网站上获得，因此，借助于迁移学习的理念，可以使用大量遥感图像预训练网络，之后利用少量的无人机航拍图像进行微调以达到不错的效果。

目前已经有许多深度学习的方法被用来进行分割任务。这些方法可以分为两类。第一类是语义分段，如FCN和deeplab系列，第二类是实例分割，例如FCIS和Mask R-CNN。语义分割是指对图像中的每个像素进行分类，但它无法区分同一类中的不同目标。实例分割可以看成语义分割的延伸。与语义分割不同的是实例分割会区分每一个实例，即使是同一类目标，实例分割仍然会标记出每一个目标，并且以不同颜色和边界框加以区分。实例分割可以看成是目标检测和语义分割的组合。由于需要对一个指定区域的相邻目标进行区分，因此，实例分割比语义分割更加适合用来计算指定区域的建筑物面积。

发明内容

本发明要解决的技术问题在于，针对上述目前传统的建筑物面积计算方法耗时长、效率低的技术问题，提供基于Mask R-CNN的无人机图像建筑物面积计算方法及系统解决上述技术缺陷。

基于Mask R-CNN的无人机图像建筑物面积计算方法，包括：

S1、使用无人机采集预选定地区的多张图像，每张图像尺寸保持一致；

S2、对S1采集到的图像进行删选，删除完全不包含建筑物的图像；

S3、对S2剩下的图像进行一一标注，标注出图像中的建筑物，将标注好的图像作为训练图像集；

S4、准备一个卫星图像数据集，该数据集中包含多张已经进行了建筑物标注的卫星图像；

S5、采用Mask R-CNN算法，先使用卫星图像数据集进行预训练，预训练完成后得到一个初始模型；

S6、使用训练图像集对初始模型进行训练，训练多轮之后模型收敛，得到最终的分割模型；

S7、采用无人机对待测地区进行图像采集，将采集到的多张图像拼接成一张全景图，对全景图进行降采样处理，然后裁剪成多张尺寸相同的小型图像；

S8、使用分割模型对S7中得到的所有的小型图像进行处理，以将每张小型图像中的建筑物标注出来；

S9、统计每一个标注出建筑物所包含的像素点的个数；

S10、根据实际情况，设定每一个像素点代表的单位像素点面积，计算得到图像中每个建筑物的面积。

进一步的，S1中采集的图像为三通道的RGB图像。

进一步的，S3中使用labelme软件对图像进行建筑物标注。

进一步的，S10中计算方法是用单位像素点面积与像素点个数相乘。

基于Mask R-CNN的无人机图像建筑物面积计算系统，包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现任意一种基于Mask R-CNN的无人机图像建筑物面积计算方法。

与现有技术相比，本发明优势在于：选用Mask R-CNN做为分割模型，Mask R-CNN具有结构简单、灵活、分割效果显著等优点。在执行Mask R-CNN之后，可以获得每个建筑物的轮廓并统计每个建筑物轮廓上的像素数量，然后利用每个像素代表的单位面积大小，可以相应地计算每个建筑物的面积。通过本方法得到的结果精度明显高于传统的计算方法。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于Mask R-CNN的无人机图像建筑物面积计算方法流程图；

图2是各种算法的定性实验比较图；

图3是各算法的定量指标比较图；

图4是本发明使用Mask R-CNN分割的效果图；

图5是本发明计算出的面积与真实值比较图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

基于Mask R-CNN的无人机图像建筑物面积计算方法，如图1所示，包括：

S1、使用无人机采集预选定地区的多张图像，每张图像尺寸保持一致，图像为三通道的RGB图像；

S2、对S1采集到的图像进行删选，删除完全不包含建筑物的图像；

S3、使用labelme软件对S2剩下的图像进行一一标注，标注出图像中的建筑物，将标注好的图像作为训练图像集；

S4、准备一个完整的卫星图像数据集，该数据集中包含多张已经进行了建筑物标注的卫星图像；

S5、采用Mask R-CNN算法，先使用卫星图像数据集进行预训练，预训练完成后得到一个初始模型；

S6、使用训练图像集对初始模型进行训练，训练多轮之后模型收敛，得到最终的分割模型；

S7、采用无人机对待测地区进行图像采集，将采集到的多张图像拼接成一张全景图，对全景图进行降采样处理，然后裁剪成多张尺寸相同的小型图像，尺寸大小满足分割模型的处理要求；

S8、使用分割模型对S7中得到的所有的小型图像进行处理，以将每张小型图像中的建筑物标注出来；

S9、统计每一个标注出建筑物所包含的像素点的个数；

S10、根据实际情况，设定每一个像素点代表的单位像素点面积，用单位像素点面积与像素点个数相乘，计算得到图像中每个建筑物的面积。

本发明采用的Mask R-CNN模型是目标检测和语义分割的结合，称为实例分割或者目标分割。Mask R-CNN在目标检测算法Faster R-CNN的基础上，增加语义分割算法全卷积神经网络(FCN)算法以作为分割分支。当图片通过Faster R-CNN后，会产生许多感兴趣区域(RoI),FCN被应用到每一个感兴趣区域已实现对像素的分类。与Faster R-CNN不同的是，Mask R-CNN使用感兴趣对齐(RoI Align)而不是感兴趣池化(RoI Pool)，这可以解决空间错位问题，对提升分割质量有明显的帮助。此外采用二元损失而不是多项式损失，这可以产生准确的二进制掩摸。Mask R-CNN的另一个特点是使用残差网络或改进的ResNet网络而不是传统的vgg网络以增强提取特征的能力。ResNet也是由何凯明等人提出并获得ILSVRC2015比赛的冠军。与VGGNet相比，ResNet效果更好，但参数更少。一般来说，ResNet的结构可以加速深度神经网络的训练，并且准确性也大大提高。Mask R-CNN非常灵活，可用于各种计算机视觉任务，包括目标检测，图像分割和人体姿势识别。在COCO挑战中，Mask R-CNN的表现要好于以前的各种模型。与微软提出的FCIS不同，Mask R-CNN更简单，性能更好，扩展性更好，功能也更为多样，Mask R-CNN可以更改不同的主干结构，比如Resnet-101或Resnet-101-FPN等。这里，主要是FPN解决了多尺度检测的问题。简而言之，相对于Faster R-CNN，Mask R-CNN有三个主要的改进。首先，探索多种网络结构作为Mask R-CNN的骨干网络。其次，使用感兴趣对齐(RoI Align)代替感兴趣池化(RoI Pool)。第三，添加FCN算法作为分割分支。在我们的任务中，Mask R-CNN用边界框识别每个目标。然后将每个边界框分割成建筑物区域和非建筑区域。

各种算法的定性实验如图2所示，第一列是真值，第二列是FCN分割结果，第三列是deeplab分割结果，第四列是SegNet分割结果，第五列是本发明方法分割的结果；上述算法的定量指标比较如图3所示。

如图4所示为使用Mask R-CNN分割的结果，图中选取了七栋建筑物，分别是A、B、C、D、E、F、G，通过本发明计算出的面积与真实值比较结果如图5所示，其中GT是真实值，单位是平方米。

综上所述，本发明选用Mask R-CNN作为分割模型，且采用神经网络学习的方法训练和优化模型，Mask R-CNN具有结构简单、灵活、分割效果显著等优点。在执行Mask R-CNN之后，可以获得每个建筑物的轮廓并计算每个建筑物轮廓上的像素数量，然后利用每个像素代表的单位面积大小，可以相应地计算每个建筑物的面积。通过本方法得到的结果精度明显高于传统的计算方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。