阅读说明：本技术 基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法 (Method for identifying attached matters of blades of ocean current machine based on VGG16-SegUnet and dropout ) 是由 彭海洋 王天真 于 2019-11-19 设计创作，主要内容包括：本发明属于海流机故障诊断领域,具体涉及一种基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法,步骤如下：对海流机图像进行语义标注,完成原始数据集的创建；旋转增强原始数据集并进行标准化预处理；搭建VGG16-SegUnet网络；使用Adadelta优化器对网络进行训练；测试训练好的网络,完成海流机叶片附着物位置和大小的识别,同时估计识别结果的不确定度；最后计算出准确的附着物面积占比以及平均交并比。本发明解决了现有基于图像信号的海流机叶片附着物诊断方法不能定位附着物、输出准确附着物占比以及估计识别不确定度的问题,并为海流机叶片视情维护以及后续的容错控制提供了指导性建议。(The invention belongs to the field of ocean current machine fault diagnosis, and particularly relates to an ocean current machine blade attachment identification method based on VGG16-SegUnet and dropout, which comprises the following steps: performing semantic annotation on the ocean current machine image to complete the creation of an original data set; rotationally enhancing the original data set and carrying out standardized preprocessing; building a VGG16-SegUnet network; training the network by using an Adadelta optimizer; testing the trained network, completing the identification of the position and the size of the blade attachments of the ocean current machine, and simultaneously estimating the uncertainty of the identification result; and finally, calculating the accurate area ratio of the attachments and the average intersection ratio. The invention solves the problems that the existing diagnosis method for the attachments of the ocean current machine blade based on the image signal can not locate the attachments, output accurate attachment proportion and estimate and identify uncertainty, and provides guiding suggestions for the visual condition maintenance and the subsequent fault-tolerant control of the ocean current machine blade.)

基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法

技术领域

本发明涉及海流机故障诊断领域，具体涉及一种基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法。

背景技术

海流能是一种被誉为“蓝色油田”和“海上沙特***”的可再生清洁能源，主要有以下两种形成方式：海底水道和海峡中较为稳定的海水流动；由潮汐运动产生的有规律海水流动。相比于风能和太阳能，海流能有可预测性、高能量密度等优势。海流机作为一种海流能发电装置具有低噪音，可靠运行且没有苛刻的选址要求等优点，它的发电原理是：通过旋转机械吸收流动的海水能量，并将其转换为电能传输到电网中实现并网发电。与在陆上安装的风机不同，海流机一旦正式投入运行将被长时间安置在水下，这将产生如下几个潜在问题：(1)小型海洋生物很可能以附着物的形式在海流机叶片表面进行繁殖，这将可能引发叶片不平衡故障；(2)海流机叶片一般是金属材质的，所以常年的海水浸泡会锈蚀叶片，从而影响机械性能。具体而言，由附着物形成的不平衡故障会导致发电机输出电压频率、幅值的降低以及波形的扭曲最终影响发电质量和效率甚至引发电网波动。因而，对于海流发电系统来讲，在这些故障形成的“萌芽”阶段就有效地检查到相应的故障状态并做出预警显得尤为重要。

目前，关于海流机故障检测和诊断的方法相对较少，主要分为基于电信号(海流机定子电流、电压)和图像信号(海流机水下图像数据)两种类型。但是，面对复杂的水下环境，单纯对定子电流、电压信号进行分析不足以完成对附着物程度的精确诊断。此外，现有的基于图像信号的海流机叶片附着物诊断方法存在如下问题：(1)没有对附着物的位置和大小进行识别；(2)没有诊断出精确的附着物面积占比；(3)不能对不同的附着物分布进行识别，且缺少对诊断结果的不确定度进行分析。

发明内容

为解决上述提到的基于图像信号的海流机叶片附着物诊断方法存在的问题，实现更为直观和精确的附着物程度识别，本发明提供一种基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法。

所述基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法包括以下步骤：

步骤一、首先，采集不同附着类型的海流机水下图像，然后使用开源工具labelme进行语义标注，从而完成原始图像-语义标签数据集的创建：背景，叶片，附着物分别被标注为0，1，2。

步骤二、采用[0°，360°]的旋转数据增强技术扩充原始图像-语义标签数据集，然后对原始图像进行标准化预处理：

其中，x表示海流机图像中R，G，B任意一个维度的数据；x_min，x_max分别表示x中的最小，最大像素值；x最终被标准化到[-1，1]。

再将增强后的数据按3∶1∶1的比例划分为训练集、验证集和测试集。

步骤三、搭建VGG16-SegUnet新型语义分割网络：将VGG16前13层的卷积和最大池化模型设定为特征提取编码层并使用ImageNet预训练权重初始化这些卷积结构；解码层的结构与SegNet中的解码层相同，采用反最大池化进行特征恢复；编码层与解码层之间除前向连接外，还融合了Unet中的特征级联以及SegNet中的最大池化索引保留技术，并在中间位置***了一个30％dropout层；Dropout的引入在缓解训练过拟合现象的同时，也提供了不同的概率分类结果。

步骤四、将预处理好的训练集图像数据输入至VGG16-SegUnet中，输出逐像素softmax概率分类结果：

其中，x⁽ⁱ⁾表示一张训练图像x中的第i个像素点；θ为softmax分类器的权重参数矩阵，且

p(y⁽ⁱ⁾＝l|x⁽ⁱ⁾；θ)表示x⁽ⁱ⁾的预测结果y⁽ⁱ⁾为语义标签l的概率；N表示待语义标注的类别个数；exp^(·)表示指数函数；h_θ(x⁽ⁱ⁾)为softmax预测结果向量。

然后，使用Adadelta优化器对整个网络进行全局训练，降低交叉熵损失直到训练次数达到设定的最大值，并记录最终的训练权重：

其中，Loss(θ)表示交叉熵损失函数；N_train表示训练数据的个数；N_n表示第n张图像的像素总个数；log(·)表示对数函数；1{·}是一个示性函数，当{·}内的表达式成立时，输出1，反之，输出0。

步骤五、将预处理好的测试集图像输入到载入了训练权重的VGG16-SegUnet中，输出语义分割图，完成对图像中背景、叶片、附着物位置和大小的识别，同时对识别结果的不确定度进行估计，具体实现过程如下：

i.将每张测试图像输入到融合有30％dropout的VGG16-SegUnet中，并重复进行50次测试，得到50个softmax概率分类结果，这里记为Test₅₀。

ii.求取Test₅₀的均值

以及方差

iii.从中找出每个像素点的最大概率类别，然后通过可视化技术显示出语义分割图；最大概率类别对应的方差以图像的形式直观地显示出来，即为不确定度图像。

步骤六、最后，根据语义分割图计算出精确的附着物面积占比以及识别准确率指标MIoU：

其中，AAP为附着物面积占比；attachment，blade分别表示附着物和整个海流机叶片区域；Count(·)用于计算指定区域内的像素点个数。

其中，MIoU表示平均交并比；p_ij表示真实标签为i而被误识别为标签j的像素个数；p_ii表示真实标签为i且被识别为标签i的像素个数；p_ji表示真实标签为j而被误识别为标签i的像素个数。

有益效果

与现有技术相比，本发明有如下几点技术效果：

1)本发明使用的是具有三个维度(R，G，B)的图像数据，所以相比于一维的电流、电压信号能提取到更丰富、直观的附着物特征信息。

2)本发明所采用的语义标注方法可以有效提高网络训练速度和泛化能力；旋转数据增强技术在模拟海流机转动运行的同时，大大降低了语义标注工作量。

3)本发明提出的VGG16-SegUnet新型语义分割网络能对海流机图像进行有效分割，并完成背景、叶片、附着物位置和大小的识别，输出精确的附着物面积占比。

4)本发明中的附着物识别方法能识别不同的叶片附着分布，且可以对附着物识别结果的不确定度进行估计，为后续的海流机视情维护以及容错控制提供指导性建议。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明中基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法的算法流程示意图；

图2为本发明中图像语义标注方法的示意图；

图3为本发明中所提出的语义分割网络VGG16-SegUnet的架构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明提供一种基于VGG16-SegUnet和dropout的海流机叶片附着物识别方法包括以下步骤：

步骤一、首先，采集不同附着类型的海流机水下图像，然后使用开源工具labelme进行语义标注，从而完成原始图像-语义标签数据集的创建：背景，叶片，附着物分别被标注为0，1，2，如图2所示。

步骤二、采用[0°，360°]的旋转数据增强技术扩充原始图像-语义标签数据集，然后对原始图像进行标准化预处理：

其中，x表示海流机图像中R，G，B任意一个维度的数据；x_min，x_max分别表示x中的最小，最大像素值；x最终被标准化到[-1，1]。

再将增强后的数据按3∶1∶1的比例划分为训练集、验证集和测试集。

步骤三、搭建VGG16-SegUnet新型语义分割网络：将VGG16前13层的卷积和最大池化模型设定为特征提取编码层并使用ImageNet预训练权重初始化这些卷积结构；解码层的结构与SegNet中的解码层相同，采用反最大池化进行特征恢复；编码层与解码层之间除前向连接外，还融合了Unet中的特征级联以及SegNet中的最大池化索引保留技术，并在中间位置***了一个30％dropout层；Dropout的引入在缓解训练过拟合现象的同时，也提供了不同的概率分类结果；VGG16-SegUnet的具体架构设计如图3所示。

步骤四、将预处理好的训练集图像数据输入至VGG16-SegUnet中，输出逐像素softmax概率分类结果：

其中，x⁽ⁱ⁾表示一张训练图像x中的第i个像素点；θ为softmax分类器的权重参数矩阵，且

p(y⁽ⁱ⁾＝l|x⁽ⁱ⁾；θ)表示x⁽ⁱ⁾的预测结果y⁽ⁱ⁾为语义标签l的概率；N表示待语义标注的类别个数；exp^(·)表示指数函数；h_θ(x⁽ⁱ⁾)为softmax预测结果向量。

然后，使用Adadelta优化器对整个网络进行全局训练，降低交叉熵损失直到训练次数达到设定的最大值，并记录最终的训练权重：

其中，Loss(θ)表示交叉熵损失函数；N_train表示训练数据的个数；N_n表示第n张图像的像素总个数；log(·)表示对数函数；1{·}是一个示性函数，当{·}内的表达式成立时，输出1，反之，输出0。

步骤五、将预处理好的测试集图像输入到载入了训练权重的VGG16-SegUnet中，输出语义分割图，完成对图像中背景、叶片、附着物位置和大小的识别，同时对识别结果的不确定度进行估计，具体实现过程如下：

i.将每张测试图像输入到融合有30％dropout的VGG16-SegUnet中，并重复进行50次测试，得到50个softmax概率分类结果，这里记为Test₅₀。

ii.求取Test₅₀的均值

以及方差

iii.从

中找出每个像素点的最大概率类别，然后通过可视化技术显示出语义分割图；最大概率类别对应的方差以图像的形式直观地显示出来，即为不确定度图像。

步骤六、最后，根据语义分割图计算出精确的附着物面积占比以及识别准确率指标MIoU：

其中，AAP为附着物面积占比；attachment，blade分别表示附着物和整个海流机叶片区域；Count(·)用于计算指定区域内的像素点个数。

其中，MIoU表示平均交并比；p_ij表示真实标签为i而被误识别为标签j的像素个数；p_ii表示真实标签为i且被识别为标签i的像素个数；p_ji表示真实标签为j而被误识别为标签i的像素个数。