具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的光伏电池板异常检测方法及装置，其具体实施方式、结构、特征及其功效，详细说明如下。

方法实施例：

本实施例提供了一种基于计算机视觉的光伏电池断栅检测方法，该检测方法通过将电池板表面图像转换到频域，然后利用频域信息中的相位信息提取到初始电池板栅线图像。由于初始电池板栅线图像中存在部分栅线较粗的现象，为了进一步获取准确的栅线，对电池板表面图像进行梯度计算，获取电池板中准确的栅线位置和宽度，并根据准确的栅线位置和宽度对初始电池板栅线图像进行修正，从而可以得到准确的电池板栅线图像，进而实现对池板栅线的断栅情况的判断。如图1所示，基于计算机视觉的光伏电池断栅检测方法具体包括以下步骤：

(1)获取单个电池板表面图像，具体步骤如下：

(1-1)获取连续拍摄的多帧电池板表面图像。

其中，为了获取连续拍摄的多帧电池板表面图像，本实施例是采用无人机携带摄像头对电池板表面进行航拍的方式来实现。而为了得到光伏电站每个电池板表面的清晰图像，在航拍之前，需要提前设置无人机飞行路线、飞行高度与飞行速度。在航拍过程中，使无人机沿着设定的飞行线路飞行，并在飞行过程中保持设定的飞行高度和速度，以保证连续拍摄的电池板表面图像的清晰度且图像中无树木、建筑物等遮挡物。

(1-2)将连续多帧电池板表面图像按照顺序进行拼接处理，获取电池板总区域的整体图像，具体步骤如下：

(1-2-1)根据图像像素灰度值信息，对连续多帧电池板表面图像进行边缘特征线提取。

其中，如图2所示，在拍摄的某张电池板表面图像上，1表示的是电池板边缘线，2表示的是电池板表面上除了边缘线的其他区域，3表示的是图像上除了电池板表面的周围环境区域。由于电池板边缘线处的像素灰度值与电池板表面其他区域和周围环境区域的像素灰度值有很大差别，因此可以根据图像像素灰度值信息提取电池板边缘特征线，将该电池板边缘特征线作为ROI区域(感兴趣区域)，以便于后续在该ROI区域内进行特征点的提取和匹配。

(1-2-2)在连续的两帧电池板表面图像的边缘特征线中进行特征点提取，并对提取的特征点进行匹配以实现连续多帧电池板表面图像的拼接。

其中，将连续多帧电池板图像按照采样顺序进行排列，然后对于相邻的两帧电池板表面图像，首先将其ROI区域划分成N个小区域，即将第一帧电池板表面图像中的ROI区域划分成N个小区域，同时将第二帧电池板表面图像中ROI区域也按照相同的方式划分成N个小区域。在将相邻两帧电池板表面图像的ROI区域划分成N个小区域之后，分别在两帧电池板表面图像相同的小区域内进行特征点提取。在对两帧电池板表面图像ROI区域的每个小区域内的特征点进行提取之后，分别将对应两个小区域内的特征点进行匹配，以实现连续多帧电池板表面图像的拼接。

在本实施例中，在进行特征点提取时，采用的是可实现特征点快速提取的ORB(Oriented FAST and Rotated BRIEF)特征点检测算法；在进行特征点匹配时，采用的是GMS特征匹配算法。ORB特征点检测算法和GMS特征匹配算法的具体实现方式属于现有技术，此处不再赘述。当然，作为其他的实施方式，在进行特征点提取时，也可以根据实际情况采用现有技术中适用的其他特征点检测提取方法，例如Harris角点检测算法、ORB特征点检测算法、SIFT关键点检测算法、FAST特征点检测算法等；在进行特征点匹配时，也可以根据实际情况采用现有技术中适用的其他特征点匹配方法，如RANSAC特征点匹配算法。

上述通过将相邻两帧电池板表面图像ROI区域划分成N个小区域，然后在每个小区域内进行特征点提取和匹配的方式减小了特征点提取和匹配的计算量，保证了图像匹配准确度，有效提高了特征点检测速度。当然，在不考虑特征点提取和匹配的计算量的情况下，作为其他的实施方式，也可以直接在相邻两帧电池板表面图像相邻的ROI区域内直接进行特征点的提取和匹配，而无需将ROI区域划分成多个小区域。

(1-2-3)对拼接得到的连续多帧电池板表面图像的拼接处进行滤波处理，从而得到电池板总区域的整体图像。

其中，由于拼接得到的电池板表面图像中存在重合部分像素点的突变现象，因此，本实施例中采用中值滤波方法对拼接得到的电池板表面图像进行滤波处理，去除高于某个阈值的点，以消除像素值的突变。由于该中值滤波方法的具体实现过程属于现有技术，此处不再赘述。

上述步骤(1-2-1)-(1-2-3)是依据每个电池板边缘直线进行图像配准，即从图像的电池板边缘线上提取特征点，然后基于该提取的特征点进行连续多帧电池板表面图像的拼接。这种拼接方式能够从很大程度上减少图像配准过程的计算量，提高了电池板总区域的整体图像的生成效率。

但是需要说明的是，上述拼接方式仅仅是给出了一种对连续多帧电池板表面图像按照顺序进行拼接，从而获得电池板总区域的整体图像的方式，而作为其他的实施方式，在能够根据连续拍摄的多帧电池板表面图像，来准确获取电池板总区域的整体图像的基础之上，也可以从现有技术中选取其他适用的拼接方式来实现。由于现有适用的拼接方式有许多，此处不再进行阐述。

另外，在得到电池板总区域的整体图像后，将其投影到预先构建的三维电站BIM(建筑信息模型)中，可以实现光伏电站电池板区域的实时成像。其中，三维电站BIM是以建筑信息数据为基础，建立起的三维电站空间模型和电站信息的有机综合体，其具体结构属于现有技术，此处不再赘述。

(1-3)将电池板边缘线作为遮罩对电池板总区域的整体图像进行裁剪，得到单个电池板表面图像。

其中，为了获取单个电池板表面图像，首先对电池板总区域的整体图像进行二值化处理，得到中间部分含有白色条状栅线的电池板白色边缘线图像，如图3所示。为了消除中间部分的白色条状栅线的影响，采用形态学开运算的方法对二值化处理后的电池板白色边缘线图像进行处理，从而得到准确的电池板边缘线图像，如图4所示。由于对图像进行二值化处理和形态学开运算处理的具体实现过程均属于现有技术，此处不再阐述。

将得到的准确的电池板边缘线图像作为遮罩，与步骤(1-2)中得到的电池板总区域的整体图像进行乘法操作，从而剪切出单个电池板表面图像。由于对图像进行剪切分割处理的具体实现过程属于现有技术，此处不再阐述。

(2)将单个电池板表面图像转换到频域，得到电池板表面图像的频域信息。

其中，在获取单个电池板表面图像后，考虑到电池板表面颜色的特点，对该单个电池板表面图像进行通道分离，提取电池板的G通道像素值，以得到单个电池板的G通道图像，单通道图像便于后续的分析处理。由于单个电池板的G通道图像中会存在大量的噪声，这将对后续图像处理造成干扰，因此对电池板的G通道图像进行高斯平滑以消除噪声，即可得到平滑后的图像M0。

考虑到电池板表面图像采集过程中由于摄像头角度以及外界因素的影响，无法保持光照均匀，且局部光线明暗变化的将严重影响后续电池板表面栅线的提取，因此，为了准确提取栅线，提高断栅检测精度，保证在消除图像亮度、对比度影响的情况下准确区分栅线像素，对平滑后的图像M0进行傅里叶变换，将单个电池板表面图像转换到频域：

其中，F(u,v)为平滑后的图像M0经傅里叶变换后的频域信号；f(x,y)为平滑后的图像M0经傅里叶变换后第n次谐波的幅值；为平滑后的图像M0经傅里叶变换后的第n次谐波的相位；j为虚数单位；N为谐波的总数目。

(3)根据电池板表面图像的频域信息，对电池板栅线进行提取，得到初始电池板栅线图像。

其中，根据先验知识，栅线相对于整个电池板而言就是梯度变化比较大的像素点构成的，那么将电池板表面二维图像转换到频域后，二维图像梯度变化较大的像素点对应频域中各谐波的相位相似程度就比较高。因此，基于该先验知识，可以根据图像的频域信息对栅线图像进行提取，具体实现步骤如下：

(3-1)根据电池板表面图像的频域信息中的相位信息，计算栅线提取指标：

其中，E(t)为栅线提取指标；为平滑后的图像M0经傅里叶变换后的第n次谐波的相位；N为谐波的总数目。

(3-2)将栅线提取指标值与栅线提取指标设定值进行比较，确定栅线的频域信息。

其中，当栅线提取指标值趋近于零时，说明该相位所对应空域图像的点为栅线位置，其他为非栅线位置。因此，设置栅线提取指标设定值为0.2，并将栅线提取指标值与栅线提取指标设定值0.2进行比较，当栅线提取指标值小于栅线提取指标设定值0.2时，则认为该相位所对应的图像上的点为栅线，否则认为该相位所对应的图像上的点不是栅线。这样，可以筛选出图像中所有栅线所对应的频域内的所有相位信息，也就是频域信息。

(3-3)将栅线的频域信息转换到时域，得到初始电池板栅线。

其中，根据步骤(3-2)中所获取的栅线对应频域内的相位信息，也就是频域信息，通过傅里叶反变换，就可以初步获取电池板表面栅线，从而得到初始电池板栅线图像M1。

上述步骤(3)基于频域相位分析获取的电池板表面栅线能够有效避免图像亮度不均的影响，但是由于基于频域相位分析容易受到图像中噪声影响，目标栅线小范围附近的像素点的栅线提取指标值相近，导致部分电池板表面栅线过粗，栅线信息不准确。因此，为了提高后续电池板栅线的断栅情况的判断准确性，后续需要对当前获得的初始电池板栅线进行修正，以获取更加准确的电池板栅线。

(4)对获取的电池板表面图像进行梯度计算以提取电池板栅线，得到基于梯度的电池板栅线图像。

其中，为了在步骤(3)中初步获取的电池板表面栅线的基础上，得到准确可靠的栅线图像，对单个电池板表面图像即平滑后的图像M0的梯度进行计算，对电池板栅线进行提取，从而得到基于梯度的电池板栅线图像M2。在本实施例中，是采用一阶Sobel算子来计算电池板表面图像的梯度，该算子能够有效降低噪声影响。由于，一阶Sobel算子以及如何利用一阶Sobel算子来计算图像梯度均属于现有技术，此处不再赘述。当然，作为其他的实施方式，在计算电池板表面图像的梯度时，也可以采样现有技术中的其他梯度求取方法如中值差分法、基于边缘检测算子等。

(5)根据基于梯度的电池板栅线图像，确定电池板的栅线基准位置和栅线基准宽度。

其中，由于基于梯度提取的电池板栅线易受光照不均匀的影响，对于受光照影响局部灰度较小的栅线不能够被准确提取出来，导致栅线信息不准确。因此，下面将基于梯度图像构建光照因子分析模型，对电池板的光照分布进行分析。光照分析的目的是为了提取光照分布均匀的区域，以准确提取栅线信息，得到较为准确的栅线宽度及栅线间隔，进而确定整个电池板上的栅线基准位置和栅线基准宽度，以便于后续对基于相位获取的栅线图像进行修正，从而得到准确的电池板表面栅线信息。

具体的，通过对电池板的光照分布进行分析，以确定整个电池板上的栅线基准位置和栅线基准宽度的具体步骤如下：

(5-1)将基于梯度的电池板栅线图像划分成μ个子区域，基于各个子区域的栅线特征，构建光照因子分析模型，分别计算每个子区域的光照因子，得到μ个子区域的光照因子序列{τ₁，τ₂…τ_μ}。其中，构建光照因子分析模型即计算每个子区域的光照因子的目的是，在基于梯度的电池板栅线图像中筛选出栅线最为准确的区域，即在该区域内的栅线分布最为均衡。具体的，该光照因子分析模型的数学表达式为：

其中，τ_i为第i个子区域的光照因子；σ_li、σ_wi为第i个子区域内的栅线特征，分别表示第i个子区域内的栅线间隔方差、栅线宽度方差；k为光照因子计算参数，可以根据实际情况进行选取，在本实施例中，k＝5。

当然，上述光照因子分析模型仅仅是给出用于筛选出基于梯度的电池板栅线图像中栅线分布最为均衡的区域的一种具体实施方式，作为其他的实施方式，在能够实现筛选出基于梯度的电池板栅线图像中栅线分布最为均衡的区域这一目的的情况下，也可以采用现有技术中的其他分析模型。

(5-2)将光照因子序列{τ₁，τ₂…τ_μ}中最小的光照因子对应的子区域作为最佳子区域，也即τ_j＝MIN{τ₁，τ₂…τ_μ}，区域j内的栅线提取最为准确，栅线信息最标准，则将区域j作为最佳子区域。根据该最佳子区域内的栅线信息，确定栅线基准宽度、栅线基准间隔以及该最佳子区域内的栅线基准位置。

其中，计算区域j内各栅线宽度以及栅线间隔，分别记为{w₁，w₂…w_Q}、{D₁，D₂…D_Q-1}，Q为该区域内的栅线的数量，确定栅线基准宽度和栅线基准间隔：

其中，w₀为栅线基准宽度；Q为最佳子区域即区域j内的栅线总数量；w_x为最佳子区域即区域j内的第x条栅线的栅线宽度；D₀为栅线基准间隔；D_z为最佳子区域即区域j内的第z个栅线间隔。

需要说明的是，这里确定的栅线基准宽度和栅线基准间隔实际上是指电池板上某一方向上的栅线基准宽度和栅线基准间隔，即横向的栅线基准宽度和栅线基准间隔或者是纵向的栅线基准宽度和栅线基准间隔。这里的横向和纵向仅仅是为了区别电池板上两个不同方向的栅线，并不指代栅线实际的方向。所以，在利用公式(1)和(2)计算横向的栅线基准宽度和栅线基准间隔时，参与计算的{w₁，w₂…w_Q}和{D₁，D₂…D_Q-1}是区域j内各横向的栅线宽度以及栅线间隔，而在利用公式(1)和(2)计算纵向的栅线基准宽度和栅线基准间隔时，参与计算的{w₁，w₂…w_Q}和{D₁，D₂…D_Q-1}是区域j内各纵向的栅线宽度以及栅线间隔。

在确定最佳子区域内的栅线基准位置时，是以该最佳子区域内的各个栅线的中心轴线所在的位置作为该栅线的栅线基准位置。这里的栅线的中心轴线是指轴线的长度方向与栅线的长度方向相同，且轴线位于栅线宽度的中央位置。

为了便于理解，最佳子区域的栅线分布情况如图5所示。其中，4表示的是该最佳子区域，5表示的是该最佳子区域内横向的栅线宽度，6表示的是该最佳子区域内横向的栅线间隔，7表示的是该最佳子区域内横向的栅线基准位置，55表示的是该最佳子区域内纵向的栅线宽度，66表示的是该最佳子区域内纵向的栅线间隔，77表示的是该最佳子区域内纵向的栅线基准位置。在利用上述的公式(1)和(2)来确定栅线基准宽度和栅线基准间隔时，需要分别利用该最佳子区域内横向的栅线宽度和纵向的栅线宽度，来分别确定横向的栅线基准宽度和纵向的栅线基准宽度；分别利用该最佳子区域内横向的栅线间隔和纵向的栅线间隔，来分别确定横向的栅线基准间隔和纵向的栅线基准间隔。而在确定最佳子区域内的栅线基准位置时，需要确定横向的栅线基准位置和纵向的栅线基准位置。

(5-3)根据栅线基准宽度、栅线基准间隔以及该最佳子区域内的栅线基准位置，确定其他子区域内的栅线基准位置，从而得到整个电池板的栅线基准位置和栅线基准宽度。

其中，由于电池板上的栅线分布是均匀的，所以步骤(5-2)中计算的栅线基准宽度、栅线基准间隔适用于整个电池板。因此，可以将步骤(5-2)中计算的栅线基准宽度和栅线基准间隔作为整个电池板的栅线基准宽度和栅线基准间隔，同时，结合该最佳子区域内的栅线基准位置，可以推算出其他子区域内的栅线基准位置以确定整个电池板的栅线基准位置。而在推算其他子区域内的栅线基准位置时，是以横向的栅线基准宽度和栅线基准间隔以及该最佳子区域内横向的栅线基准位置来确定其他子区域内横向的栅线基准位置，以纵向的栅线基准宽度和栅线基准间隔以及该最佳子区域内纵向的栅线基准位置来确定其他子区域内纵向的栅线基准位置。

在本实施例中，在确定其他非最佳子区域内的栅线基准位置时，是以最佳子区域内四周最边缘的横向或纵向的栅线基准位置为基准，然后按照与该栅线基准位置垂直且远离最佳子区域内的方向，每次平移横向的栅线基准宽度与栅线基准间隔之和或纵向的栅线基准宽度与栅线基准间隔之和个单位来确定。当然，作为其他的实施方式，在确定其他非最佳子区域内的栅线基准位置时，也可以以最佳子区域内的其他栅线基准位置为基准，然后结合栅线基准宽度和栅线基准间隔来确定。

(6)根据电池板的栅线基准位置和栅线基准宽度，对初始电池板栅线进行修正，得到实际的电池板栅线图像。

其中，在知道电池板的栅线基准位置的情况下，将该栅线基准位置与初始电池板栅线进行一一对照，然后在初始电池板栅线中以栅线基准位置为实际栅线的中心，以栅线基准宽度为实际栅线的宽度，对在初始电池板栅线进行裁剪，即裁剪后得到的栅线的中心线为栅线基准位置，栅线的宽度为栅线基准宽度。通过裁剪，可以将基于相位分析导致部分受噪声影响的栅线过粗的部分删除，得到优化之后的栅线，从而实现对栅线的准确提取，得到实际的电池板栅线图像。

(7)根据得到的实际的电池板栅线图像，确定电池板栅线的断栅情况。

其中，在得到的实际的电池板栅线图像之后，按照设定的转换方式将提取的电池板栅线转换到三维空间中，并将检测结果显示在BIM系统中，用于直观显示电池板的断栅情况，对于断栅的电池板生成提示任务，以便于工作人员及时进行维修更换，防止因断栅引起的电池板发电功率降低的问题，具体实现过程如下：

(7-1)在得到的实际的电池板栅线图像之后，在图像中可识别出每条栅线的实际长度。同时，将得到的实际的电池板栅线图像中的栅线映射到三维空间，每条栅线在该三维空间中对应一个点，该点的x和y轴坐标为栅线的霍夫空间坐标，用于表征栅线的位置信息，该点的z轴坐标为栅线的实际长度，并利用光伏电站BIM对该三维空间进行可视化显示。

(7-2)为了确定每条栅线的断栅情况，并断栅的情况下及时对工作人员进行提醒，以便对该区域内电池板栅线进行检查维修，设置栅线长度预设阈值L，若栅线所应对的三维空间中的点的数值不小于阈值L，说明该条栅线完整，光伏电站BIM中的报警系统将显示绿灯；若栅线所应对的三维空间中的点的数值小于阈值L，说明该条栅线不完整，出现断栅情况，光伏电站BIM中的报警系统将显示红灯预警。

上述的基于计算机视觉的光伏电池断栅检测方法能够准确提取电池板栅线图，具有较高的鲁棒性，能够准确快速地实现对光伏电站断栅现象的实时检测。

系统实施例：

本实施例提供了一种基于计算机视觉的光伏电池断栅检测系统，包括实时成像模块、栅线提取模块和断栅检测模块，三个模块两两连接，用于分工实现上述方法实施例中的基于计算机视觉的光伏电池断栅检测方法。其中，实时成像模块主要用于电池板整体图像获取以及将电池板整体图像和断栅检测结果投入到BIM系统中进行断栅显示；栅线提取模块主要用于获取单个电池板表面图像以及电池板栅线的准确提取；断栅检测模块主要用于基于提取的电池板栅线进行断栅情况的判断。

从本质上来讲，实时成像模块、栅线提取模块和断栅检测模块可以看作是一个处理器和存储器，该处理器用于处理存储在存储器中的指令，以实现上述方法实施例中的基于计算机视觉的光伏电池断栅检测方法，由于该检测方法已经在上述的方法实施例中进行详细介绍，此处不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。