具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

本实施例公开了一种船载摄像头的单目水面目标分割及单目测距方法，如图1所示，至少包括如下步骤：

步骤S1、从船载摄像头拍摄的视频流中按帧读取图像。

其中，所述船载摄像头的安装位置固定，但其视场角和俯仰角可自由调整。

步骤S2、从步骤S1中抽取关键帧，针对抽取的关键帧，对所有出现在视觉范围内的环境进行目标检测，从中筛选出目标。

具体地，目标检测是采用基于深度卷积神经网络的目标检测算法Faster R-CNN处理图像，其网络结构包括RPN和Fast R-CNN两个部分，其中，RPN用于预测输入图像中可能包含目标的候选区域，Fast R-CNN用于分类RPN预测的候选区域。

针对目标的检测，本实施例选用的是数据集为实拍的某一湖泊中的模拟目标移动的图片数据集。实现前将采集的数据集中的一部分目标图像作为训练数据集，另一部分作为测试集。本实施例中选用的预训练模型为ResNet50，RPN在训练阶段进行端到端训练，Faster R-CNN网络中初始学习率为0.0003，迭代20000次。

具体地，通过基于深度卷积神经网络的目标检测算法Faster R-CNN进行目标检测的步骤包括：

1)采用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数，微调RPN网络参数的目的是初始化前置卷积网络层参数促使生成的若干候选区域偏向于目标特征。

2)采用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤1)中的RPN网络提取候选区域，训练目标检测网络。

3)采用步骤2)中训练好的目标检测网络重新初始化并微调RPN网络参数，这样可以削减一些与目标特征相关性不大的候选区域，同时调整候选区域的位置，使其与真实目标框的偏差最小，得到新的RPN网络。

4)采用步骤3)中的RPN网络提取候选区域，并对步骤2)中训练好的目标检测网络参数进行微调，以加强真实目标框效果。

5)重复步骤3)和步骤4)，直至达到最大迭代次数或网络收敛。

步骤S3、基于筛选出的目标和实际的应用场景，进行二维边界框框定和图像分割，获取当前视频帧中目标信息。

针对目标被水柱水雾遮挡的情况，为解决这一问题，本实施例提出一种采用实例分割网络进行图像分割，即基于区域协方差引导的卷积神经网络算法，用于分割出被水柱水雾遮挡的显著目标。由于显著性目标检测是模拟人眼视觉注意力机制所提出的一种以人眼最感兴趣区域为检测对象的研究，在背景较为单一的船舶水面航行场景，目标即为显著目标，检测后返回显著目标的边界框即可获取目标信息。

所述基于区域协方差引导的卷积神经网络算法包括如下步骤：

1)以像素为单元提取关键帧的低级特征；

2)以多维特征向量为基础构造区域协方差；

3)以协方差矩阵为训练样本构造卷积神经网络模型；

4)基于局部和全局对比度原则计算图像显著性；

5)框出显著的目标，获取目标信息。

步骤S4、根据激光测距获取的摄像头到目标底部的距离数据以及步骤S3获取的目标信息，计算目标对应的传感器系数。

本实施例中，需要根据实例分割网络获取的目标位置信息，进行坐标系转换后，再结合激光测距获取的距离数据从而计算出目标对应的传感器系数，其中所述坐标系转换包括从世界坐标系转换为相机坐标系，从相机坐标系转换为图像坐标系，再从图像坐标系转换为像素坐标系。

具体地，设目标在世界坐标系中的某一特征点的坐标为(X_w，Y_w,Z_w)。相机坐标系也是一个三维直角坐标系，定义为(X_C，Y_C，Z_C)。相机坐标系的原点是镜头的光心，X、Y轴分别与相面的两边平行，Z轴为镜头的光轴，与像平面垂直。从世界坐标系到相机坐标系的转换公式为：

其中，R为3×3的旋转矩阵，t为3×1的平移矩阵。

从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D，相机坐标系中对应特征点的坐标为(X，Y)，其中相机坐标系坐标原点为摄像机光轴与图像坐标系的交点位置。从相机坐标系到图像坐标系的转换公式为：

其中，f为相机的焦距。

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样，其中图像坐标系的原点为相机光轴与成像平面的交点，像素坐标系中对应的特征点坐标(u，v)。从图像坐标系到像素坐标系的转换公式为：

其中，d_x、d_y分别是每个像素在图像平面x轴和y轴方向上的物理尺寸，u₀、v₀是图像坐标系原点在像素坐标系中的坐标。

综上所述，某个特征点的世界坐标到像素坐标的关系如下：

通过上述世界坐标到像素坐标的关系，由实例分割网络获得船舶位置信息计算得到船舶的高度，再结合激光测得的距离数据，从而计算对应目标的传感器系数。

步骤S5、建立几何关系测距模型，如图2所示，根据几何关系测距模型，并利用步骤S4得到的目标对应的传感器系数，计算目标与单目摄像头之间的水平距离。

具体地，将单目摄像头固定放置在船舶的甲板上，所测目标所处位置为A，其中d为目标到相机的水平距离O"A，H为目标到相机的竖直距离OO"，pitch为船载摄像头拍摄目标时的俯仰角，k为传感器系数，i为被测物在感光元件CCD或者CMOS上的像长，h为测量目标在界面的像素高度大小，f为相机的焦距，其中L为CMOS靶面的对角线长度，已知所用相机为1/2CMOS，即其中δ为视场角)；

由图2可以推导出公式1：

已知α＝pitch，β＝α+γ；

则公式2：

公式3：

公式4：

公式5：

公式6：

上述，i为被测物在感光元件CCD或者CMOS上的像长，而我们看到的是显示屏上图像的像长，这二者之间存在转换关系，引入传感器系数k，表示显示屏上物体的像长与感光元件上物体的像长之比，所以i由k*h替换，即船载摄像头与目标之间的水平距离：

步骤S6、根据步骤S5得到的目标与单目摄像头之间的水平距离，建立视场角优化模型进行视场角优化，获得目标与单目摄像头之间的距离。

具体地，采用视场角优化模型进行视场角优化具体如下：

在光学系统中，镜头孔径限制成像光束半径、摄像镜头的视场光栅一般位于镜头内部，视场形状为圆形，因而实际成像平面位于小孔成像模型的成像平面较近，但其成像大小仍具有比例关系。

根据数学三角关系，视场角δ、视场平面距离h₁与理想成像焦距h₂之间的关系可表述为：

其中，α为pitch俯仰角，μ为视场角顶点间距系数；

以上述公式为基础，可把固定视场角-焦距关系推广为视场角-焦距平面，带入原公式可得：

将f^*带入上述的公式1中，重新计算目标与单目摄像头之间的水平距离，然后用如下公式计算目标与单目摄像头之间的距离：

本实施例的实现效果图参考图3，图3列举了(a)、(b)、(c)、(d)4个图，可以看到使用模拟目标运动测试得到不同位置的距离数值，分别为23.4m、23.2m、29.4m、25.5m。

本实施例在具体实施过程中，针对模拟目标得到的传感器系数k＝1.7e-6，计算得到的目标与单目摄像头之间的距离X，再与激光测距的数值进行比较，计算绝对误差，结果参考图4，图4示出了距离分别为25.2m、28.1m和29.6m的三个数据，可以看出，与激光测距的数值进行比较后，三个距离的绝对误差均在5％以内，符合应用要求。

由于船舶搭载单目摄像头的安装位置固定，所以船舶搭载单目摄像头的高度H是固定的，同时船舶搭载单目摄像头的参数是固定的。本发明的测距误差不会根据外界环境变化而变化。

本发明所述的方法根据船舶搭载单目摄像头实际水面测距场景，建立了船舶水面测距的模型；其次，通过船载摄像头进行水面场景的目标检测和实例分割得到目标信息；再而，结合测量数据计算对应目标的传感器系数；然后，通过得到的传感器系数以及几何关系测距模型，计算目标与船载单目摄像头之间的水平距离；最后，利用视场角优化模型，进一步计算目标与船载摄像头之间的距离。实际测量结果表明该方法具有较高的准确性；且通过本发明的方法测距时，可以实时从目标框中获取目标的高度像素大小，并实时将距离结果显示在图像上，具有较高的实时性。另外，在采用本发明进行实际的船舶目标测距时，不需要知道所测物体的高度或者宽度，只需要知道相机的内外参，测距准备工作和原理都简单方便，并且泛化能力较强，测距精度高，同时受到外界因素的影响较小。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。