阅读说明：本技术 一种搜寻水下失踪者的rov探测系统及探测方法 (ROV detection system and detection method for searching underwater missing person ) 是由 盛明伟 王玮哲 秦洪德 朱仲本 万磊 褚玲怡 李俊 于 2020-06-23 设计创作，主要内容包括：本发明提供一种搜寻水下失踪者的ROV探测系统及探测方法,水下工作部分包括水下主控制系统、水下视觉探测系统、机械臂、水下发声装置、水下声音收集装置。水下主控制系统用来与母船进行信息交互,同时对水下各作业部分进行整体控制。机械臂A用于连接ROV与沉船,同时机械臂A搭载水下发声装置和水下声音接收装置。水下发声装置用于向沉船内失踪人员进行广播。水下声音收集装置用于收集失踪人员反馈的敲击声音和沉船附近的声音,并实时上传到母船上的声音在线处理系统进行处理。机械臂B用于敲击沉船。母船工作部分包括母船主控制系统、视觉观察控制系统和声音在线处理系统。本发明提高救援效率和准确性。(The invention provides an ROV detection system and a detection method for searching an underwater lost person. The underwater main control system is used for carrying out information interaction with the mother ship and simultaneously carrying out overall control on all underwater operation parts. The mechanical arm A is used for connecting the ROV and the sunken ship, and meanwhile, the mechanical arm A carries the underwater sound generating device and the underwater sound receiving device. The underwater sound production device is used for broadcasting to the missing person in the sunken ship. The underwater sound collecting device is used for collecting knocking sound fed back by the missing person and sound near the sunken ship and uploading the knocking sound and the sound near the sunken ship to the sound online processing system on the mother ship in real time for processing. The mechanical arm B is used for knocking the sunken ship. The mother ship working part comprises a mother ship main control system, a visual observation control system and a sound online processing system. The invention improves the rescue efficiency and accuracy.)

一种搜寻水下失踪者的ROV探测系统及探测方法

技术领域

本发明涉及一种搜寻水下失踪者的ROV探测系统及探测方法，属于水下探测救援领域。

背景技术

地球表面大约有71％的水，水的覆盖面积远远大于陆地面积，所以合理开发和利用水资源是最具现实意义和最具发展潜力的资源利用方式。在利用水资源的时候我们不难发现，无论是水上作业还是水下作业，往往都需要各种舰船作为载体。随着经济和技术的不断发展，造船技术愈加成熟，但是机械故障和自然灾害还是会导致沉船事故的发生。事故发生的突然性可能会使一部分人来不及逃生，被困在船体内部，与船体一起沉入水底，为了确认这些失踪人员的具***置等信息，往往要求救援人员下到事发水域底部进行人工探测。救援人员所需装备过多携带不便而且还要经常面对事发区域环境恶劣等水下的未知危险，这些问题都会影响救援的进展，不利于救援进行。为了保障救援人员安全，提高救援效率，加快救援进度和准确性，可以利用无人遥控潜水器进行救援。

无人遥控潜水器(Remote Operated Vehicle，ROV)具有操纵灵活、经济性好等优点,能够完成对港口码头、海洋结构物、海底地形等的观察任务,能够携带相对完整的设备进行实时探测，可以代替潜水员进入危险环境或深水环境工作,在各个领域都展示了长远的应用前景。例如4500米级深海作业系统“海马”号于2014年在南海顺利进行综合海试实验并交付使用，可完成海底管道维护、海底观测网设备仪器的布放与回收等水下作业任务。本发明提出了一种基于声音反馈搜寻水下失踪者的ROV探测系统，采集声音后通过深度学习和人工识别结合的方式实现对被困失踪者的探测。

发明内容

本发明提出一种适用于水下机器人在海洋、湖泊、河流等灾害区域的基于声音反馈搜寻水下失踪者的ROV探测系统及探测方法，使用ROV代替人类潜入水底，敲击船体，采集声音信息后通过脐带缆上传到母船进行人机协同的实时探测，可获得是否存在失踪人员、失踪人员位置等多种探测结果，提高救援效率和准确性。

本发明的目的是这样实现的：包括水下工作部分和母船工作部分，所述水下工作部分包括水下主控制系统、水下视觉探测系统、机械臂、水下发声装置、水下声音收集装置；所述母船工作部分包括母船主控制系统、视觉观察控制系统和声音在线处理系统；水下工作部分和母船工作部分通过脐带缆进行连接，将水下工作部分采集到的视频信息实时上传到母船视觉观察控制系统，将水下工作部分收集的声音数据实时上传到母船声音在线处理系统。

本发明还包括这样一些结构特征：

1.所述水下主控制系统用来与母船进行信息交互，同时对水下各作业部分进行整体控制，发送水下作业指令；所述水下视觉探测系统包括水下高清网络摄像机和水下LED灯，水下高清网络摄像机用于对水下环境进行拍摄，将视频流通过***向母船主控制系统进行传输，使母船上工作人员能够实时地观察ROV作业环境以及机械臂正常工作状态，水下LED灯用于提供辅助光源；所述机械臂共有两根，机械臂A尾部安装有吸附装置，用于连接ROV与沉船，同时机械臂A搭载水下发声装置和水下声音接收装置；机械臂B采用挥臂式敲击方式或在机械臂B尾部搭载敲击装置敲击沉船；所述水下发声装置用于向沉船内失踪人员进行广播，引导失踪人员在机械臂进行敲击后，以有规律地敲击船体的方式进行回应，配合救援行动；所述水下声音收集装置用于收集失踪人员反馈的敲击声音和沉船附近的声音，通过网络交换机和***将音频实时上传到母船上的声音在线处理系统进行处理。

2.所述网络交换机是一个扩大网络的器材，能为子网络中提供更多的连接端口，以连接水下主控制系统、水下视觉探测系统、水下发声装置、水下声音收集装置。

3.所述母船主控制系统用于接收ROV传输的信息和向ROV发送指令；所述视觉观察控制系统包括操作台和显示器，用于实时显示水下情况，使母船上工作人员能够实时监控水下情况并对ROV进行远程操控；所述声音在线处理系统的处理方法包括计算机深度学习模型匹配与人工在线监听识别，进行对声音文件的人机协同识别。

4.声音在线处理系统中计算机对声音的识别检测采用深度学习方法：预先采集多种情况下敲击不同船体材料的声音，训练声音识别的深度学习模型，救援时在声音在线处理系统中利用该模型对采集到的声波特征进行匹配和对比，对疑似失踪者敲击声音的高置信度位置进行标记并保存，结合母船上工作人员对声音信息的人工监听结果，以计算机计算结果的权重为α，人工监听结果的权重为β，同时α+β＝1，进行整体计算得到最后结果γ，设定一个阈值，若γ大于或等于该阈值时，则判定存在失踪人员；若γ小于该阈值时，则不存在失踪人员。

5.一种搜寻水下失踪者的ROV探测方法，依据搜寻水下失踪者的ROV探测系统，步骤如下：

步骤一：水下主控制系统发送上电指令，向水下视觉探测系统、机械臂、水下发声装置、水下声音收集装置等各部分所属的设备通电；

步骤二：在抵达沉船附近区域后，母船上工作人员通过高清网络摄像机拍摄的实时画面进行观察，操纵ROV接近沉船，控制机械臂A抵近沉船船体，启动吸附装置，将机械臂A固定在沉船船体上；启动水下声音接收装置，对沉船附近的声音进行采集，启动水下发声装置向沉船内遇险人员进行30秒的广播，广播内容为引导失踪人员在机械臂B进行敲击后，以有规律地敲击船体的方式进行回应；在广播播放完毕后等待半分钟，启动机械臂B对沉船船体进行有规律的敲击，敲击结束后，原地等待数分钟，整个过程中保持水下声音接收装置开启并持续收集附近范围内的声音信息；

步骤三：将收集到的声音信息实时上传到母船的声音在线处理系统，进行人机协同检测；声音在线处理系统中的计算机利用已经训练好的深度学习模型对声音进行实时分析比对，根据检测结果的置信度判断是否为失踪人员，将可疑位置进行标记并保存；母船上的工作人员同时对水下声音进行人工监听，判断是否存在人为敲击声并记录结果；将两种检测结果结合，如果显示搜集到人为敲击信息则进行步骤四；如果显示未搜集到人为敲击信息则重复一次步骤二，若重复后显示仍未搜集到人为敲击信息则进行步骤四；

步骤四：在母船上的声音在线处理系统检测结束后，关闭吸附装置，断开机械臂与沉船船体的连接，由工作人员操控ROV按顺时针或逆时针顺序移动到沉船其他位置，重复步骤二与步骤三，直到绕船体一周后停止；将探测到的高置信度可疑位置进行记录，以便在进一步救援中对该位置点进行破拆；

步骤五：任务结束，对ROV进行回收。

与现有技术相比，本发明的有益效果是：本发明的基于声音反馈搜寻水下失踪者的ROV探测系统，使用机械臂上的吸附装置连接ROV与沉船，保证ROV在波浪等恶劣环境中或在自身挥臂动作时都能保持与沉船的相对位置。本发明的基于声音反馈搜寻水下失踪者的ROV探测系统采用深度学习方法，同时配合人工检测，利用所占权重计算相应结果，提高救援效率和准确性。本发明的基于声音反馈搜寻水下失踪者的ROV探测系统，可以同时使用多ROV协同探测模式，布放多个ROV包围沉船进行探测，进一步缩短救援时间。

由于导致失事船沉没的水域，大多数水下环境状况恶劣，为了防止ROV在作业过程中因为可能存在的暗流或自身做挥臂动作时导致与沉船的相对位置产生巨大偏移，所以设计利用机械臂将ROV与沉船船体相连。同时可以选择在ROV本体上加装一个水下声音收集装置，对沉船附近的声音进行监听，防止遗漏有价值的声音信息。对于发现疑似被困人员时的ROV作业位置，可以利用ROV所搭载的深度计，DVL，罗经和惯导等设备，通过推位导航计算得到，并结合USBL超短基线定位对ROV位置进行辅助定位，以此提高疑似失踪人员的定位精度并进行记录，为下一步救援破拆作业的位置提供依据。本发明为提高效率，缩短搜索探测时间，可以同时使用多ROV协同探测模式，布放多个ROV包围沉船进行探测，将多ROV上传的声音信号在线进行融合处理，利用检测结果的置信度高低进行排序，尽快确认失踪者位置。

附图说明

图1为ROV系统示意图。

图2为ROV作业模式流程图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

如图1所示，一种基于声音反馈搜寻水下失踪者的ROV探测系统，包括水下工作部分和母船工作部分。所述水下工作部分包括水下主控制系统、水下视觉探测系统、机械臂、水下发声装置、水下声音收集装置。所述水下主控制系统用来与母船进行信息交互，同时对水下各作业部分进行整体控制，发送水下作业指令。所述水下视觉探测系统包括水下高清网络摄像机和水下LED灯。水下高清网络摄像机用于对水下环境进行拍摄，将视频流通过***向母船主控制系统进行传输，使母船上工作人员能够实时地观察ROV作业环境以及机械臂正常工作状态，水下LED灯用于提供辅助光源。所述机械臂共有两根，机械臂A尾部安装有吸附装置，用于连接ROV与沉船，同时机械臂A搭载水下发声装置和水下声音接收装置。所述水下发声装置用于向沉船内失踪人员进行广播，引导失踪人员在机械臂进行敲击后，以有规律地敲击船体的方式进行回应，配合救援行动。所述水下声音收集装置用于收集失踪人员反馈的敲击声音和沉船附近的声音，通过网络交换机和***将音频实时上传到母船上的声音在线处理系统进行处理。机械臂B采用挥臂式敲击方式或在机械臂B尾部搭载敲击装置敲击沉船。所述网络交换机是一个扩大网络的器材，能为子网络中提供更多的连接端口，以便连接水下主控制系统、水下视觉探测系统、水下发声装置、水下声音收集装置。所述母船工作部分包括母船主控制系统、视觉观察控制系统和声音在线处理系统。所述母船主控制系统用于接收ROV传输的信息和向ROV发送指令。所述视觉观察控制系统包括操作台和显示器，用于实时显示水下情况，使母船上工作人员能够实时监控水下情况并对ROV进行远程操控。所述声音在线处理系统的处理方法包括计算机深度学习模型匹配与人工在线监听识别，进行对声音文件的人机协同识别，提高判断的效率和准确性。所述探测系统中水下工作部分和母船工作部分通过脐带缆进行连接，将水下工作部分采集到的视频信息实时上传到母船视觉观察控制系统，将水下工作部分收集的声音数据实时上传到母船声音在线处理系统。

如图2所示，一种基于声音反馈搜寻水下失踪者的ROV探测系统工作过程如下：

步骤一：水下主控制系统发送上电指令，向水下视觉探测系统、机械臂、水下发声装置、水下声音收集装置等各部分所属的设备通电。

步骤二：在抵达沉船附近区域后，母船上工作人员通过高清网络摄像机拍摄的实时画面进行观察，操纵ROV接近沉船，控制机械臂A抵近沉船船体，启动吸附装置，将机械臂A固定在沉船船体上。启动水下声音接收装置，对沉船附近的声音进行采集，启动水下发声装置向沉船内遇险人员进行30秒的广播，广播内容为引导失踪人员在机械臂B进行敲击后，以有规律地敲击船体的方式进行回应。在广播播放完毕后等待半分钟，启动机械臂B对沉船船体进行有规律的敲击，敲击结束后，原地等待数分钟，整个过程中保持水下声音接收装置开启并持续收集附近范围内的声音信息。

步骤三：将收集到的声音信息实时上传到母船的声音在线处理系统，进行人机协同检测。声音在线处理系统中的计算机利用已经训练好的深度学习模型对声音进行实时分析比对，根据检测结果的置信度判断是否为失踪人员，将可疑位置进行标记并保存。母船上的工作人员同时对水下声音进行人工监听，判断是否存在人为敲击声并记录结果。将两种检测结果结合，如果显示未搜集到人为敲击信息则再次重复一次步骤二，若仍未收到则转到步骤四。

步骤四：为了对整个沉船进行完整探测，在母船上的声音在线处理系统检测结束后，关闭吸附装置，断开机械臂与沉船船体的连接，由工作人员操控ROV按顺时针或逆时针顺序移动到沉船其他位置，重复步骤二与步骤三，直到绕船体一周后停止。将探测到的高置信度可疑位置进行记录，以便在进一步救援中对该位置点进行破拆。

步骤五：任务结束，对ROV进行回收。

所述的一种基于声音反馈搜寻水下失踪者的ROV探测系统，由于导致失事船沉没的水域，大多数水下环境状况恶劣，为了防止ROV在作业过程中因为可能存在的暗流或自身做挥臂动作时导致与沉船的相对位置产生巨大偏移，所以设计利用机械臂将ROV与沉船船体相连。同时可以选择在ROV本体上加装一个水下声音收集装置，对沉船附近的声音进行监听，防止遗漏有价值的声音信息。

所述的一种基于声音反馈搜寻水下失踪者的ROV探测系统，其中的声音在线处理系统中计算机对声音的识别检测采用深度学习方法。预先采集多种情况下敲击不同船体材料的声音，训练声音识别的深度学习模型，救援时在声音在线处理系统中利用该模型对采集到的声波特征进行匹配和对比，对疑似失踪者敲击声音的高置信度位置进行标记并保存，结合母船上工作人员对声音信息的人工监听结果，以计算机计算结果的权重为α，人工监听结果的权重为β，同时α+β＝1，进行整体计算得到最后结果γ，设定一个阈值，若γ大于该值，则存在失踪人员。以此实现人机协同作业，提高判断的效率和准确性。

所述的一种基于声音反馈搜寻水下失踪者的ROV探测系统，对于发现疑似被困人员时的ROV作业位置，可以利用ROV所搭载的深度计，DVL，罗经和惯导等设备，通过推位导航计算得到，并结合USBL超短基线定位对ROV位置进行辅助定位，以此提高疑似失踪人员的定位精度并进行记录，为下一步救援破拆作业的位置提供依据。

所述的一种基于声音反馈搜寻水下失踪者的ROV探测系统，为提高效率，缩短搜索探测时间，可以同时使用多ROV协同探测模式，布放多个ROV包围沉船进行探测，将多ROV上传的声音信号在线进行融合处理，利用检测结果的置信度高低进行排序，尽快确认失踪者位置。

综上，本发明涉及水下探测救援领域，是一种适用于ROV在海洋、湖泊、河流等灾害区域的基于声音反馈搜寻水下失踪者的ROV探测系统及其对应的探测方法，包括水下工作部分和母船工作部分并通过脐带缆进行连接。水下工作部分包括水下主控制系统、水下视觉探测系统、机械臂、水下发声装置、水下声音收集装置。水下主控制系统用来与母船进行信息交互，同时对水下各作业部分进行整体控制。水下视觉探测系统包括水下高清网络摄像机和水下LED灯，用于对水下环境进行拍摄，将视频流实时上传到母船主控制系统。机械臂共有两根，机械臂A用于连接ROV与沉船，同时机械臂A搭载水下发声装置和水下声音接收装置。水下发声装置用于向沉船内失踪人员进行广播。水下声音收集装置用于收集失踪人员反馈的敲击声音和沉船附近的声音，并实时上传到母船上的声音在线处理系统进行处理。机械臂B用于敲击沉船。母船工作部分包括母船主控制系统、视觉观察控制系统和声音在线处理系统。母船主控制系统用于接收ROV传输的信息和向ROV发送指令。视觉观察控制系统包括操作台和显示器，使母船上工作人员能够实时监控水下情况并对ROV进行远程操控。声音在线处理系统的处理方法包括计算机深度学习模型匹配与人工在线监听识别，进行对声音文件的人机协同识别，提高判断的效率和准确性。