船舶用物标检测系统及方法、可信度推定装置、以及程序

文档序号:420484 发布日期:2021-12-21 浏览:8次 >En<

阅读说明:本技术 船舶用物标检测系统及方法、可信度推定装置、以及程序 (Ship object detection system, ship object detection method, reliability estimation device, and program ) 是由 原裕一 坂本雅树 于 2021-06-17 设计创作,主要内容包括:本发明提供一种使推定物标的存在可信度变得容易的船舶用物标检测系统。船舶用物标检测系统具有:多个候补数据生成部,分别生成物标候补数据,该物标候补数据包含在船舶的周围存在的物标候补的位置数据;同一候补选出部,基于位置数据,从由多个所述候补数据生成部分别生成的物标候补数据,选出表示同一物标候补的多个物标候补数据;以及存在可信度计算部,基于多个候补数据生成部中的、生成了选出的多个物标候补数据的多个候补数据生成部的属性,计算同一物标候补的存在可信度。(The invention provides a marine object detection system which facilitates the reliability of the existence of an estimated object. The marine object detection system comprises: a plurality of candidate data generating units each generating target candidate data including position data of target candidates present around the ship; a same candidate selecting unit that selects a plurality of target candidate data indicating the same target candidate from the target candidate data generated by the plurality of candidate data generating units, respectively, based on the position data; and a presence reliability calculation unit that calculates the presence reliability of the same target candidate based on the attributes of the plurality of candidate data generation units that generate the selected plurality of target candidate data.)

船舶用物标检测系统及方法、可信度推定装置、以及程序

技术领域

本发明涉及船舶用物标检测系统、船舶用物标检测方法、可信度推定装置、以及程序。

背景技术

在专利文献1中公开了如下内容:ARPA雷达装置并载船舶的AIS装置经由接口与ARPA雷达装置连接,时刻对接收的附近船舶的动态信息和从ARPA雷达装置获取的雷达符号信息进行比较,将不具有被认定为规定匹配的动态信息的雷达符号信息作为发送停止警戒信息,将不具有被认定为规定匹配的雷达符号信息的动态信息作为无实体通报警戒信息,通过显示装置显示这些警戒信息而使使用者警戒,并且将所述警戒信息变换为通报而向附近船舶发送。

专利文献1:日本特许第3794641号公报

然而,例如雷达将存在于本船的周围的船舶、浮标、陆地、冰山、浮动集装箱等作为物标进行检测,但另一方面,有时甚至会检测到噪声等不适合作为物标的物体。

发明内容

本发明是鉴于上述问题而完成的,其主要目的在于提供一种易于推定物标的存在可信度的船舶用物标检测系统、船舶用物标检测方法、可信度推定装置以及程序。

为了解决上述问题,本发明的一个方式的船舶用物标检测系统,具有:多个候补数据生成部,分别生成物标候补数据,该物标候补数据包含在船舶的周围存在的物标候补的位置数据;同一候补选出部,基于所述位置数据,从由多个所述候补数据生成部分别生成的所述物标候补数据,选出表示同一物标候补的多个物标候补数据;以及存在可信度计算部,基于多个所述候补数据生成部中的、生成了所述选出的多个物标候补数据的多个候补数据生成部的属性,计算所述同一物标候补的存在可信度。

另外,本发明的另一方式的船舶用物标检测方法,通过多个候补数据生成部分别生成物标候补数据,该物标候补数据包含在船舶的周围存在的物标候补的位置数据,基于所述位置数据,从由多个所述候补数据生成部分别生成的所述物标候补数据,选出表示同一物标候补的多个物标候补数据,基于多个所述候补数据生成部中的、生成了所述选出的多个物标候补数据的多个候补数据生成部的属性,计算所述同一物标候补的存在可信度。

另外,本发明的另一方式的可信度推定装置,具有:候补数据获取部,获取由多个候补数据生成部分别生成的、包含在船舶的周围存在的物标候补的位置数据的物标候补数据;同一候补选出部,基于所述位置数据,从由多个所述候补数据生成部分别生成的所述物标候补数据,选出表示同一物标候补的多个物标候补数据;以及存在可信度计算部,基于多个所述候补数据生成部中的、生成了所述选出的多个物标候补数据的多个候补数据生成部的属性,计算所述同一物标候补的存在可信度。

另外,本发明的另一方式的程序,用于使计算机执行以下内容:获取由多个候补数据生成部分别生成的、包含在船舶的周围存在的物标候补的位置数据的物标候补数据;基于所述位置数据,从由多个所述候补数据生成部分别生成的所述物标候补数据,选出表示同一物标候补的多个物标候补数据;以及基于多个所述候补数据生成部中的、生成了所述选出的多个物标候补数据的多个候补数据生成部的属性,计算所述同一物标候补的存在可信度。

根据本发明,使推定物标的存在可信度变得容易。

附图说明

图1是表示实施方式的船舶用物标检测系统的结构例的图。

图2是表示实施方式的可信度推定装置的结构例的图。

图3是表示雷达用候补管理DB的例子的图。

图4是表示AIS用候补管理DB的例子的图。

图5是表示声呐用候补管理DB的例子的图。

图6是表示图像用候补管理DB的例子的图。

图7是表示共通候补管理DB的例子的图。

图8是表示实施方式的船舶用物标检测方法的步骤例的图。

附图标记说明

1:可信度推定装置、2:雷达、3:雷达、4:AIS、5:声呐、6:图像传感器、7:显示装置、8:GNSS接收机、9:陀螺罗盘、10:ECDIS、11:无线通信部、12:自动操舵装置、21:候补数据获取部、22:同一候补选定部、23:存在可信度计算部、24:类别可信度计算部、25:物标识别部、26:指示接受部、27:避航计算部、28:船舶控制部、31:雷达用候补管理DB、32:AIS用候补管理DB、33:声呐用候补管理DB、34:图像用候补管理DB、35:共通候补管理DB、100:船舶用物标检测系统

具体实施方式

以下,参照附图对本发明的实施方式进行说明。

图1是表示船舶用物标检测系统100的结构例的框图。船舶用物标检测系统100搭载于船舶,是用于检测存在于本船的周围的物标(目标)的系统。

船舶用物标检测系统100具有可信度推定装置1、多个雷达2、雷达3、AIS4、声呐5、图像传感器6、显示装置7、GNSS接收机8、陀螺罗盘9、ECDIS10、无线通信部11、以及自动操舵装置12。这些装置与LAN等网络N连接,能够相互进行网络通信。

可信度推定装置1是包括CPU、RAM、ROM、非易失性存储器、以及输入输出接口等的计算机。可信度推定装置1的CPU根据从ROM或非易失性存储器加载到RAM的程序来执行信息处理。

程序可以例如经由光盘或存储器卡等的信息存储介质被供给,也可以例如经由互联网或LAN等通信网络被供给。

在本实施方式中,可信度推定装置1是独立的装置,但不限于此,也可以与ECDIS10等其他装置为一体。即,可信度推定装置1的功能也可以组装于ECDIS10等其他装置。

图2是表示可信度推定装置1的结构例的框图。可信度推定装置1具备候补数据获取部21、同一候补选定部22、存在可信度计算部23、类别可信度计算部24、物标识别部25、指示接受部26、避航计算部27、以及船舶控制部28。这些功能部通过可信度推定装置1的CPU根据程序执行信息处理来实现。

可信度推定装置1还具备雷达用候补管理DB31、AIS用候补管理DB32、声呐用候补管理DB33、图像用候补管理DB34、以及共通候补管理DB35。这些数据库设置在可信度推定装置1的非易失性存储器中。但不限于此,数据库也可以设置在外部,经由通信网络进行访问。

返回图1的说明。雷达2、3从天线发射微波并接收其反射波,基于接收信号生成回波图像。雷达2、3的使用频率例如为X频段(8~12GHz)、S频段(2~4GHz)、或Ka频段(26~40GHz)等。另外,雷达2、3检测表现在回波图像中的物标候补,生成表示物标候补的位置以及速度矢量的物标追踪数据。

AIS(Automatic Identification System:自动识别系统)4从在本船的周围存在的他船接收AIS数据。AIS4是接收他船信息的通信装置的例子。但不限于AIS,也可以使用VDES(VHF Data Exchange System:数据交换系统)。AIS数据例如包括识别码、船名、位置、航向、船速、以及目的地等。

声呐5从设置在船底的超声波振子向周围方向发射超声波,并且接收其反射波,基于接收信号生成回波图像。另外,声呐5检测表现在回波图像中的物标候补,生成表示物标候补的位置的物标追踪数据。该功能也可以由可信度推定装置1来实现。

图像传感器6例如是可见光照相机或红外线照相机等照相机,拍摄船外而生成图像。图像传感器6例如以朝向船头方位的方式设置在本船的桥楼上。图像传感器6也可以构成为根据用户的操作输入进行平移、倾斜、或变焦。

显示装置7是带触摸传感器的显示装置。触摸传感器检测手指等在画面内的指示位置。但不限于触摸传感器,也可以通过轨迹球等来输入指示位置。在显示装置7上显示由图像传感器6拍摄到的图像、或者由雷达2、3或声呐5生成的回波图像等。

GNSS接收机8基于从GNSS(Global Navigation Satellite System:全球导航卫星系统)接收到的电波来检测本船的位置。陀螺罗盘9检测本船的船头方位。但不限于陀螺罗盘,也可以使用GPS罗盘或磁罗盘。

ECDIS(Electronic Chart Display and Information System:电子海图显示与信息系统)10从GNSS接收机8获取本船的位置,将本船的位置显示在电子海图上。另外,ECDIS10在电子海图上也显示按照依次跟踪多个航点的方式设定的预定航线。但不限于ECDIS,也可以使用GNSS绘图仪。

无线通信部11例如包括超短波带、中短波带、短波带的无线设备等实现与他船或陆地的基站通信的各种无线设备。无线通信部11例如访问MICS(Maritime Informationand Communication System:海上信息通信系统)等,获取天气以及潮汐等数据。

自动操舵装置12基于从陀螺罗盘9获取到的船头的方位和从ECDIS10获取到的预定航向,计算用于使船头朝向预定航向的目标舵角,以使操纵机的舵角接近目标舵角的方式驱动操纵机。另外,自动操舵装置12也可以控制本船的发动机。

然而,雷达2、3将存在于本船的周围的船舶、浮标、陆地、冰山、浮动集装箱等作为物标候补进行检测,但另一方面,有时甚至将噪声等不适合作为物标而检测出的物体作为物标候补。基于这样的不适当的物标而进行避航是无意义的,因此确切地掌握物标的存在是重要的。进而,若不仅能够掌握物标的存在还能够掌握物标的类别,则能够进行更有效的避航。

因此,在本实施方式中,利用雷达2、3、AIS4、以及声呐5等多个候补数据生成部,计算存在于本船的周围的物标候补的存在可信度以及类别可信度。

雷达2、3、AIS4、以及声呐5等是生成物标候补数据的候补数据生成部的例子。物标候补数据包括物标候补的位置数据。进而,物标候补数据也可以包括物标候补的类别数据。

具体而言,雷达2、3生成表示物标候补的位置等的物标追踪数据作为物标候补数据。AIS4生成表示他船的位置以及类别的AIS数据作为物标候补数据。声呐5生成表示物标候补的位置等的物标追踪数据作为物标候补数据。

图像传感器6和物标识别部25的组合也是候补数据生成部的例子。通过物标识别部25对由图像传感器6拍摄到的图像内的物标候补进行识别,从而生成物标候补数据。基于图像传感器6的拍摄方向以及图像内的物标候补的位置来计算物标候补的位置。另外,物标识别部25也推定物标候补的类别。

物标识别部25将图像作为输入数据,使用将图像内的物标的范围以及类别作为教导数据(teaching data)并通过机器学习而预先生成的训练模型,推定由图像传感器6拍摄到的图像内的物标候补的范围以及类别。训练模型例如是YOLO(You Only Look Once)或SSD(Single Shot MultiBox Detector)等物体检测模型。

指示接受部26也是候补数据生成部的例子,该指示接受部26接受于显示装置7显示的图像内的物标候补的由用户进行的指示。通过用户指示显示于显示装置7的、由图像传感器6拍摄到的图像内的物标候补,生成物标候补数据。另外,也可以通过用户指示显示于显示装置7的由雷达2、3或声呐5生成的回波图像内的物标候补,生成物标候补数据。

此外,可信度推定装置1也可以经由无线通信部11从他船获取他船中由雷达等生成的物标候补数据,并用于存在可信度等的计算中。在该情况下,无线通信部11是接收他船信息的通信装置的例子,成为候补数据生成部的例子。

作为多个候补数据生成部,为了多边地检测物标候补,优选包含雷达、AIS、声呐、以及图像传感器等中的两种以上。另外,由于雷达在检测物标候补方面比较优异,因此多个候补数据生成部优选包含至少一个雷达。

另外,雷达根据电波的波长而直线度、衰减度等不同,多个候补数据生成部优选包含使用频带不同的多个雷达。但不限于此,多个候补数据生成部也可以是天线的设置场所互相不同的使用频带相同的多个雷达。

此外,由雷达2、3或声呐5生成的物标候补数据一般不包含类别数据,但也可以通过与物标识别部25组合而在物标候补数据中包含类别数据。即,物标识别部25也可以推定在由雷达2、3或声呐5生成的回波图像内表现的物标候补的类别。

在该情况下,物标识别部25将回波图像作为输入数据,使用将回波图像内的物标的范围以及类别作为教导数据并通过机器学习而预先生成的训练模型,对由雷达2、3或声呐5生成的回波图像内的物标候补的范围以及类别进行推定。

图3是表示雷达用候补管理DB31的例子的图。雷达用候补管理DB31是用于管理由雷达2、3生成的物标候补数据的数据库。雷达用候补管理DB31也可以存储于雷达2、3的计算机中。

雷达用候补管理DB31例如包含“候补识别符”、“位置”、“类别”、“速度”、“航向”、“航迹”、“时间”、“尺寸”、“强度”、“属性”、以及“指示”等字段。

“候补识别符”是用于识别物标候补的识别符。“位置”表示物标候补的位置。“类别”表示物标候补的类别。具体而言,“类别”是通过物标识别部25根据回波图像推定出的物标候补的类别。

“速度”、“航向”、“航迹”分别表示物标候补的速度、航向、以及航迹。“时间”表示从物标候补的检测起的经过时间。“尺寸”表示在回波图像中出现的像的大小。“强度”表示反射波的信号强度。

“属性”表示由多个雷达2、3的哪个雷达检测出。“指示”表示由用户在显示于显示装置7的回波图像内进行了指示。

图4是表示AIS用候补管理DB32的例子的图。AIS用候补管理DB32是用于管理由AIS4生成的物标候补数据的数据库。AIS用候补管理DB32也可以存储于AIS4的计算机中。AIS用候补管理DB32包含例如“候补识别符”、“位置”、“类别”、“船名”、“航向”、“速度”、以及“目的地”等字段。

图5是表示声呐用候补管理DB33的例子的图。声呐用候补管理DB33是用于管理由声呐5生成的物标候补数据的数据库。声呐用候补管理DB33也可以存储于声呐5的计算机中。声呐用候补管理DB33包含例如“候补识别符”、“位置”、“类别”、“时间”、“尺寸”、“强度”、以及“指示”等字段。

图6是表示图像用候补管理DB34的例子的图。图像用候补管理DB34是用于管理通过物标识别部25识别由图像传感器6拍摄到的图像内的物标候补而生成的物标候补数据的数据库。图像用候补管理DB34包含例如“候补识别符”、“位置”、“类别”、“速度”、“航向”、“航迹”、“时间”、“尺寸”、以及“指示”等字段。

图7是表示共通候补管理DB35的例子的图。共通候补管理DB35是用于整合地管理上述雷达用候补管理DB31、AIS用候补管理DB32、声呐用候补管理DB33、以及图像用候补管理DB34的上位数据库。共通候补管理DB35包含例如“共通候补识别符”、“候补识别符”、“位置”、“类别”、“属性”、“指示”、“存在可信度”、以及“类别可信度”等字段。

“共通候补识别符”是用于识别共通的物标候补的识别符。通过该共通候补识别符,汇总表示同一物标候补的候补识别符。“位置”表示物标候补的位置。是否表示同一物标候补根据位置是否共同来判定。“类别”表示物标候补的类别。

“属性”表示生产了物标候补数据的候补数据生成部的属性。即,“属性”表示由雷达2、3、AIS4、声呐5、以及图像传感器6等的哪一个检测出。“存在可信度”以及“类别可信度”表示物标候补的存在可信度以及类别可信度(详细后述)。

图8是表示在船舶用物标检测系统100中实现的船舶用物标检测方法的步骤例的流程图。可信度推定装置1按照程序来执行该图所示的信息处理。

首先,可信度推定装置1收集由雷达2、3、AIS4、声呐5、以及图像传感器6等多个候补数据生成部分别生成的物标候补数据(S11:作为候补数据获取部21的处理)。具体而言,可信度推定装置1将分别由雷达用候补管理DB31、AIS用候补管理DB32、声呐用候补管理DB33、以及图像用候补管理DB34管理的物标候补数据整合到共通候补管理DB35。

接着,可信度推定装置1基于物标候补数据所含的位置数据,选出表示同一物标候补的多个物标候补数据(S12:作为同一候补选定部22的处理)。具体而言,可信度推定装置1从整合到共通候补管理DB35的多数个物标候补数据中,选出位置共同的多个物标候补数据作为表示同一物标候补的数据,并对这些物标候补数据分配共通候补识别符。此外,可信度推定装置1还向不存在其他位置共同的物标候补数据的单独的物标候补数据分配共通候补识别符。

接着,可信度推定装置1基于生成了物标候补数据的候补数据生成部的属性,计算物标候补的存在可信度(S13:作为存在可信度计算部23的处理)。即,根据由雷达2、3、AIS4、声呐5、以及图像传感器6等的哪一个生成了物标候补数据,来计算存在可信度。计算出的存在可信度被存储在共通候补管理DB35中。

在多个物标候补数据属于一个共通候补识别符的情况下,可信度推定装置1基于生成了这些物标候补数据的多个候补数据生成部的属性,计算存在可信度。对雷达2、3、AIS4、声呐5、以及图像传感器6等分别分配表示可信度的权重,通过将它们加权来计算存在可信度。

例如,由AIS4生成的物标候补数据(AIS数据)是从他船接收到的与他船相关的数据,因此优选将AIS4的权重设定为比雷达2、3等其他候补数据生成部的权重高。

另外,显示于显示装置7的图像内由用户指示的物标候补数据是实际上由用户识别的物标,因此优选将用户的指示的权重设定得比其他候补数据生成部的权重高。

另外,在雷达2、3的使用频带相互不同的情况下,波长越短,电波的直进性、指向性越高,由于在增益方面也是有利的,因此优选例如将X频段的雷达的权重设定得比S频段的雷达的权重高。

另外,在雷达2、3的天线的设置位置相互不同的情况下,由于天线设置于主立柱等越高的位置,船上遮蔽物越少,因此优选将天线设置于越高的位置,则将雷达的权重设定得越高。

此外,不仅可以基于候补数据生成部的属性,还可以基于物标候补的速度、航迹、时间、尺寸、或强度等,来调整存在可信度。例如,也可以是,物标候补的尺寸越大,移动速度越大,从检测起的经过时间越长,或者检测信号强度越大,则将存在可信度调整得越高。

另外,在物标候补位于本船的预定航线上的情况下,与不位于预定航线上的情况相比,也可以将存在可信度调整得较高。

另外,也可以基于海图、天气、时间、或潮汐等来调整存在可信度。例如,在物标候补在海图上处于陆地部分、海藻网等不可航行区域的情况下,可以将存在可信度调整得较高,也可以在雨天等天气、夜间的情况下,降低图像传感器的权重,提高雷达的权重。

接着,可信度推定装置1基于物标候补数据所含的类别数据以及生成了物标候补数据的候补数据生成部的属性,计算物标候补的类别可信度(S14:作为类别可信度计算部24的处理)。即,根据类别数据的内容以及其类别数据由雷达2、3、AIS4、声呐5、以及图像传感器6等中的哪一个生成的,来计算类别可信度。计算出的类别可信度被存储在共通候补管理DB35中。

例如,由AIS4生成的物标候补数据(AIS数据)包含他船的识别码作为类别数据,因此优选与雷达2、3等其他候补数据生成部相比,类别可信度被评价得较高。

雷达2、3、声呐5、以及图像传感器6的类别数据是由物标识别部25推定的物标候补的类别。物标识别部25例如可以推断与小型船、中型船、大型船、或超大型船等船舶的大小相关的类别,例如也可以推定与游览船、渔船、商船、或油船等船舶的种类相关的类别。另外,物标识别部25也可以推定例如渔网、流木、人、流冰、或浮动集装箱等水上浮游物的种类。

此外,也可以不仅基于物标候补数据所含的类别数据和候补数据生成部的属性,还基于物标候补的航迹、海图上的位置、或潮汐等,来调整类别可信度。例如,在物标候补出入渔港、或者以徘徊的方式航行、不自然地反潮汐的情况下,渔船的可能性高,因此也可以将类别判定为渔船。另外,在物标候补的航向与目的地较大不同的情况下,也可以降低AIS4的类别可信度。

接着,可信度推定装置1基于存储于共通候补管理DB35中的物标候补数据、存在可信度、以及类别可信度,进行基于避航驾船算法的计算,计算避航计划航线(S15:由避航计算部27进行的处理)。

在基于避航驾船算法的计算的结果是需要避航的情况下(S16:是),可信度推定装置1通过自动操舵装置12进行避航控制,以使得本船按照避航计划航线航行(S17:作为船舶控制部28的处理)。

根据以上说明的实施方式,通过利用雷达2、3、AIS4、以及声呐5等多个候补数据生成部,计算存在于本船的周围的物标候补的存在可信度,从而能够确切地掌握物标的存在而进行避航。进而,通过还计算物标候补的类别可信度,能够更有效地进行避航。

此外,单纯从雷达2、3、AIS4、以及声呐5等多个候补数据生成部个别地得到物标候补数据,其结果是必须人来判断其可信度,进而根据状况,可信度可能不同。因此,如本实施方式那样,对于从多个候补数据生成部得到的物标候补数据,综合考虑它们的属性等来进行指标化,能够对人、避航系统进行有效的辅助。

以上,对本发明的实施方式进行了说明,但本发明并不限于以上说明的实施方式,当然本领域技术人员能够进行各种变更。

在上述实施方式中,将由可信度推定装置1计算出的存在可信度以及类别可信度用于避航用途,但不限于此,也可以用于观察用途。具体而言,可信度推定装置1也可以根据存在可信度以及类别可信度来变更物标候补数据的显示方式,从而容易进行观察。

例如,存在可信度越高则使物标候补的标志越明亮,在存在可信度为阈值以下的情况下,也可以不显示物标候补的标志。阈值既可以是固定值,也可以根据天气、时间等状况而变更。

物标候补的标志显示于雷达2、3的画面、ECDIS10、或显示装置7等。另外,也可以在来自显示于显示装置7的图像传感器6的图像上,对物标候补的标志进行AR(AugmentedReality:增强现实)显示。

此外,在计算存在可信度时,如上所述,在物标候补位于本船的预定航线上的情况下,与不位于预定航线上的情况相比,将存在可信度调整得较高,从而,不仅在避航用途中也在观察用途中有用。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种在教练机中虚拟雷达与真实雷达融合使用的方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类