基于ar目镜成像的变电消缺远程视频会诊系统及方法

文档序号:1941750 发布日期:2021-12-07 浏览:20次 >En<

阅读说明:本技术 基于ar目镜成像的变电消缺远程视频会诊系统及方法 (Power transformation defect elimination remote video consultation system and method based on AR eyepiece imaging ) 是由 李新海 曾令诚 曾庆祝 范德和 肖星 孟晨旭 林雄锋 朱浩 刘文平 姚光久 王晓 于 2021-09-22 设计创作,主要内容包括:本申请公开了一种基于AR目镜成像的变电消缺远程视频会诊系统及方法,其方法利用后台会诊中心向主控模块远程发送消缺数据,并通过拾音模块可以采集现场人员的语音信息,利用云端语音识别模块将语音信息进行文本化,并通过主控模块进行关键词提取,以获得语音信息对应的控制指令,依据控制指令开启AR穿透性目镜模块,通过主控模块向AR穿透性目镜模块发送消缺数据,利用AR穿透性目镜模块显示消缺数据,使得画面大屏化,提高佩戴者的便利性,同时,通过使用自由曲面透镜成像,无需佩戴者频繁调整屏幕的位置和场景,提高了消缺作业的安全性及消缺效率。(The application discloses transformer defect elimination remote video consultation system and method based on AR eyepiece imaging, the method utilizes backstage consultation center to send defect elimination data to host system remote, and can gather field personnel&#39;s speech information through the pickup module, utilize high in the clouds speech recognition module to carry out the textization with speech information, and carry out the keyword through host system and draw, in order to obtain the control command that speech information corresponds, open AR penetrability eyepiece module according to control command, send defect elimination data to AR penetrability eyepiece module through host system, utilize AR penetrability eyepiece module to show defect elimination data, make the picture screen enlarging, improve the convenience of the person of wearing, and simultaneously, through using free-form surface lens imaging, need not the position and the scene of the person of wearing frequent adjustment screen, the security and the defect elimination efficiency of the defect elimination operation have been improved.)

基于AR目镜成像的变电消缺远程视频会诊系统及方法

技术领域

本申请涉及电力监测技术领域,尤其涉及一种基于AR目镜成像的变电消缺远程视频会诊系统及方法。

背景技术

变电设备在运行过程中可能会发生各种紧急、重大缺陷,如果不能及时消除该缺陷,可能会引发电力安全事故事件,带来重大经济损失和不良社会影响。

目前紧急重大缺陷消缺工作,主要通过电话、微信、espace进行沟通,上述方式缺乏交互式视频会议专家会诊功能,存在以下问题:

1)应急指挥和检修人员依赖现场运行人员上报缺陷信息,进行消缺准备工作,如果上报信息失准,则会影响消缺进度;

2)检修人员水平不一,现场很难快速查出缺陷原因并消缺,导致缺陷存续时间长,影响设备安全运行;

3)应急指挥、技术技能专家不能实时精确了解现场信息,不利于远程会诊缺陷并指导检修人员消缺。

目前,户外的工作人员在进行变电消缺时,在消缺记录保存,消缺现场处理记录及消缺处理技术求助中,只能通过手机或者拍摄设备进行消缺故障点拍照或录制后回传到后方,然后工作人员又通过手机或者便携设备显示屏画面与后方进行远程会诊,然而,显示屏的不可透光性(需手动调整显示屏观看位置),及小画面的成像低解析度特点,将导致增加现场工作人员在消缺工作中工作繁杂度和观看的困难度,进而降低了消缺作业的安全性及消缺效率。

发明内容

本申请提供了一种基于AR目镜成像的变电消缺远程视频会诊系统及方法,用于解决现有技术中的消缺作业的安全性及消缺效率较低的技术问题。

有鉴于此,本申请第一方面提供了一种基于AR目镜成像的变电消缺远程视频会诊系统,包括:拾音单元、云端语音识别模块、主控模块、通信模块、后台会诊中心和AR穿透性目镜模块;

所述后台会诊中心用于通过所述通信模块向所述主控模块发送消缺数据,所述消缺数据的格式包括图像和文字,所述消缺数据包括消缺目标;

所述拾音单元用于采集现场人员的语音信息,还用于将所述语音信息传输至所述云端语音识别模块;

所述云端语音识别模块用于基于预设的语音-文字数据库对所述语音信息进行文本识别,从而将所述语音信息转换为文本信息,还用于将所述文本信息传输给所述主控模块;

所述主控模块用于对所述文本信息进行关键词提取,从而得到关键词文本,根据所述关键词文本生成控制指令,还用于将所述控制指令通过所述通信模块发送给所述AR穿透性目镜模块,所述控制指令包括开启指令;还用于向所述AR穿透性目镜模块发送所述消缺数据;

所述AR穿透性目镜模块用于当接收所述主控模块的开启指令时,开启AR显示功能,还用于显示所述消缺数据。

优选地,本系统还包括定位模块,用于基于GPS定位所述AR穿透性目镜模块的佩戴者的位置信息,还用于将所述佩戴者的位置信息发送至所述主控模块;

所述主控模块还用于将所述佩戴者的位置信息通过所述通信模块发送给所述后台会诊中心;

所述后台会诊中心用于将所述佩戴者的位置信息与预设的施工地图进行匹配,以确定所述佩戴者在所述预设的施工地图上的位置。

优选地,本系统还包括近电警告模块;所述近电警告模块用于所述AR穿透性目镜模块的佩戴者与带电设备之间距离,还用于当所述距离小于预设的安全距离时,则进行告警。

优选地,本系统还包括摄像模块,所述摄像模块用于采集现场影像,还用于将所述现场影像发送至所述主控模块;

所述主控模块用于将所述现场影像通过所述通信模块发送至所述后台会诊中心。

优选地,本系统还包括存储模块;所述存储模块与所述主控模块连接,用于存储所述语音信息和所述现场影像。

优选地,本系统还包括AR目镜图像处理模块,所述AR目镜图像处理模块包括TMDS差分信号协议、IIC通讯协议、温度采集模块、色彩补偿模块、亮度调节模块和显示缩放模块;

所述AR穿透性目镜模块通过所述TMDS差分信号协议和所述IIC通讯协议与所述主控模块连接;

所述温度采集模块用于采集所述AR穿透性目镜模块的显示工作温度,还用于将所述显示工作温度发送至所述主控模块;

所述主控模块还用于判断所述显示工作温度是否偏离预设的安全温度,若判断所述显示工作温度偏离所述预设的安全温度时,则计算温度偏离值,还用于基于所述温度与色彩的线性关系,根据所述温度偏离值获得色彩偏离值,还用于基于所述色彩偏离值控制所述色彩补偿模块对所述AR穿透性目镜模块的显示色彩进行补偿;

所述亮度调节模块用于对所述AR穿透性目镜模块的显示进行亮度调节;

所述显示缩放模块用于对所述AR穿透性目镜模块的显示区域进行缩放调节。

优选地,本系统还包括电池管理模块,所述电池管理模块与所述主控模块连接,用于为所述主控模块提供电能。

优选地,所述通信模块采用4G通信方式、5G通信方式或射频通信方式。

第二方面,本发明提供了一种基于AR目镜成像的变电消缺远程视频会诊方法,应用上述的基于AR目镜成像的变电消缺远程视频会诊系统,包括以下步骤:

通过后台会诊中心通过通信模块向主控模块发送消缺数据,所述消缺数据的格式包括图像和文字,所述消缺数据包括消缺目标;

通过拾音单元采集现场人员的语音信息,将所述语音信息传输至云端语音识别模块;

通过所述云端语音识别模块基于预设的语音-文字数据库对所述语音信息进行文本识别,从而将所述语音信息转换为文本信息,将所述文本信息传输给所述主控模块;

通过所述主控模块对所述文本信息进行关键词提取,从而得到关键词文本,根据所述关键词文本生成控制指令,将所述控制指令通过所述通信模块发送给AR穿透性目镜模块,从而开启所述AR穿透性目镜模块,并向所述AR穿透性目镜模块发送所述消缺数据;

通过所述AR穿透性目镜模块当接收所述主控模块的开启指令时,开启AR显示功能,显示所述消缺数据。

从以上技术方案可以看出,本发明具有以下优点:

本发明利用后台会诊中心向主控模块远程发送消缺数据,并通过拾音模块可以采集现场人员的语音信息,利用云端语音识别模块将语音信息进行文本化,并通过主控模块进行关键词提取,以获得语音信息对应的控制指令,依据控制指令开启AR穿透性目镜模块,通过主控模块向AR穿透性目镜模块发送消缺数据,利用AR穿透性目镜模块显示消缺数据,使得画面大屏化,提高佩戴者的便利性,同时,通过使用自由曲面透镜成像,无需佩戴者频繁调整屏幕的位置和场景,提高了消缺作业的安全性及消缺效率。

附图说明

图1为本申请实施例提供的一种基于AR目镜成像的变电消缺远程视频会诊系统的结构框图;

图2为本申请实施例提供的一种基于AR目镜成像的变电消缺远程视频会诊方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

目前紧急重大缺陷消缺工作,主要通过电话、微信、espace进行沟通,上述方式缺乏交互式视频会议专家会诊功能,存在以下问题:

1)应急指挥和检修人员依赖现场运行人员上报缺陷信息,进行消缺准备工作,如果上报信息失准,则会影响消缺进度;

2)检修人员水平不一,现场很难快速查出缺陷原因并消缺,导致缺陷存续时间长,影响设备安全运行;

3)应急指挥、技术技能专家不能实时精确了解现场信息,不利于远程会诊缺陷并指导检修人员消缺。

目前,户外的工作人员在进行变电消缺时,在消缺记录保存,消缺现场处理记录及消缺处理技术求助中,只能通过手机或者拍摄设备进行消缺故障点拍照或录制后回传到后方,然后工作人员又通过手机或者便携设备显示屏画面与后方进行远程会诊,然而,显示屏的不可透光性(需手动调整显示屏观看位置),及小画面的成像低解析度特点,将导致增加现场工作人员在消缺工作中工作繁杂度和观看的困难度,进而降低了消缺作业的安全性及消缺效率。

同时,在处理变电站故障的过程中,现场工作人员往往处于高空带电作业状态,过多的操作会分散工作人员的注意力,增加操作难度,从而产生额外的安全风险。同时现有的方案的图像显示将呈现在显示屏中,这将导致显示屏需够长的眼睛(出曈距约为200毫米)出瞳距才可以清晰查看画面,并且成像画面小(3-4英寸),分辨率(一般为800*RGB*480)差等现象出现。这将使得现有设备将变得操作繁琐及体积加大,同时,显示屏还不具备光线透过性,这将阻挡现场工作人员对消缺排除所需要眼睛观察的故障点。这极大的影响到现场消缺效率和增加了现场工作人员安全性,特别是高空作业人员,需要手动调节显示屏的位置。

为此,请见图1,本发明提供的一种基于AR目镜成像的变电消缺远程视频会诊系统,包括:拾音单元100、云端语音识别模块200、主控模块300、通信模块400、后台会诊中心500和AR穿透性目镜模块600;

后台会诊中心500用于通过通信模块400向主控模块300发送消缺数据,消缺数据的格式包括图像和文字,消缺数据包括消缺目标;

需要说明的是,在前期工作中,后台会诊中心500可以通过缺陷诊断,得到消缺目标、消缺方案、设计资料、施工图纸等。

拾音单元100用于采集现场人员的语音信息,还用于将语音信息传输至云端语音识别模块200;

云端语音识别模块200用于基于预设的语音-文字数据库对语音信息进行文本识别,从而将语音信息转换为文本信息,还用于将文本信息传输给主控模块300;

需要说明的是,云端语音识别模块200设置于云端服务器,通过预设的语音转换算法对语音进行语义识别,并通过预设的语音-文字数据库对语义进行文本识别,其中,预设的语音-文字数据库包括语义和文本之间的映射关系。

主控模块300用于对文本信息进行关键词提取,从而得到关键词文本,根据关键词文本生成控制指令,还用于将控制指令通过通信模块400发送给AR穿透性目镜模块600,控制指令包括开启指令;还用于向AR穿透性目镜模块600发送消缺数据;

需要说明的是,主控模块300通过对文本信息进行关键词提取,可以得到若干个关键词,如开启AR穿透性目镜模块600,关闭AR穿透性目镜模块600;而通过关键词可以生成控制指令,将控制指令通过通信模块400发送给AR穿透性目镜模块600,若控制指令为开启指令,则开启AR穿透性目镜模块600,并向AR穿透性目镜模块600发送消缺数据。

AR穿透性目镜模块600用于当接收主控模块300的开启指令时,开启AR显示功能,还用于显示消缺数据。

需要说明的是,本实施例提供了一种基于AR目镜成像的变电消缺远程视频会诊系统,利用后台会诊中心500向主控模块300远程发送消缺数据,并通过拾音模块可以采集现场人员的语音信息,利用云端语音识别模块200将语音信息进行文本化,并通过主控模块300进行关键词提取,以获得语音信息对应的控制指令,依据控制指令开启AR穿透性目镜模块600,通过主控模块300向AR穿透性目镜模块600发送消缺数据,利用AR穿透性目镜模块600显示消缺数据,使得画面大屏化,提高佩戴者的便利性,同时,通过使用自由曲面透镜成像,无需佩戴者频繁调整屏幕的位置和场景,提高了消缺作业的安全性及消缺效率。

在一个具体实施例中,本系统还包括定位模块700,用于基于GPS定位AR穿透性目镜模块600的佩戴者的位置信息,还用于将佩戴者的位置信息发送至主控模块300;

主控模块300还用于将佩戴者的位置信息通过通信模块400发送给后台会诊中心500;

后台会诊中心500用于将佩戴者的位置信息与预设的施工地图进行匹配,以确定佩戴者在预设的施工地图上的位置。

需要说明的是,定位模块700是可以定位佩戴者的所在位置,并将其位置发送至后台会诊中心500,后台会诊中心500可以将佩戴者的所在位置与预设的施工地图上的各个位置进行匹配,以得到佩戴者在预设的施工地图上的位置,从而便于进行缺陷诊断。

在一个具体实施例中,本系统还包括近电警告模块800;近电警告模块800用于AR穿透性目镜模块600的佩戴者与带电设备之间距离,还用于当距离小于预设的安全距离时,则进行告警。

在一个具体实施例中,近电警告模块800包括电子围栏,电子围栏的边界是可以根据带电设备的碰撞距离进行设定,从而当AR穿透性目镜模块600的佩戴者超过电子围栏时,则进行告警,从而提高安全性。

在一个具体实施例中,本系统还包括摄像模块900,摄像模块900用于采集现场影像,还用于将现场影像发送至主控模块300;

主控模块300用于将现场影像通过通信模块400发送至后台会诊中心500。

在一个具体实施例中,本系统还包括存储模块1000;存储模块1000与主控模块300连接,用于存储语音信息和现场影像。

在一个具体实施例中,本系统还包括AR目镜图像处理模块610,AR目镜图像处理模块610包括TMDS差分信号协议、IIC通讯协议、温度采集模块、色彩补偿模块、亮度调节模块和显示缩放模块;

AR穿透性目镜模块600通过TMDS差分信号协议和IIC通讯协议与主控模块300连接;

温度采集模块用于采集AR穿透性目镜模块600的显示工作温度,还用于将显示工作温度发送至主控模块300;

主控模块300还用于判断显示工作温度是否偏离预设的安全温度,若判断显示工作温度偏离预设的安全温度时,则计算温度偏离值,还用于基于温度与色彩的线性关系,根据温度偏离值获得色彩偏离值,还用于基于色彩偏离值控制色彩补偿模块对AR穿透性目镜模块600的显示色彩进行补偿;

亮度调节模块用于对AR穿透性目镜模块600的显示进行亮度调节;

显示缩放模块用于对AR穿透性目镜模块600的显示区域进行缩放调节。

在实际应用中,AR穿透性目镜模块600包括显示屏,显示屏采用型号为OL71的OLED屏幕,以镜片样式布设于镜框之上,从而,当工作人员使用穿透式AR自由曲面目镜时,显示屏位于工作人员眼部前方20毫米处。

主控模块300在接收到消缺数据后,可以通过TMDS差分信号协议和IIC通讯协议将消缺数据传输至AR穿透性目镜模块600,以AR影像的形式显示于显示屏中,使得佩戴者近眼查看会诊影像中所包含的施工图纸、设计资料,专家指导等。

同时,温度采集模块实时监测显示屏的工作温度,当显示屏当前的工作温度指示显示屏存在色彩偏离时,色彩补偿模块基于当前的工作温度调整会诊影像的色彩参数,进行动态色彩补偿。具体地,显示屏在使用过程中会发热,随着工作时间的增加,显示屏上所积累的热量会导致显示屏产生色彩偏离,且显示屏的色彩偏离值与其当前温度值成线性相关,从而使得基于其温度值推导出色彩偏离值,再根据色彩偏离值,对会诊影像的色彩参数进行动态色彩补偿,以确保在AR穿透型自由曲面目镜的运行过程中,会诊影像的色彩参数始终保持一致,良好逼真的还原故障场景。

对AR穿透性目镜模块600的显示区域进行缩/放调整,以将显示区域调整至合适的大小,确保显示区域不会遮挡佩戴者观察缺陷区域的视野,同时,确保佩戴者可清晰地查看会诊影像中所包含的消缺数据。

在一个具体实施例中,本系统还包括电池管理模块1100,电池管理模块1100与主控模块300连接,用于为主控模块300提供电能。

在一个具体实施例中,通信模块400采用4G通信方式、5G通信方式或射频通信方式。

以上为本发明提供的一种基于AR目镜成像的变电消缺远程视频会诊系统的实施例的详细描述,以下为本发明提供的一种基于AR目镜成像的变电消缺远程视频会诊方法的实施例的详细描述。

如图2所示,本发明提供的一种基于AR目镜成像的变电消缺远程视频会诊方法,应用上述实施例的基于AR目镜成像的变电消缺远程视频会诊系统,包括以下步骤:

S1、通过后台会诊中心通过通信模块向主控模块发送消缺数据,消缺数据的格式包括图像和文字,消缺数据包括消缺目标;

S2、通过拾音单元采集现场人员的语音信息,将语音信息传输至云端语音识别模块;

S3、通过云端语音识别模块基于预设的语音-文字数据库对语音信息进行文本识别,从而将语音信息转换为文本信息,将文本信息传输给主控模块;

S4、通过主控模块对文本信息进行关键词提取,从而得到关键词文本,根据关键词文本生成控制指令,将控制指令通过通信模块发送给AR穿透性目镜模块,从而开启AR穿透性目镜模块,并向AR穿透性目镜模块发送消缺数据;

S5、通过AR穿透性目镜模块当接收主控模块的开启指令时,开启AR显示功能,显示消缺数据。

需要说明的是,本发明提供的一种基于AR目镜成像的变电消缺远程视频会诊系统的工作过程与上述实施例提供的一种基于AR目镜成像的变电消缺远程视频会诊方法的流程一致,在此不再赘述。

本方法利用后台会诊中心向主控模块远程发送消缺数据,并通过拾音模块可以采集现场人员的语音信息,利用云端语音识别模块将语音信息进行文本化,并通过主控模块进行关键词提取,以获得语音信息对应的控制指令,依据控制指令开启AR穿透性目镜模块,通过主控模块向AR穿透性目镜模块发送消缺数据,利用AR穿透性目镜模块显示消缺数据,使得画面大屏化,提高佩戴者的便利性,同时,通过使用自由曲面透镜成像,无需佩戴者频繁调整屏幕的位置和场景,提高了消缺作业的安全性及消缺效率。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

12页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:基于骨振子传音的变电消缺远程视频会诊系统及方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类