一种适用于视觉障碍人士的智能眼镜系统

文档序号:681467 发布日期:2021-04-30 浏览:17次 >En<

阅读说明:本技术 一种适用于视觉障碍人士的智能眼镜系统 (Intelligent glasses system suitable for people with visual impairment ) 是由 杨乾 黎少旭 邵洋 宋云龙 于 2020-12-31 设计创作,主要内容包括:本发明公开一种适用于视觉障碍人士的智能眼镜系统,包括设置在眼镜内部的中央处理单元,以及与中央处理单元连接的三射摄像头、激光雷达、语音播报装置;所述三射摄像头包括主摄像头、红外成像摄像头、景深灰度摄像头,所述中央处理单元通过景深灰度摄像头、红外成像摄像头,主摄像头采集数据结合进行三维立体建模;使用主摄像头和红外成像摄像头进行三维几何信息判断,并使用激光雷达测距,获得深度距离;所述中央处理单元将上述信息转化为语音,通过语音播报装置提示视觉障碍人士。本发明帮助视觉障碍人士解决生活中的问题,如文字阅读播报、前方物体位置播报、外出导航语音指引、避障提示等,以震动、语音的提示方式提醒视力障碍人士。(The invention discloses an intelligent glasses system suitable for people with visual impairment, which comprises a central processing unit arranged in glasses, and a three-shot camera, a laser radar and a voice broadcasting device which are connected with the central processing unit; the three-shot camera comprises a main camera, an infrared imaging camera and a depth-of-field gray camera, and the central processing unit performs three-dimensional modeling by combining data collected by the main camera through the depth-of-field gray camera and the infrared imaging camera; judging three-dimensional geometric information by using a main camera and an infrared imaging camera, and ranging by using a laser radar to obtain a depth distance; the central processing unit converts the information into voice and prompts the visually impaired people through the voice broadcasting device. The invention helps the visually impaired people to solve the problems in life, such as text reading and broadcasting, front object position broadcasting, outgoing navigation voice guidance, obstacle avoidance prompting and the like, and reminds the visually impaired people in a vibration and voice prompting mode.)

一种适用于视觉障碍人士的智能眼镜系统

技术领域

本发明属于智能辅助设备领域,尤其是涉及一种适用于视觉障碍人士的智能眼镜系统。

背景技术

目前市场上可以为视觉障碍人士使用的智能设备仅有少量的智能手环和手表,盲杖等。此类产品大多是应用于普通人群的智能可穿戴产品,很少照顾到视觉障碍人士的深层关切和需求。对于视觉障碍人士最贴合的智能设备当属智能眼镜,但需要解决文字,图像,及物体信息的智能识别问题以及转化为对视觉障碍人士的提示问题。

发明内容

有鉴于此,本发明提出一种适用于视觉障碍人士的智能眼镜系统,实现了诸多视觉转化为语音的功能,解决了视觉障碍人士生活环境系统的不适问题。

为达到上述目的,本发明的技术方案是这样实现的:

一种适用于视觉障碍人士的智能眼镜系统,包括设置在眼镜内部的中央处理单元,以及与中央处理单元连接的三射摄像头、激光雷达、语音播报装置;所述三射摄像头包括主摄像头、红外成像摄像头、景深灰度摄像头,所述中央处理单元通过景深灰度摄像头、红外成像摄像头,主摄像头采集数据结合进行三维立体建模;所述中央处理单元使用主摄像头和红外成像摄像头进行三维几何信息判断,并使用激光雷达测距,获得深度距离;所述中央处理单元将上述信息转化为语音,通过语音播报装置提示视觉障碍人士。

进一步的,所述三维立体建模包括用景深灰度摄像头进行立体成像,建立立体模型数据;使用红外成像摄像头对立体物体进行层次填充,并还原物体的立体外形;使用主摄像头对物体外形细节辨识目标;将以上数据通过后台运算计算出物体的实际状态,进行建模。

进一步的,所述使用主摄像头和红外成像摄像头进行三维几何信息判断包括:将主摄像头和红外成像摄像头作为双目相机;对双目相机进行标定,得到两个相机的内外参数、单应矩阵;根据标定结果对原始图像校正,校正后的两张图像位于同一平面且互相平行;对校正后的两张图像进行像素点匹配;根据匹配结果计算每个像素的深度,从而获得深度图。

更进一步的,所述眼镜还设有红外测距摄像头,所述红外测距摄像头连接所述中央处理单元,所述中央处理单元使用红外测距摄像头和激光雷达交叉处理的方式来判断物体距离和动静状态;以及红外测距摄像头处理活体温度的初步判断并辅助测量距离,即依靠红外热源的温度辅助测量物体到摄像头的距离,然后使用激光雷达用来快速判断活动移动的二次判定与区分,从而判定物理种类和距离。

进一步的,所述眼镜还设有内置北斗/GPS定位装置,所述北斗/GPS定位装置连接所述中央处理单元,用于为视觉障碍人士进行语音导航,并使其家人或者残疾人中心通过APP随时获知视觉障碍人士的位置。

进一步的,所述眼镜还设有网络模块,所述网络模块为5G、蓝牙、WiFi的一种或多种,所述网络模块连接所述中央处理单元,用于室内定位,以及与智能移动终端、物联网云平台进行通信。

进一步的,所述眼镜还设有脑机接口,所述脑机接口包括骨传导马达和/或神经传输电极,所述脑机接口连接所述中央处理单元,进行脑机通信,所述骨传导马达还作为震动器,用于在嘈杂的环境中为视觉障碍人士进行。

进一步的,所述眼镜还设有耳麦,所述耳麦连接所述中央处理单元,用于通过语音控制其它设备。

进一步的,所述眼镜还设有按键,所述按键连接所述中央处理单元,用于一键SOS呼叫。

进一步的,所述眼镜还设置电池,所述电池连接所述中央处理单元,用于供电;所述电池还设有充电接口。

相对于现有技术,本发明具有以下优势:

(1)本发明适用于视力残疾的盲人人群、老年视觉障碍人群和因其它原因造成的视觉障碍人群。可以帮助视觉障碍人士解决生活中的问题,如文字阅读播报,前方物体位置播报,外出导航语音指引,途径店铺商户介绍,避障提示,AI人脸识别,以震动、语音的提示方式提醒视力障碍人士;

(2)本发明采用三射摄像头装置,通过双摄像头及红外摄像头的组合,具有景深成像能力进行环境3D建模处理,通过双目摄像头进行三维几何信息判断,通过红外测距摄像头和激光雷达判定物理种类和距离,为后期的AI智能语音播报提供准确的数据基础;

(3)本发明采用眼镜佩戴的形式,内部电池可以为产品提供充足的电能,外部可以连接可穿戴充电宝为其供电续航,适合居家和外出携带;

(4)本发明通过蓝牙与手机和其他智能设备联网,可以通过语音控制其它设备、连接手机语音控制拨打电话,采取室内和室外交替工作方式,解决居家和外出定位的双重需求,家庭中使用室内定位,具有低功耗、稳定、独立私密的特点;外出时切换到室外(北斗、GPS定位服务),APP和平台可以随时监控佩戴者的位置信息,并响应佩戴者的SOS紧急呼叫需求。方便家人和外出者的联系及家庭事件的远程处理。

附图说明

图1是本发明实施例的眼镜结构示意图;

图2是本发明实施例的原理图。

其中:

1、眼镜架;2、镜片;3、前框架;4、主摄像头;5、红外成像摄像头;6、景深灰度摄像头;7、激光雷达;8、红外测距摄像头;9、左镜脚内壳;10、左镜脚外壳;11、右镜脚内壳;12、右镜脚外壳;13、主PCB;14、辅助PCB;15、5G/WIFI/蓝牙天线;16、北斗/GPS天线;17、神经传输电极;18、骨传导马达;19、数据接口;20、电池;21、按键;22、耳麦;23、扩展电源;24、扩展主机。

具体实施方式

需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示,本发明采用眼镜的形式,在眼镜原有的眼镜架1和镜片2前面设置前框架3,左镜脚和右镜脚做成壳体形式,左镜脚由左镜脚内壳9和左镜脚外壳10组成,右镜脚由右镜脚内壳11和右镜脚外壳12组成,前框架3与左镜脚和右镜脚有线路连接通道。在前框架3上中心位置设置了主摄像头4,主摄像头4一侧设置了红外成像摄像头5和景深灰度摄像头6,另一侧设置了红外测距摄像头8和激光雷达7。

所述左镜脚内壳9和左镜脚外壳10组成的左镜脚壳体中设有主PCB13,主PCB13上设有中央处理单元,所述主摄像头4、红外成像摄像头5、景深灰度摄像头6、红外测距摄像头8、激光雷达7连接所述中央处理单元;所述左镜脚壳体中还设有北斗/GPS天线16,壳体上设有数据接口19、神经传输电极17;所述北斗/GPS天线16、数据接口19、神经传输电极17连接所述中央处理单元。

所述右镜脚内壳11和右镜脚外壳12组成的右镜脚壳体中设有辅助PCB14,还设有5G/WIFI/蓝牙天线15、电池20;壳体上设有神经传输电极17、骨传导马达18、按键21、耳麦22;所述5G/WIFI/蓝牙天线15、电池20、神经传输电极17、骨传导马达18、按键21、耳麦22都通过辅助PCB14连接所述中央处理单元。

所述电池20设有充电接口,用于连接扩展电源23(如充电宝等)。

本发明还可以通过5G/WIFI/蓝牙天线15连接扩展主机,扩展主机可以为挂在腰间的穿戴设备。

如图2所示为本发明的原理框图,本发明所述中央处理单元通过景深灰度摄像头6、红外成像摄像头5,主摄像头4采集数据结合进行三维立体建模;所述中央处理单元使用主摄像头4和红外成像摄像头5进行三维几何信息判断,并使用激光雷达7和红外测距摄像头8测距,获得深度距离,判定物理种类和距离;所述中央处理单元将上述信息转化为语音,通过耳麦22提示视觉障碍人士。

所述中央处理单元由电池20供电,由北斗/GPS天线获得并发送定位信息给中央处理单元,中央处理单元(A06)把采集到的图像,距离数据进行处理给出指令,通过耳麦22做语音提示播报,还可以在嘈杂的环境中驱动震动器(骨传导马达18可以作为震动器)进行提示,5G/WIFI/蓝牙天线可以和智能移动终端(如手机等)通信,然后和中央处理单元进行数据交换和指令接收。同时物联网云平台推送提示信息可以通过手机传递给中央处理单元,可进行查询和定位以及指令播放。

本发明可以实现脑机通信,既可以由中央处理单元控制神经传输电极17、骨传导马达18向大脑发送信号,也可以在大脑中植入电极,由5G/WIFI/蓝牙天线与植入的电极通信,在大脑中展现实物景象。

本发明中的按键21可作为SOS紧急求助键,按下按键21后,中央处理单元可通过5G/WIFI/蓝牙天线与智能移动终端通信,推送提示信息和位置信息给云端平台,或由中央处理单元控制拨打相关联系人电话进行联通。

本发明涉及的软件算法说明如下。

一、建模:

原理是通过卷积神经网络(CNN)模型处理(通过CNN模型这种天然的特征描述机制,对图像进行预处理,将图像处理和视觉预处理合二为一)来描绘出前方景象的大体轮廓(边缘和轮廓的提取需要避免物体边缘和轮廓被过强的图像线条掩盖,并且纹理本身是一种很弱的边缘分部模式,所以处理起来会比较复杂)具体方法采用的是分级(hierarchical)方法,将每个边缘像素与多于一个的边缘类相关联,是一种基于残差网络(ResNet)的端到端的边缘学习的架构,同时也是一种跨层(skip-layer)架构,其中采用顶层卷积层的类别边缘激活共享并与底层特征的同一集融合,这里用一种多标签损失函数来监督激活的融合。

基础网络采用全卷积网络框架,在基础网络的顶部,添加分类模块作为1×1卷积层,然后是双线性上采样(由K分组反卷积层实现)产生一个K个激活图{A1,···,AK}的集合,其中每个激活图都与图像尺寸相同;然后,Yk(p)=σ(Ak(p))定义的sigmoid单元对像素属于第k类边缘的概率建模。

本算法采用嵌套式架构(nested architecture):

1)将底部分类模块更换为特征提取模块。

2)放置分类模块,仅在网络顶部施加监督。

3)采用共有连接而不是切片连接。

4)增加属性系数使得计算结果更利于算法识别。

具体为:本发明通过景深灰度摄像头6,红外成像摄像头5,主摄像头4结合的方式来进行三维立体建模;首先用景深灰度进行立体成像,建立立体模型数据,,接下来使用红外成像对立体物体进行层次填充,并进一步还原物体的立体外形,最后使用主摄像头对物体外形细节的辨识,结合使用达到辨识目标的状态。将以上数据通过后台运算,来计算出物体的实际状态,并通过三维建模来还原当前的物理环境。

二、深度距离判断:

使用主摄像头和红外成像摄像头进行三维几何信息判断。

深度距离判断采用双目立体视觉原理,基于视差原理,由多幅图像获取物体三维几何信息的方法。在机器视觉系统中,双目视觉由双摄像机从不同角度同时获取周围景物的两幅数字图像,或有由单摄像机在不同时刻从不同角度获取周围景物的两幅数字图像,并基于视差原理即可恢复出物体三维几何信息,重建周围景物的三维形状与位置。双目立体视觉是基于视差,由三角法原理进行三维信息的获取,即由两个摄像机的图像平面和北侧物体之间构成一个三角形。一直两个摄像机之间的位置关系,便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。

本发明使用主摄像头和红外成像摄像头作为双目相机,双目立体视觉流程如下:

1、首先需要对双目相机进行标定,得到两个相机的内外参数、单应矩阵;

2、根据标定结果对原始图像校正,校正后的两张图像位于同一平面且互相平行;

3、对校正后的两张图像进行像素点匹配;

4、根据匹配结果计算每个像素的深度,从而获得深度图。

本发明使用红外测距摄像头和激光雷达摄像头交叉处理的方式来判断物体距离和动静状态;以及红外测距摄像头处理活体温度的初步判断并辅助测量距离(依靠红外热源的温度辅助测量物体到摄像头的距离),然后使用激光雷达是用来快速判断活动移动的二次判定与区分。达到判定物理种类和距离的目的。

通过上述软件算法及过程所获得的信息数据,为本发明的AI智能语音播报提供准确的数据基础。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

8页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种镜片磨损较低的镜片清洁装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!