阅读说明：本技术 一种自动寻路的盲人智能辅助装置及其方法 (intelligent blind person auxiliary device capable of automatically finding way and method thereof ) 是由 文耀立 杨琪钧 秦慧平 陈思瀚 于 2019-08-27 设计创作，主要内容包括：本发明公开了一种自动寻路的盲人智能辅助装置,包括导盲盲人眼镜和机器导盲犬；所述导盲盲人眼镜用于获取所在场景实时图像信息并进行处理和识别；所述机器导盲犬包括控制计算模块、语音模块、导航模块、避障模块、驱动模块；所述控制计算模块用于图像信息的交互和处理,对驱动模块的控制和数据传输；所述语音模块用于人机交互,所述导航模块与语音模块进行交互,根据语音指令规划路径以及向使用者返回规划路径；所述避障模块获取周边环境数据,并进行避障处理；所述驱动模块驱动机器导盲犬移动；本发明实现了语音交互,实时导航,路线规划,实时场景检测,特定场景提醒,人脸识别,辅助读字,天气查询,智能聊天以及避障功能的一体化导盲套装。(The invention discloses an intelligent auxiliary device for blind persons, which automatically seeks paths and comprises blind person guiding glasses and a machine blind person guiding dog; the blind guiding glasses are used for acquiring real-time image information of a scene, processing and identifying the information; the machine guide dog comprises a control calculation module, a voice module, a navigation module, an obstacle avoidance module and a driving module; the control calculation module is used for the interaction and processing of image information, and the control and data transmission of the driving module; the voice module is used for man-machine interaction, the navigation module interacts with the voice module, plans a path according to a voice instruction and returns the planned path to a user; the obstacle avoidance module acquires surrounding environment data and carries out obstacle avoidance processing; the driving module drives the machine guide dog to move; the invention realizes the integrated blind guiding set with the functions of voice interaction, real-time navigation, route planning, real-time scene detection, specific scene reminding, face recognition, auxiliary character reading, weather inquiry, intelligent chat and obstacle avoidance.)

一种自动寻路的盲人智能辅助装置及其方法

技术领域

本发明涉及盲人智能辅助装置研究领域，特别涉及一种自动寻路的盲人智能辅助装置及其方法。

背景技术

人类大部分外界信息都是通过眼睛来获取的，但是对于盲人来说，这个世界似乎对他们并不友好。正常人习以为常的出行、物体与场景的识别、阅读、与亲朋好友打招呼在盲人朋友看来显得难以自主完成，仅能依靠触觉和听觉完成一部分。盲人的生活和出行一直以来都是社会关注的一个话题，但是被人们占用的盲道、难以找到的盲文指示牌等等情况使得这些设施难以发挥其功能。而现在市面上少有能够解决这些盲人痛点的产品和给盲人群体提供优质的导航体验的方案。

要方便盲人的生活体验。不仅需要能够识别斑马线、楼梯等场景并提醒盲人注意，还要能识别生活中常见的物品例如矿泉水，货币、电脑键盘。传统的导盲机器人大多无识别场景和物体的功能，单一的前进与避障模式显得较为笨拙，盲人出行的局限性较大，而该发明还能在生活中的其他场景下提供辅助。

生活中许多场合还是需要靠文字传递信息的，即使有盲文的出现盲人也很难获取相应的信息(看不到盲人指示牌在哪)，市面上却缺少针对盲人群的一种能帮助他们识别正常文字的设备。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种自动寻路的盲人智能辅助装置，采用树莓派3B+与STM32F1系列微控制器双控制器进行分工控制，节约了能耗和计算资源，降低了成本；采用激光雷达避障系统，并通过9轴姿态传感器辅助检测，避障精度高，更加安全；使用PID算法控制电机当前转速，避免因电机制造差异导致导盲犬偏离航线；采用在线语音API+本地语音TTS/STT模块结合的方案实现智能对话，能够灵活应对不同场景的对话需求，同时满足准确度和反应速度的需求；使用北斗GPS双模定位与API进行路径规划，规划成本更低，准确度更高；利用势能梯度法进行避障，模拟力场运动，避障过程更加平缓，不会突然停下或转弯，适合盲人使用。

本发明的另一目的在于提供一种自动寻路的盲人智能辅助方法。

本发明的主要目的通过以下的技术方案实现：

一种自动寻路的盲人智能辅助装置，其特征在于，包括导盲盲人眼镜和机器导盲犬；所述导盲盲人眼镜包括有摄像装置的识别模块，所述识别模块用于获取所在场景实时图像信息，并对实时图像信息进行处理和识别；所述机器导盲犬包括控制计算模块和与控制计算模块连接的语音模块、导航模块、避障模块、驱动模块；所述控制计算模块包括树莓派3B+、STM32控制器、通信模块，所述树莓派3B+用于图像信息的交互和处理，所述STM32控制器用于对驱动模块的控制，所述通信模块用于数据传输；所述语音模块用于人机交互，所述导航模块包括定位模块，与语音模块进行交互，根据语音指令规划路径以及向使用者返回规划路径；所述避障模块利用激光雷达获取周边环境数据，并根据周边环境数据进行避障处理；所述驱动模块包括直流减速电机、电池、电机控制驱动板，通过以STM32控制器为核心的电机控制驱动板控制直流减速电机提供动力，驱动机器导盲犬移动，由电池提供能源；所述定位模块包括北斗GPS双模定位模块。

进一步地，所述对实时图像信息进行处理和识别具体为：采用AI开放平台联网识别物体，采用人脸识别算法识别人脸，即采用Facebook研发的人脸识别库face_recognition进行人脸识别。

进一步地，所述语音模块采用在线语音API+本地语音TTS/STT模块结合的方式实现智能对话。

进一步地，所述定位模块为北斗GPS双模定位模块。

进一步地，所述北斗GPS双模定位模块为ATGM336H。

进一步地，所述STM32控制器为STM32F103C8T6。

进一步地，所述激光雷达为杉川Delta3。

进一步地，所述直流减速电机为JGB37-520。

进一步地，所述避障模块包含姿态传感器、障碍物检测传感器激光雷达，所述避障模块采用势能梯度下降法进行避障计算。

进一步地，所述姿态传感器为9轴姿态传感器MPU9250，所述9轴姿态传感器MPU9250包含3轴加速度计、3轴陀螺仪、3轴地磁传感器。

进一步地，所述避障处理，具体为：设定机器导盲犬在环境中运动为在虚拟力场中运动，其中障碍物对机器导盲犬产生斥力，最终目的地对机器导盲犬产生引力，引力和斥力的合力作为机器导盲犬控制力控制机器导盲犬避开障碍物到达最终目的地；在斥力势函数中加入最终目的地和机器导盲犬的相对位置项，使得在最终目的地的势场是全局最小，其斥力势函数如下：

其中，η_X为斥力增益函数的预设值，其中η_X＝1，X_R为机器导盲犬当前位置坐标向量，X_i为第i个障碍点的位置坐标向量，ρ(X_R,X_i)为机器导盲犬与第i个障碍物的距离，ρ₀为距离常量，其值为3；

引力函数为：

F_att(X)＝-▽(X)＝k(X_G-X_R)，

其中，F_att(X)为引力函数，X为目标与机器导盲犬当前位置距离，k为引力常量，X_R为机器导盲犬当前位置坐标向量，X_G为目的地坐标向量；

最后通过计算合力来控制小车运动：

其中，F_att(X)为引力函数，F_rep(X_i)为第i个障碍点的斥力函数；

当计算的力累计大于距离为0.5的单独障碍点造成的斥力时，便控制机器导盲犬转动到指定方向。

进一步地，所述驱动机器导盲犬移动具体为：电机控制驱动板接收树莓派3B+发送的运动指令，对运动指令进行解析后转换为相应脉宽和极性的PWM波，输出至H桥芯片DRV8833中，由H桥推动直流减速电机运转；同时直流减速电机主轴上连接由霍尔码盘对直流减速电机转角进行检测，STM32控制器接收计算脉冲后，发送至树莓派3B+作为里程计数据，解出直流减速电机转速，将电机转速作为PID闭环控制算法的输入；PID闭环控制算法接收当前电机转速，将当前电机转速与预设速度计算得到误差值，对误差值做比例、积分、微分计算并求其加权和作为最终输出PWM波的占空比。

本发明的另一目的通过以下技术方案实现：

一种自动寻路的盲人智能辅助方法，系统实时进行语音信号识别，见步骤S1，在语音信号识别流程S1中决定下一步进入流程S2、S3、S4或者S5中的哪个流程，具体包括以下步骤：

S1、接收并识别语音信号，完成语音特征提取，唤醒语音交互系统，语音输入功能，具体为：

S101、接收语音信号，离线唤醒引擎完成对语音信号特征信息提取，根据关键字信息进行匹配，匹配成功则唤醒系统，并进入功能选择待命状态，否则系统继续休眠，等待正确的语音唤醒词输入；

S102、在系统保持唤醒状态时，实时检测功能选择语音命令，若触发导航功能关键字，则转入导航功能模块，即转入S2；若触发读字功能关键字，则转入实时文字识别功能模块，即转入S3；若触发场景识别功能关键字，则转入实时场景识别功能模块，即转入S4；若输入其他，则自动触发语音助手功能模块，即转入S5；

S2、导航功能流程：语音输入目的地，根据目的地信息，规划路径，制定导航方案，实时检测周围环境完成避障和特定场景提示功能，具体为：

S201、根据用户语音输入目的地信息，通过网络地图接口检索目的地，进行语音播报，待用户确认后，将该目的地确认为最终目的地，否则重新进行检索并播报；

S202、根据定位获取当前位置信息，根据目的地信息获取最终目的地信息；

S203、根据当前位置信息和最终目的地信息，规划路径，确定出行路线，即确定导航方案；

S204、根据用户的需求，提供步行方案和公共交通方案；对于步行方案，根据出行路线，实时结合当前位置与不同路段的转折点位置坐标信息，不断更新路径规划请求；对于公共交通方案，根据出行路线，自动选择最方便快捷的方式，语音播报公共交通方案，同时给出途径换乘方案；

S205、用户选择方案，导盲犬出发；同时同步进行实时场景识别功能，具体为步骤S4；

S206、激光雷达可以检测360度方向上距障碍物的信息，获取到的周围环境的点云数据，通过计算发现前方的障碍物、估算车身能否通过以及遇到障碍物时寻找两侧能通行的方向；

S207、获取的障碍物的信息通过控制计算模块获取障碍物角度和距离，根据障碍物角度和距离对出行路线进行修正，结合导航方案和实时的GPS信息，可驱动导盲犬按修正的路径移动；

S208、通过9轴姿态传感器获取传感数据并计算出欧拉角，根据欧拉角对出行路径进一步辅助修正；

S3、辅助读字功能流程：抓拍当前图像，调用接口分析包含的文字信息，转文字后语音完成文字读出，具体为：

S301、抓拍当前的图片信息，上传到云OCR接口，完成接口分析调用返回JSON结果，解析图片中包含的所有文本信息；

S302、对文本信息，使用串口通信输入到本地TTS模块，本地TTS完成文字转语音输出，驱动扬声器，播报结果；

S4、实时场景识别功能流程，完成场景抓拍，场景分析，人脸分析，播报结果，具体为：

S401、实时抓拍当前图像信息，频率为5秒一帧；

S402、图片上传云图像分析接口，实现图片包含内容的解析；若检测出人脸，则调用人脸库实现人脸的识别，具体为步骤S403，否则对目标物体进行语音播报，如果检测出对盲人重点关注的场景，如楼梯、自动扶梯，则进行特别提示；

S403、对于人脸识别：通过Facebook研发的人脸识别库face_recognition提取出人脸特征，通过HOG算法将图像转换为梯度直方图，以消除不同光照下，光线对人脸颜色变化的影响；用face landmark estimation算法标记面部68个特征点，对这不同角度的人脸进行仿射变换，将不同角度的人脸转换到正方向；利用facebook的人脸识别库提取人脸特征，facebook利用千万人脸数据库，对人脸进行了编码，并提取出了几个关键的人脸特征用以识别人脸；用Facebook的人脸识别库提取出了人脸的128个主要特征；使用面部照片数据库Labeled Faces in the Wild，利用SVM对数据库的每张照片的128个主要特征进行了线性分类得出特征权重，训练出初步的分类模型；将需要识别的人脸预存照片并打上姓名标签做成本地人脸库，识别时将本地人脸库和要识别的人脸一同放入初步分类模型，模型输出加权后的特征值编码，将编码值用k-NN临近模型进行排序，最终由k-NN临近算法确定人脸识别结果，根据人脸识别结果提示用户；

S5、语音助手功能流程，实现语义识别，完成特定的诸如聊天、天气查询等等功能，实现语音交互。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用树莓派3B+与STM32F1系列微控制器双控制器进行分工控制，节约了能耗和计算资源，降低了成本；能进行信息交互，适用于盲人群体；能进行定位和路线规划，实时场景检测，特定场景提醒，人脸识别打招呼，辅助读字，天气查询，智能聊天等功能，同时机器导盲犬还能实现避障的功能，为盲人的生活与出行提供了帮助。

2、本发明采用激光雷达避障系统，并通过9轴姿态传感器辅助检测，避障精度高，更加安全。

3、本发明使用PID算法控制电机当前转速，避免因电机制造差异导致导盲犬偏离航线。

4、本发明采用在线语音API+本地语音TTS/STT模块结合的方案实现智能对话，能够灵活应对不同场景的对话需求，同时满足准确度和反应速度的需求。

5、本发明使用北斗GPS双模定位与API进行路径规划，规划成本更低，准确度更高。

6、本发明利用势能梯度法进行避障，模拟力场运动，避障过程更加平缓，不会突然停下或转弯，适合盲人使用。

附图说明

图1是本发明所述一种自动寻路的盲人智能辅助装置结构框图；

图2为本发明所述实施例中机器导盲犬结构示意图；

图3为本发明所述实施例中电机控制驱动板电路图；

图4为本发明所述实施例中整体算法结构框图；

图5为本发明所述实施例中一种自动寻路的盲人智能辅助方法的方法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种自动寻路的盲人智能辅助装置，如图1所示，包括导盲盲人眼镜和机器导盲犬；所述导盲盲人眼镜包括有摄像装置的识别模块，所述识别模块用于获取所在场景实时图像信息，并对实时图像信息进行处理和识别；所述机器导盲犬包括控制计算模块和与控制计算模块连接的语音模块、导航模块、避障模块、驱动模块；所述控制计算模块包括树莓派3B+、STM32控制器、通信模块，所述树莓派3B+用于图像信息的交互和处理，所述STM32控制器用于对驱动模块的控制，所述通信模块用于数据传输；所述语音模块用于人机交互，所述导航模块与语音模块进行交互，根据语音指令规划路径以及向使用者返回规划路径；所述避障模块获取周边环境数据，并根据周边环境数据进行避障处理；所述驱动模块包括直流减速电机、电池、电机控制驱动板，通过以STM32控制器为核心的电机控制驱动板控制直流减速电机提供动力，驱动机器导盲犬移动，由电池提供能源；所述定位模块包括北斗GPS双模定位模块，具体型号为ATGM336H，所述机器导盲犬的结构如图2所示。

本例的控制计算模块：实现该系统所需的图像识别、语音交互、导航避障等功能采用了性能较好树莓派3B+，而对于机器狗电机控制器，采用了易于开发的STM32F1系列微控制器，具体为STM32F103C8T6。

本例的避障模块：使用激光雷达获取周围环境的点云数据，用于发现前方的障碍物、估算车身能否通过以及遇到障碍物时寻找两侧可以通行的方向。激光雷达具有一个不断旋转的机构，光学机构不断旋转，可以获得360度方向上距障碍物的距离。经过处理后的角度及距离也是通过串口发送至树莓派相连，树莓派获知四周障碍物的角度和距离后，将这些数据避障系统的输入，以进行路径的规划。我们选用了以MPU9250为核心的9轴姿态传感器，包含独立的3轴加速度计、3轴陀螺仪以及3轴地磁传感器，单片机获取传感器数据后经过一系列姿态融合算法后解算出姿态角(欧拉角)，并通过串口向树莓派报告方位角，在导航程序中再进行进一步的处理。该选型有如下优点：激光雷达获取深度信息，使用方便，无需复杂的算法获取深度信息，精度高。

本例语音模块：输入输出设备由USB麦克风、USB声卡音频功率放大器以及喇叭组成。综合各方面考虑我们采用了在线语音+本地语音结合的方案。离线TTS模块适用于作品的阅读功能，在阅读场景下我们使用TTS模块。而对于其他场景，比如对准确率有较高要求的场景语音场景等，我们均采用在线语音方案。改选型有如下优点：使用两种方案对应不同场景，更加符合实际需要；采用离线TTS/STT模块，不需要网络，识别速率快。采用在线语音合成和在线语音识别，识别成功率高，目前，国内有几大提供智能语音服务的云开放平台，API接口调用方便，省去了硬件搭建的复杂过程。

本例的导航模块：采用北斗GPS双模定位模块进行定位，与语音模块进行交互，调用Web API坐标转换接口。用户语音输入目的地之前，调用Web API的输入提示接口,对目的地点进行检索并转换成为高德地图数据内的地点。对出行路线，我们特地针对盲人出行选择了步行以及公共交通方案。对于步行方案，我们利用web平台的出行路径规划，同时实时结合当前的位置与不同路段的转折点位置坐标信息不断更新路径规划请求，配合了高德距离计算API，我们优化了导航语音提示的算法，能够完成基本的导航功能；对于公共交通出行，我们自动选择了最方便快捷的方式，语音播报公交方案，同时给出途经的所有换乘方案，对出行提供了实用的信息。

本例的场景识别模块，图像采集设备为固定在眼镜上的USB摄像头采集图像。采用国内AI开放平台，联网识别物体，人脸采用本地人脸识别算法，采用了Facebook研发的人脸识别库face_recognition实现了人脸识别功能。

本例的驱动与控制系统：导盲犬的动力由4台直流减速电机提供，动力系统还包含动力锂电池、以STM32F103C8T6为核心的电机控制板，以下简称STM32。该核心控制的原理图如图3所示，其中，所述控制板中的STM32的串口通讯接口与所述树莓派3B+相连,所述STM32的输出管脚与H桥芯片DRV8833的输入管脚相连，其中的电机输出接口1、2、3、4分别与所述的4台电机相连，所述的霍尔码盘和STM32的管脚相连，所述的电源输入与动力锂电池相连，具体为：STM32的PA8端口连接至DRV8833模块M2的IN4端口，STM32的PA9端口连接至DRV8833模块M2的IN2端口，STM32的PA10端口连接至DRV8833模块M4的IN4端口，STM32的21号管脚连接至DRV8833模块M4的IN2端口，STM32的PB13端口连接至DRV8833模块M2的IN3端口，STM32的PB14端口连接至DRV8833模块M2的IN1端口，STM32的PB15端口连接至DRV8833模块M4的IN3端口，STM32的PB1端口连接至DRV8833模块M4的IN1端口；其中电容C1、C2、C3、C4、C9、C10、C13为100uF，其中电容C5、C6、C7、C8、C11、C12、C14为100nF，其中电阻R1为20kΩ，电阻R2为10kΩ，其中M1为输出3.3v的DC-DC模块，M2为输出5.0v的DC-DC模块。

STM32负责接收树莓派串口发送来的运动指令，进行解析后转换为相应脉宽和极性的PWM波输出至H桥芯片DRV8833中，由H桥推动电机运转。同时电机主轴上连接有霍尔码盘可对电机转角进行检测，STM32接收计数脉冲后，发送至树莓派作为里程计数据，同时解算出电机的转速，作为PID闭环控制算法的输入。PID算法接收电机当前转速，与预设的速度作差得到误差值，对这个误差做比例、积分、微分运算并求其加权和作为最终输出PWM波的占空比，以达到稳定电机转速的作用，同时避免因电机制造差异导致导盲犬偏离航线。

本例的软件方案：

本例中所用的算法总结如下：

由与模块调用各个算法流程，在接受语音信号时，首先调用在线语音API由API判断语音类型和内容，对于特殊的指令调用API将调用本地的TTS模块给出即时的预设的反应；在人脸识别的语音指令下，调用人脸识别算法，由人脸识别算法识别出人脸并返回给语音模块；在文字和场景识别的指令下调用实时场景识别与辅助读字模块，同样对于预设好的场景和文字，会直接触发本地的TTS模块，进行本地的即时答复；在给导盲犬说出导航命令时，实时导航与路径规划模块将接收北斗GPS双模定位的定位信息，然后由实时导航与路径规划模块调用梯度避障算法，在进行梯度避障算法时会实时的进行9轴姿态传感器数据解算与激光雷达数据处理，以此来获取当前周围环境的信息，决策下一步的移动，同时调用PID算法控制导盲犬移动。上诉的整体算法结构框图，如图4所示，图5为一种自动寻路的盲人智能辅助方法的方法流程图。

本例的语音交互系统：语音系统采用了离线语音模块以及在线语音平台API，两者结合实现了更佳的体验。本作品的语音唤醒采用离线语音唤醒引擎PocketSphinx。由于唤醒词的模型较小，因此可以直接根据中文译音在PocketSphinx提供的CMU网络服务器上进行训练，然后提取训练结果的语言模型字典来构建特定关键词的语音唤醒。

本例的避障系统：采用梯度避障算法进行避障，机器人在环境中的运动视为一种机器人在虚拟力场中的运动，其中障碍物对机器人产生斥力，目标点对机器人产生引力，引力和斥力的合力作为机器人控制力控制机器人避开障碍物到达目标点。在斥力势函数中加入目标点和机器人的相对位置项，使得在目标点的势场是全局最小，其斥力势函数如下：

其中，η_X为斥力增益函数的预设值，其中η_X＝1，X_R为机器导盲犬当前位置坐标向量，X_i为第i个障碍点的位置坐标向量，ρ(X_R,X_i)为机器导盲犬与第i个障碍物的距离，ρ₀为距离常量，其值为3；

引力函数为：

F_att(X)＝-▽(X)＝k(X_G-X_R)，

其中，F_att(X)为引力函数，X为目标与机器导盲犬当前位置距离，k为引力常量，X_R为机器导盲犬当前位置坐标向量，X_G为目标点坐标向量；

最后通过计算合力来控制小车运动：

其中，F_att(X)为引力函数，F_rep(X_i)为第i个障碍点的斥力函数；

当计算的力累计大于距离为0.5的单独障碍点造成的斥力时，便控制机器导盲犬转动到指定方向，以这种方式控制避障。

本例的人脸识别算法：通过Facebook研发的人脸识别库face_recognition提取出人脸部的特征，包含以下步骤：1.通过HOG算法将图像转换为梯度直方图，以消除不同光照下，光线对人脸颜色变化的影响。2.用face landmark estimation算法标记面部68个特征点，对这不同角度的人脸进行仿射变换，将不同角度的人脸转换到正方向。3.利用facebook的数据库提取特征，facebook利用自己的千万人脸数据库，对人脸进行了编码，并提取出了几个关键的人脸特征用以识别人脸。用它的数据库提取出了人脸的128个主要特征。4.我们用SVM利用这128个主要特征进行了线性分类得出特征权重，训练出了的一个初步的模型。5.为了修补Facebook的训练的样本适应欧美人的问题，而对亚洲人脸分辨率不高的问题，将录入的本地人脸库再放进k-临近模型进行计算，通过对已有面部的比较距离最终的人脸的结果。

本例的实时场景识别与辅助读字功能：采用了百度AI平台提供的图像识别的通用文字识别的API接口，在获取用户命令后，摄像头可以抓取当前的图片，调用API接口，在程序中5秒采集一次摄像头的图片帧数据，构建URL通过POST请求到API服务器，解析返回的JSON，得到当前场景的识别结果。取判断阈值为0.8，置信度达到阈值的将通过离线TTS语音播报。也针对了楼梯、自动扶梯等场景进行了特别标注以提示盲人。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。