一种基于ai的视听障碍患者出行辅助小车
阅读说明：本技术 一种基于ai的视听障碍患者出行辅助小车 (Auxiliary trolley for outgoing of audio-visual handicapped patient based on AI ) 是由 郑思志 陈华伦 何胤良 周晨希 韩子健 黄颖 王剑 于 2021-08-30 设计创作，主要内容包括：本发明涉及导盲设备技术领域,尤其涉及一种基于AI的视听障碍患者出行辅助小车,包括安装在小车上的道路探测装置对道路进行探测,安装在小车上的扬声器对行人进行避让提醒,和通过网络传输装置连接的远程监控装置,所述小车上设有工控主机,与工控主机连接有控制处理单元。所述道路探测装置包括均与工控主机连接的激光雷达、深度摄像头、姿态传感器、超声波传感器、麦克风、扬声器和USB HUB,所述USB HUB分别连接有舵机、震动马达、GPS单元和通信单元,所述控制处理单元连接有用于驱动小车车轮的驱动电机。本发明具有成本低,相比于传统导盲仗,具有牵引功能,方便试听障碍人士出行,具有实时避障和实时监控功能,确保出行安全。(The invention relates to the technical field of blind guiding equipment, in particular to an AI-based auxiliary trolley for the outgoing of a visually impaired patient, which comprises a road detection device arranged on the trolley for detecting a road, a loudspeaker arranged on the trolley for reminding the avoidance of a pedestrian, and a remote monitoring device connected through a network transmission device, wherein an industrial control host is arranged on the trolley and is connected with the industrial control host through a control processing unit. Road detection device is including laser radar, degree of depth camera, attitude sensor, ultrasonic sensor, microphone, speaker and the USB HUB all being connected with the industrial control host computer, the USB HUB is connected with steering wheel, shock motor, GPS unit and communication unit respectively, control processing unit is connected with the driving motor who is used for driving the dolly wheel. The invention has low cost, has traction function compared with the traditional guide stick, is convenient for hearing barrier people to go out, has the functions of real-time obstacle avoidance and real-time monitoring, and ensures the safety of going out.)
技术领域
本发明涉及导盲装置技术领域，尤其涉及一种基于AI的视听障碍患者出行辅助小车。
背景技术
视听障碍人士跟正常人一样具有学习，沟通，交往，出行，娱乐的需求，根据盲人协会整理出的一组数据可以看出34.7％的视听障碍着存在出行障碍，生活困难的问题。针对视听障碍人士的出行需求，我国倡导"无障碍出行"理念，设有盲道来满足视听障碍者需求，现实生活中还有导盲仗和导盲犬辅助视听障碍人士出行。绝大多数的视听障碍人士出行现状是靠一根导盲仗，比较富裕的人可以拥有一只导盲犬，随着视听障碍人士出行需求增多，应用相关技术做出的导盲牵引机器人(AI导盲犬)将是大势所趋。
现有技术方案：市场上常规的导盲杖，数量稀缺价格昂贵的导盲犬，针对盲人群体的智能眼镜、导盲耳机，针对低视力群体的智能注视AR眼镜/头盔，针对全聋人群的人工耳蜗，针对中轻度听损人群的助听器。目前市场上其中比较热门的是百嶐的折叠式盲杖反光盲棍，市场价格不高，避障功能欠缺，实时监控功能不够完善，夜间出行也不安全，视听障碍人士使用过程中存在一定的安全隐患。目前市场上的“人工耳蜗”、“助听器”，产品价位在80～10000元不等，人工耳蜗手术费用较高，并且手术后康复和护理比较复杂。助听器价格昂贵，有些价格便宜的效果不好。助听器戴久了容易诱发耳道发炎，诱发中耳炎，并且助听器也能扩散噪音，在嘈杂的环境下会给视听障碍人士带来苦恼。除上述三种设备外，目前国内数量稀缺，仅有90只且价格昂贵高达20万的导盲犬也有少部分人在使用，但由于价格昂贵，普通家庭很难消费得起。
为解决市场上传统的导盲仗(避障功能欠缺、实时监控系统不够完善、夜间出行更加不安全)，考虑到导盲犬价格昂贵，本发明提供了一种适用于视听障碍人士的AI导航小车，该设备相比于导盲犬成本低，相比于传统导盲仗，具有牵引功能，方便视听障碍人士出行，具有实时避障和实时监控功能，确保出行安全，具有语音陪伴和盲文交互功能，能及时了解视听障碍人士心里状态。
发明内容
有鉴于此，本发明的目的是提供一种基于AI的视听障碍患者出行辅助小车，本发明包括安装在小车上的道路探测装置对道路进行探测，安装在小车上的扬声器对行人进行避让提醒，和通过网络传输装置连接的远程监控装置，所述小车上设有工控主机，与工控主机连接有控制处理单元。
进一步，所述道路探测装置包括均与工控主机连接的激光雷达、深度摄像头、姿态传感器、超声波传感器、麦克风、扬声器和USB HUB，所述USB HUB分别连接有舵机、震动马达、GPS单元和通信单元，所述控制处理单元连接有用于驱动小车车轮的驱动电机，以及紧急制动的急停按钮，所述小车设有盲人手柄，所述舵机和震动马达均设在所述手柄的把手处，并且所述舵机上相对应的设有盲文数字模型，所述通信单元连接有互联网连接模块，通过互联网连接模块接入云服务器，通过云服务器连接有智能终端，所述把手上还设有SOS键。
进一步，设有舵机、震动马达盲人手柄此模块为视听障碍患者获知信息的主要窗口，承担向他们传达提示、通知信息及实现视听障碍者与家属双向对话等功能。通过通信单元且连上机智云服务器后，通过智能终端按下应用APP中的按钮“回家”，通过通信模块将指令发送到控制处理单元。此时，把手处就会传来短促的震动来提示用户有消息传来，并且舵机也会根据接收到的指令转到相应的角度，舵机到达指定角度后，视听障碍用手触摸舵机上的盲文数字，即可以知道家人发送的消息提示。同理，当通过智能终端按下应用APP上的其他按钮后，震动提醒，舵机转动到相应的角度。完整的指令即动作如下：
智能终端通过APP按下按钮“回家”，舵机识别动作1，舵机转动0°，显示盲文数字1；
智能终端通过APP按下按钮“离家”，舵机识别动作2，舵机转动90°，显示盲文数字2；
智能终端通过APP按下按钮“公园”，舵机识别动作3，舵机转动—90°，显示盲文数字3；
智能终端通过APP按下按钮“医院”，舵机识别动作4，舵机转动180°，显示盲文数字4；
此外，产品设有“SOS”按键。在发生紧急情况时，盲人可以通过按下此按键来实现急停，并迅速向家人发送自己的坐标，通知家人自己位置信息。
进一步，所述控制处理单元采用STM32系列处理器，所述工控主机内的处理模块采用8代Inter处理器，所述姿态传感器采用mpu9250、MPU6000或MPU9250型传感器进行角度检测，所述激光雷达采用RPLIDAR A2型激光雷达，所述智能终端为智能手机或平板电脑，所述通信单元为Wifi模块或蓝牙模块。
进一步，道路探测装置的方法按以下步骤执行：
S1:将小车放在视听障碍患者经常出行的道路环境中，小车首先利用激光雷达进行探测，同时使用SLAM算法构建需要的地图信息；
S2:根据使用需求在室内或者室外，选择对应的SLAM建图算法；
S3:通过激光雷达每当小车移动一段距离时进行不间断扫描；
S4:通过激光雷达对地图构建完成后即可开始使用导航，小车通过GPS单元识别当前位置，并使用A*算法进行全局规划到达终点的路径，或者使用DWA算法进行局部路径规划，路径规划好后，开始引导使用者往终点行走，在行走过程中，不断的通过激光雷达扫描，并且采用amcl定位系统，以2d方式对AI导航小车定位，使用粒子滤波算法跟踪机器人在已知地图中的位姿，不断重新规划路径，最终将使用者安全带到终点。小车避障采用激光雷达核心测距通过顺时针旋转，可实现对周围环境的360度全方位扫描测距检测，从而获得周围环境的轮廓图，小车首先是对自身进行定位，在定位的基础上，激光雷达或者深度摄像头来对自身定位进行修正，并利用期间获取的环境信息不断更新构建的环境地图。定位及路径规划功能实现使用思岚A2激光雷达，通过其核心测距通过顺时针旋转，可实现对周围环境的360度全方位扫描测距检测，从而获得周围环境的轮廓图。
进一步，在步骤S4中，通过激光雷达进行采集X方向、Y方向、旋转加速度、平移最大速度、平移最小速度、方向最大速度、方向最小速度以及最大旋转速度和最小旋转速度的绝对值，以及步长的参数通过A*算法或DWA算法进行路径规划。
进一步，所述麦克风实时的采集视听障碍患者的语音指令，通过工控主机进行识别并控制小车执行相应指令。语音交互是由麦克风采集声音模拟信号，通过语音识别技术解析出语音信息，由工控主机将解析出的语音的信息，利用语音合成技术，在经过扬声器输出声音，并执行相应的动作，实现语音交互。
在联网的情况下，完整的实现过程如下：
①唤醒机器小车，对准麦克风呼叫唤醒词，当机器小车成功识别唤醒词会给出回应；
②当识别成功，等待两三秒钟，对机器小车呼出所需要执行的指令，如查询广州天气，说个绕口令，导航到某个地点等；
③当机器小车识别成功呼出的指令之后，小车会针对指令做出对应动作，如反馈查询到的广州天气，说一个绕口令，导航去到指定点。
本发明的一种基于AI的视听障碍患者出行辅助小车的有益效果为：该设备相比于导盲犬成本低，相比于传统导盲仗，具有牵引功能，方便试听障碍人士出行，具有实时避障和实时监控功能，确保出行安全，具有语音陪伴和盲文交互功能，能及时了解视听障碍人士心里状态。并且本辅助小车采用基于AI的智能算法，稳定性高，视听障碍患者操作方便简单，实用性强。
附图说明
图1是本发明的系统结构图；
具体实施方式
以下将结合附图和具体实施例对本发明进行详细说明，显然，所描述的实施例仅仅只是本申请一部分实施例，而不是全部的实施例，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本实施例中，如图1所示本发明包括安装在小车上的道路探测装置对道路进行探测，安装在小车上的扬声器对行人进行避让提醒，和通过网络传输装置连接的远程监控装置，所述小车上设有工控主机，与工控主机连接有控制处理单元。
本实施例中，所述道路探测装置包括均与工控主机连接的激光雷达、深度摄像头、姿态传感器、超声波传感器、麦克风、扬声器和USB HUB，所述USB HUB分别连接有舵机、震动马达、GPS单元和通信单元，所述控制处理单元连接有用于驱动小车车轮的驱动电机，以及紧急制动的急停按钮，所述小车设有盲人手柄，所述舵机和震动马达均设在所述手柄的把手处，并且所述舵机上相对应的设有盲文数字模型，所述通信单元连接有互联网连接模块，通过互联网连接模块接入云服务器，通过云服务器连接有智能终端，所述把手上还设有SOS键。
本实施例中，设有舵机、震动马达盲人手柄此模块为视听障碍患者获知信息的主要窗口，承担向他们传达提示、通知信息及实现视听障碍者与家属双向对话等功能。通过通信单元且连上机智云服务器后，通过智能终端按下应用APP中的按钮“回家”，通过通信模块将指令发送到控制处理单元。此时，把手处就会传来短促的震动来提示用户有消息传来，并且舵机也会根据接收到的指令转到相应的角度，舵机到达指定角度后，视听障碍用手触摸舵机上的盲文数字，即可以知道家人发送的消息提示。同理，当通过智能终端按下应用APP上的其他按钮后，震动提醒，舵机转动到相应的角度。完整的指令即动作如下：
智能终端通过APP按下按钮“回家”，舵机识别动作1，舵机转动0°，显示盲文数字1；
智能终端通过APP按下按钮“离家”，舵机识别动作2，舵机转动90°，显示盲文数字2；
智能终端通过APP按下按钮“公园”，舵机识别动作3，舵机转动—90°，显示盲文数字3；
智能终端通过APP按下按钮“医院”，舵机识别动作4，舵机转动180°，显示盲文数字4；
此外，产品设有“SOS”按键。在发生紧急情况时，盲人可以通过按下此按键来实现急停，并迅速向家人发送自己的坐标，通知家人自己位置信息。
本实施例中，所述控制处理单元采用STM32系列处理器，所述工控主机内的处理模块采用8代Inter处理器，所述姿态传感器采用mpu9250、MPU6000或MPU9250型传感器进行角度检测，所述激光雷达采用RPLIDAR A2型激光雷达，所述智能终端为智能手机或平板电脑，所述通信单元为Wifi模块或蓝牙模块。
本实施例中，道路探测装置的方法按以下步骤执行：
S1:将小车放在视听障碍患者经常出行的道路环境中，小车首先利用激光雷达进行探测，同时使用SLAM算法构建需要的地图信息；
S2:根据使用需求在室内或者室外，选择对应的SLAM建图算法；
S3:通过激光雷达每当小车移动一段距离时进行不间断扫描；
S4:通过激光雷达对地图构建完成后即可开始使用导航，小车通过GPS单元识别当前位置，并使用A*算法进行全局规划到达终点的路径，或者使用DWA算法进行局部路径规划，路径规划好后，开始引导使用者往终点行走，在行走过程中，不断的通过激光雷达扫描，并且采用amcl定位系统，以2d方式对AI导航小车定位，使用粒子滤波算法跟踪机器人在已知地图中的位姿，不断重新规划路径，最终将使用者安全带到终点。小车避障采用激光雷达核心测距通过顺时针旋转，可实现对周围环境的360度全方位扫描测距检测，从而获得周围环境的轮廓图，小车首先是对自身进行定位，在定位的基础上，激光雷达或者深度摄像头来对自身定位进行修正，并利用期间获取的环境信息不断更新构建的环境地图。定位及路径规划功能实现使用思岚A2激光雷达，通过其核心测距通过顺时针旋转，可实现对周围环境的360度全方位扫描测距检测，从而获得周围环境的轮廓图。
本实施例中，在步骤S4中，通过激光雷达进行采集X方向、Y方向、旋转加速度、平移最大速度、平移最小速度、方向最大速度、方向最小速度以及最大旋转速度和最小旋转速度的绝对值，以及步长的参数通过A*算法或DWA算法进行路径规划。
本实施例中，所述麦克风实时的采集视听障碍患者的语音指令，通过工控主机进行识别并控制小车执行相应指令。语音交互是由麦克风采集声音模拟信号，通过语音识别技术解析出语音信息，由工控主机将解析出的语音的信息，利用语音合成技术，在经过扬声器输出声音，并执行相应的动作，实现语音交互。
在联网的情况下，完整的实现过程如下：
①唤醒机器小车，对准麦克风呼叫唤醒词，当机器小车成功识别唤醒词会给出回应；
②当识别成功，等待两三秒钟，对机器小车呼出所需要执行的指令，如查询广州天气，说个绕口令，导航到某个地点等；
③当机器小车识别成功呼出的指令之后，小车会针对指令做出对应动作，如反馈查询到的广州天气，说一个绕口令，导航去到指定点。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种组合式杠杆车架拖车