阅读说明：本技术 一种智能nfc手杖及其障碍物检测方法 (Intelligent NFC walking stick and obstacle detection method thereof ) 是由 何富运 管旭升 罗玉玲 苏珉 王勋 黄晓明 张耀 于 2020-05-20 设计创作，主要内容包括：本发明公开了一种智能NFC手杖及其障碍物检测方法,属于电子电路技术领域,包括伸缩组件和抓柄,所述抓柄设置在伸缩组件的顶部,所述抓柄上设置有触摸开关、LED指示灯、NFC模块、定位模块、无线充电接收模块、电池模块和控制器模块。通过在手杖扶手处内集成NFC芯片,使手杖能够在实现辅助行走的基础上具有传统门禁卡和交通卡的功能。老人由于年事已高,自身行动不便、反应迟钝、记忆力下降,当他们拄着拐杖通过小区门及单元门或者乘坐公交车、地铁时,本发明能让老人无需再翻找对应的门禁卡或交通卡,仅需要用手杖的扶手接触相应的卡片感应位置,即可通过小区门、单元门或者完成地铁、公交的购票。(The invention discloses an intelligent NFC walking stick and an obstacle detection method thereof, and belongs to the technical field of electronic circuits. Through the NFC chip of integration in stick handrail department, make the stick can have the function of traditional entrance guard card and traffic card on the basis of realizing supplementary walking. The old people have high ages, are inconvenient to move, slow in response and low in memory, and when the old people lean on the walking stick to pass through the residential quarter door and the unit door or take a bus or a subway, the old people can pass through the residential quarter door and the unit door or finish ticket purchasing of the subway or the bus by only contacting the corresponding card induction position with the handrail of the walking stick without finding the corresponding access card or traffic card.)

一种智能NFC手杖及其障碍物检测方法

技术领域

本发明涉及电子电路技术领域，尤其涉及一种智能NFC手杖及其障碍物检测方法。

背景技术

伴随着社会的发展，中国人口老龄化增速已经达到世界第一。预计在2030 年，中国65岁以上人口占比将超过日本，成为全球人口老龄化程度最高国家。至2050年，中国社会将进入深度老龄化阶段，60岁以上人口占比超30％。老人作为社会上占比越来越大的一个群体，相较于年轻人，行动相对不便，学习能力及反应能力退化，需要更多的关爱和照顾，使他们能够在更好地生活。现有很多的老年人进出小区会忘记带门禁卡，或者搭交通工具时，忘记拿I C 卡等，同时老年人动作比较慢需要从口袋或者背包等拿出时，需要花费较多的时间，因此，需要设计一种智能手杖，更好的为老年人服务。

发明内容

本发明的目的在于提供一种智能NFC手杖及其障碍物检测方法，解决现有老年人出门容易忘记带门禁卡和公交车卡等的技术问题。

一种智能NFC手杖，包括伸缩组件和抓柄，所述抓柄设置在伸缩组件的顶部，所述抓柄上设置有触摸开关、LED指示灯、NFC模块、定位模块、无线充电接收模块、电池模块和控制器模块，所述NFC模块、定位模块、无线充电接收模块、电池模块和控制器模块均设置在抓柄的内部，所述触摸开关设置在抓柄的头部顶端，所述LED指示灯内嵌设置在抓柄的前端，所述无线充电接收模块与电池模块连接，所述电池模块经触摸开关与控制器模块连接供电，所述LED指示灯、NFC模块和定位模块均与控制器模块连接。

进一步地，所述伸缩组件由若干根相互内嵌的嵌套管组成，嵌套管的顶部外侧设置有外螺纹，嵌套管的底部内侧设置有内螺纹，嵌套管的外螺纹与前端的嵌套管的内螺纹螺纹连接。

进一步地，所述定位模块包括ATK1218-BD位置获取子模块和GPRS A6子模块，所述ATK1218-BD位置获取子模块和GPRS A6子模块均与控制器模块连接，所述GPRS A6子模块与远程用户端无线连接。

上述方案还包括摄像头和扬声器，所述摄像头和扬声器均是设置在抓柄前端底部，摄像头和扬声器均与控制器模块连接。

所述NFC模块使用主控芯片型号为TRF7970A芯片，NFC模块与控制器模块的串口1连接。

一种智能NFC手杖的障碍物检测方法，所述方法包括如下步骤：

步骤1：使用摄像头拍摄具有障碍物的路面照片，并把拍照的照片作为障碍物图像的样本库；

步骤2：分别对每一张样本库图像增强处理，扩充样本库图像的数量，数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理；然后对障碍物图像中的物体的类别使用标注工具进行标注，按照特定协议将标注的数据信息以PASCAL VOC格式储存文件；

步骤3：构建图像的检测模型，其模型是由特征提取网络，空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，用于生成障碍物图像的障碍物特征图、并利用3种不同尺度的特征图区域上对障碍物进行检测和识别；

步骤4：训练检测模型，通过随机梯度下降法对检测模型进行训练得到障碍物模型后，将待检测的障碍物图像输入训练好的模型进行测试，实现障碍物检测，发现障碍物后进行使用扬声器(11)播报给用户。

所述步骤2中，对障碍物图像进行数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，扩充障碍物样本的数据集；采用所述的使用标注工具为标签制作工具Label Img；所述的标注信息文件包括图像中的障碍物标注框的坐标、类别标签和保存图片路径以XML格式储存在文件中。

所述步骤3中，由4个密集模块组成的DensNet特征提取网络由组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，其表达公式为x_l＝H_l([x₀,x₁,x₂,...,x_l-1])；其中H_l代表由BN层、ReLU层和3×3卷积层组成的复合函数，[x₀,x₁,x₂,...,x_l-1]代表拼接来自之前不同层的特征图；在相邻的两个密集模块之间由1×1的卷积层和2 ×2的平均池化层组成过渡层以实现特征图降维；在密集模块后特征图维度为13×13、26×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，构成多尺度预测层；在多尺度预测层中***空间金字塔网络实现特征金字塔网络。

所述步骤3中障碍物的检测流程如下：

将图像大小调整为416×416，然后将图像分割成S×S个网格，如果目标的中心位于网格单元中，则在该网格中执行检测过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体的类别信息概率C，置信度Confidence得分由公式

获得；置信度 Confidence得分等于表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w 和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0,否则为 1；

对上一步中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理；

通过对图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理；

通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。

所述步骤4中训练的损失函数为：

Loss＝Error_coord+Error_iou+Error_cls

其中Error_coord、Error_iou和Error_cls分别表示预测包围盒的误差、IOU误差和分类误差；λ_coord为坐标误差权重；S²是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果等于1，则第j个包围框在第i网格内覆盖了目标；否则等于0；

为预测边界框的中心坐标值及其宽度和高度， (x_i,y_i,w_i,h_i)为真实的边界框的中心坐标值及其宽度和高度；λ_noobj为对边界框进行预测时置信度损失的权重；c_i为预测的置信度；为真实的置信度；p_i(c)是在网格i内目标属于c的真实概率，是预测的概率。

本发明采用了上述技术方案，本发明具有以下技术效果：

(1)本发明通过在手杖扶手处内集成NFC芯片，使手杖能够在实现辅助行走的基础上具有传统门禁卡和交通卡的功能。老人由于年事已高，自身行动不便、反应迟钝、记忆力下降，当他们拄着拐杖通过小区门及单元门或者乘坐公交车、地铁时，本发明能让老人无需再翻找对应的门禁卡或交通卡，仅需要用手杖的扶手接触相应的卡片感应位置，即可通过小区门、单元门或者完成地铁、公交的购票，本手杖内部还嵌入了GPS北斗双定位芯片ATK1218-BD，相较于传统单模GPS定位模块，ATK1218-BD拥有更快的响应时间与启动速度，且定位信息更为精准，可以更大程度地防止老人意外走失；本手杖支持无线充电功能，老人无需寻找对应的充电器以及将充电头***充电口，将本手杖放置于适配的无线充电器上即可进行无线充电，免去了传统充电方式繁杂的步骤，一步到位，更加贴合老人的需求。

(2)本手杖还具有可伸缩的特点，在无须使用的时候可以将拐杖折叠收起，克服了传统手杖在无须使用时无处安放的缺点；在很大程度上方便了老人的出行，克服了传统的卡片易丢失、易损坏、难寻找等缺点，人性化地将门禁卡与交通卡通过NFC技术集成在手杖上，使老人无需翻找、辨识卡片即可通过小区门、单元门或者完成地铁、公交的购票，并同时具有易充电、方便快速定位等优点，从而让老人拥有更加舒适安全的生活体验。

(3)该方法采用深度学习算法设计，可以实现老人前端路况的智能检测，准确率高，误检率低，检测速度快，相对于现有的传统检测方法优势明显，能够有效的减少老年人因为路面障碍物出现绊倒等情况，有效的保护了老年人，应用前景良好。

附图说明

图1是本发明的手杖结构示意图。

图2是本发明的手杖抓柄结构示意图。

图3是本发明的伸缩杆结构示意图。

图4是本发明的电路框图。

图5是本发明的NFC模块电路原理图。

图6是本发明的ATK1218-BD模块原理图。

图7是本发明的GPRS A6模块原理图。

图8是本发明的无线充电接收模块结构示意图。

图中标号：1-触摸开关；2-LED指示灯；3-NFC模块；4-定位模块；5- 无线充电接收模块；6-电池模块；7-控制器模块；8-伸缩组件；9-抓柄；10- 摄像头；11-扬声器；12-外螺纹；13-内螺纹。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

如图1-2所示，根据本发明的一种智能NFC手杖，包括伸缩组件8和抓柄9，所述抓柄9设置在伸缩组件8的顶部。所述抓柄9上设置有触摸开关1、 LED指示灯2、NFC模块3、定位模块4、无线充电接收模块5、电池模块6和控制器模块8。所述NFC模块3、定位模块4、无线充电接收模块(5)、电池模块6和控制器模块8均设置在抓柄9内部。所述触摸开关1设置在抓柄9的头部顶端，所述LED指示灯2内嵌设置在抓柄9的前端，所述无线充电接收模块5与电池模块6连接，所述电池模块6经触摸开关1与控制器模块8 连接供电。所述LED指示灯2、NFC模块3和定位模块4均与控制器模块8连接。

触摸开关1为TTP223触摸开关，其与MCU电气连接，用于开启和关闭整个系统。LED指示灯即三颗并列嵌入手杖顶部的RGB全彩LED灯珠(具体嵌入方式详见图1)，其与MCU控制模块电气连接，用于提示电池电量信息以及 NFC模块的工作状态信息.

如图3所示，所述伸缩组件8由若干根相互内嵌的嵌套管组成，嵌套管的顶部外侧设置有外螺纹12，嵌套管的底部内侧设置有内螺纹13，嵌套管的外螺纹与前端的嵌套管的内螺纹13螺纹连接。伸缩组件模块即带有螺纹的橡胶圈，用于实现手杖的伸缩功能。

如图6-7所示，所述定位模块4包括ATK1218-BD位置获取子模块和GPRS A6子模块，所述ATK1218-BD位置获取子模块和GPRS A6子模块均与控制器模块(8)连接，所述GPRS A6子模块与远程用户端无线连接。ATK1218-BD模块用于获取北斗及GPS的定位信息；GPRS A6模块用于将ATK1218-BD模块获取的定位信息上传。二者与MCU控制模块电气连接，MCU控制模块通过串口2与 ATK1218-BD模块进行通讯，实时获取当前坐标位置信息，再将处理后的信息通过串口3发送给GPRS A6模块，由该模块完成上传操作。

无线充电接收模块5为TP5100开关降压型锂电池充电管理芯片与绕线线圈连接构成，具体详见无线充电接收模块图8。电池模块与MCU控制模块和定位模块以及无线充电接收模块电气连接，为MCU控制模块和定位模块提供电能，并接收储存无线充电接收模块传输的电能。所述MCU模块即 STM32F103C8T6，用于统筹调度智能手杖内所有模块的有序运行。

如图2所示，上述方案还包括摄像头10和扬声器11，所述摄像头10和扬声器11均是设置在抓柄9前端底部，摄像头10和扬声器11均与控制器模块8连接。

如图4所示，所述NFC模块3使用主控芯片型号为TRF7970A芯片，NFC 模块3与控制器模块8的串口1连接。NFC模块包括TRF7970A芯片及其***电路，其与MCU控制模块电气连接，MCU控制模块通过串口1交换数据的方式控制TRF7970A芯片，保证NFC模块的正常运行。

所述触摸开关为TTP223触摸开关，该开关与MCU上的GPIO口连接，使用者长按该开关时，其引脚上的高低电平变化通过GPIO反馈给MCU，MCU通过判断对应的高低电平变化持续时间，当电平变化时间突破设定的阈值(三秒) 时，MCU退出低功耗模式，开始运行整个系统，当使用者再次长按三秒后，MCU 结束当前运行的所有任务，进入低功耗模式，系统进入休眠状态，等待下一次的长按唤醒。

所述LED指示灯模块为三颗嵌入手杖顶部的RGB全彩灯珠。三颗灯珠与MCU 通过GPIO口连接，当MCU处于低功耗模式时，MCU控制所有灯珠熄灭，当MCU 处于运行状态时，控制最左一颗长亮为蓝色；当NFC模块进行读卡、复制卡操作时，其通过串口1与MCU交换数据，当MCU接收到NFC模块处于读卡、复制卡状态的提示指令时，控制位于中间的灯珠闪烁1S间隔的红光，当NFC 完成读卡、复制卡操作后，其通过串口1向MCU发送完成提示指令，MCU接受到此指令后控制位于中间的灯珠长亮五秒绿光，然后熄灭；MCU每30S检查一次电池电量，当检测到电池电量高于百分之五十时，MCU控制位于右侧的灯珠长亮绿光，当检测到电量高于百分之二十低于百分之五十时，MCU控制该灯珠长亮红光，当检测到电量低于百分之二十时，MCU控制该灯珠闪烁间隔1S的红光。

所述NFC模块为TRF7970A芯片及其***电路，TRF7970A是一款用于 13.56MHzNFC/RFID系统的集成式模拟前端(AFE)和多协议数据组帧器件，支持所有的三种NFC工作模式：读/写器模式、对等模式和卡仿真模式，在本发明中主要用到读/写器模式和卡仿真模式。在MCU处于运行状态时，使用者短暂触摸接触开关模块(约1S)，MCU检测到电平变化后通过串口1向TRF7970A 发送读卡指令，TRF7970A接收到读卡指令后修改自身寄存器，进入读/写器模式，此时将需要复制的卡片贴近手杖扶手端即可完成卡片信息的录入。在完成录入后，TRF7970A通过串口1向MCU控制模块发送表示读卡成功的指令，在此之后修改自身寄存器，进入卡仿真模式，仿真曾经读取过的卡片，从而做到代替原有的卡片。

所述定位模块由两个模块组成，分别是ATK1218-BD模块与GPRS A6模块。ATK1218-BD模块用于获取北斗及GPS的定位信息，并将获取的信息通过串口传输的方式传递至MCU串口2，MCU在获取串口2传递回的数据后将其处理成特殊格式的数据包，并通过串口3发送给GPRS A6模块；GPRS A6模块将MCU 处理后的定位信息上传至云服务器，再由服务器发送给手机端，手机端解析数据包后将坐标信息显示在地图软件上，从而完成对手杖使用者的定位。

所述无线充电接收模块在接触到无线充电器后，接收模块内置的线圈便会因为电磁感应产生一定的电流开始为手杖内的电池充电。

所述电池模块即一定容量的锂电池。

所述的STM32F103C8T6MCU控制模块负责接收NFC的回传信息以及电池电量信息，并按前文所述操作一系列其他模块。

所述带有螺纹的橡胶圈能够实现拐杖在伸长至最长时能够通过顺时针扭动固定，要将拐杖收起时，逆时针扭动拐杖杆，即可松开咬合的各节杖体，然后逐节收起即可。

一种智能NFC手杖的障碍物检测方法，所述方法包括如下步骤：

步骤1：使用摄像头10拍摄具有障碍物的路面照片，并把拍照的照片作为障碍物图像的样本库。先是人工进行拍照建立样本库先，同时对样本库的每个图像的障碍物的具体信息进行人工标注。

步骤2：分别对每一张样本库图像增强处理，扩充样本库图像的数量，数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理；然后对障碍物图像中的物体的类别使用标注工具进行标注，按照特定协议将标注的数据信息以PASCAL VOC格式储存文件。对障碍物图像进行数据增强的方法包括对图像进行水平翻转、垂直翻转、添加随机噪声和随机旋转处理，扩充障碍物样本的数据集；采用所述的使用标注工具为标签制作工具Label Img；所述的标注信息文件包括图像中的障碍物标注框的坐标、类别标签和保存图片路径以XML格式储存在文件中。

步骤3：构建图像的检测模型，其模型是由特征提取网络，空间金字塔网络和多尺度预测层构建的特征金子塔网络组成，用于生成障碍物图像的障碍物特征图、并利用3种不同尺度的特征图区域上对障碍物进行检测和识别。

由4个密集模块组成的DensNet特征提取网络由组成替换原有的特征提取的网络，其作用是保障在各个卷积层之间的信息流更有效、阻止梯度消失和加强特征重用，其表达公式为x_l＝H_l([x₀,x₁,x₂,...,x_l-1])；其中H_l代表由BN层、 ReLU层和3×3卷积层组成的复合函数，[x₀,x₁,x₂,...,x_l-1]代表拼接来自之前不同层的特征图；在相邻的两个密集模块之间由1×1的卷积层和2×2的平均池化层组成过渡层以实现特征图降维；在密集模块后特征图维度为13×13、26 ×26和52×52时，这三个尺度的特征图通过卷积核的方式实现局部的特征交互，构成多尺度预测层；在多尺度预测层中***空间金字塔网络实现特征金字塔网络。

障碍物的检测流程如下：

将图像大小调整为416×416，然后将图像分割成S×S个网格，如果目标的中心位于网格单元中，则在该网格中执行检测过程；每个网格单元分别预测B个包围框、包围框的置信度Confidence得分和物体的类别信息概率C，置信度Confidence得分由公式获得；置信度 Confidence得分等于表示真实包围框和预测包围框之间的交并比；预测包围框的坐标标记为(x,y,w,h)；其中x和y表示预测包围框的中点坐标，w 和h表示预测包围框的长和宽；如果网格单元中没有对象，则应为0,否则为1。

对上一步中获得的预测包围框坐标(x,y,w,h)使用logistic归一化处理。

通过对图像中满足置信度Confidence阈值的区域采用非极大值抑制算法处理。

通过非极大值抑制的处理结果，获取标定预测包围框所对应的坐标范围和类别信息。

步骤4：训练检测模型，通过随机梯度下降法对检测模型进行训练得到障碍物模型后，将待检测的障碍物图像输入训练好的模型进行测试，实现障碍物检测，发现障碍物后进行使用扬声器11播报给用户。

训练的损失函数为：

Loss＝Error_coord+Error_iou+Error_cls

其中Error_coord、Error_iou和Error_cls分别表示预测包围盒的误差、IOU误差和分类误差；λ_coord为坐标误差权重；S²是将输入图像分割为的网格数，B是每个网格生成的包围框数；如果等于1，则第j个包围框在第i网格内覆盖了目标；否则等于0；为预测边界框的中心坐标值及其宽度和高度， (x_i,y_i,w_i,h_i)为真实的边界框的中心坐标值及其宽度和高度；λ_noobj为对边界框进行预测时置信度损失的权重；c_i为预测的置信度；

为真实的置信度；p_i(c)是在网格i内目标属于c的真实概率，是预测的概率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。