阅读说明：本技术 耳穴引导装置及方法 (Auricular point guiding device and method ) 是由 张以涛 张俊 于 2019-12-25 设计创作，主要内容包括：本发明提供一种耳穴引导装置及方法,包括：结构光模组、投射模组和处理单元,所述结构光模组和所述投射模组分别与所述处理单元连接。其中,所述结构光模组,用于获取待采集对象的耳部图,并将所述耳部图发送至所述处理单元。所述处理单元,用于根据接收到的所述耳部图计算耳穴位置,并根据所述耳穴位置确定所述投射模组的投射方向角度,以使得所述投射模组向所述耳穴位置投射引导光。本发明的耳穴引导装置及方法,可以提升耳穴引导的准确性和直观化,有利于开展耳穴的治病诊疗与教学。(The invention provides an auricular point guiding device and method, comprising the following steps: the device comprises a structured light module, a projection module and a processing unit, wherein the structured light module and the projection module are respectively connected with the processing unit. The structured light module is used for acquiring an ear image of an object to be acquired and sending the ear image to the processing unit. The processing unit is used for calculating the auricular point position according to the received auricular diagram and determining the projection direction angle of the projection module according to the auricular point position so that the projection module can project the guide light to the auricular point position. The auricular point guiding device and the auricular point guiding method can improve the accuracy and the visualization of auricular point guiding and are beneficial to developing treatment diagnosis and teaching of auricular points.)

耳穴引导装置及方法

技术领域

本发明属于耳穴定位技术领域，具体涉及一种耳穴引导装置及方法。

背景技术

耳与脏腑经络有着密切的关系，各脏腑组织在耳廓均有相应的反应区(耳穴)，刺激耳穴，对相应的脏腑有一定的调治作用。耳穴诊疗法起源于中国，是中国传统医学针灸学的重要组成部分，是一个独特的以局部反应整体为特点的全息微针疗法。耳穴的正确定位在耳穴诊治疾病、指导教学的过程中发挥着至关重要的作用。传统的耳穴定位，主要靠医生的观察耳朵或比对耳穴图谱定位，具有一定主观性和不准确性，因此，一种能直观呈现耳朵耳穴准确位置的装置，对耳穴的治病诊疗和指导教学都有着积极的作用。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种耳穴引导装置及方法。

本发明的第一个方面提供一种耳穴引导装置，包括：结构光模组、投射模组和处理单元，所述结构光模组和所述投射模组分别与所述处理单元连接，其中，

所述结构光模组，用于获取待采集对象的耳部图，并将所述耳部图发送至所述处理单元；

所述处理单元，用于根据接收到的所述耳部图计算耳穴位置，并根据所述耳穴位置确定所述投射模组的投射方向角度，以使得所述投射模组向所述耳穴位置投射引导光。

可选地，所述耳部图包括耳部结构图和耳部图像，所述结构光模组包括依次设置的点阵投射器、红外镜头和CCD相机，其中，所述获取待采集对象的耳部图，包括：

所述点阵投射器，用于向所述耳部投射光点；

所述红外镜头，用于获取所述耳部的耳部点阵图案，获得所述耳部结构图；

所述CCD相机，用于采集耳部图像。

可选地，所述处理单元包括分割子单元、匹配子单元、识别子单元以及控制子单元；其中，

所述分割子单元，用于将所述耳部图像传入预设的区域定位网络，去除耳部周围的干扰区域，获得耳部分割图；

所述匹配子单元，用于将所述耳部分割图与所述耳部结构图相匹配，得到耳部分割结构图；

所述识别子单元，用于将所述耳部分割结构图输入预存的耳穴识别模型中，根据所述耳部分割结构图的特征信息与预存的耳穴识别模型的特征信息进行比对分析，确定所述耳穴位置；

所述控制子单元，用于根据所述耳穴位置确定所述投射模组的投射方向角度。

可选地，所述区域定位网络包括卷积结构，标准框层以及回归分类层，其中，

所述卷积结构，用于识别耳部图像的网络训练；

所述标准框层，用于存储所述卷积结构在网络训练过程中选定的耳部标准区域；

所述回归分类层，用于采用交叉熵计算候选框为目标框的概率，通过选取概率最高的候选框，获得所述耳部分割图。

可选地，所述耳部图像与所述耳部结构图的图片尺寸一致，在所述匹配子单元中，映射所述耳部分割图到耳部结构图中，相应的位置即为所述耳部分割结构图。

可选地，所述耳穴识别模型包括特征提取模块、特征模块以及识别模块，其中，

所述特征提取模块，用于提取耳部分割结构图的特征信息；

所述特征模块，预存有所述耳穴识别模型的标准耳穴特征信息；

所述识别模块，采用softmax分类器，将所述耳部分割结构图的特征信息与所述标准耳穴特征信息进行比对，以确定所述耳穴位置。

可选地，所述处理单元还包括计算模块，所述计算模块用于：

以结构光模组建立第一空间坐标系以及以投射模组建立第二空间坐标系；

计算所述第一空间坐标系与所述第二空间坐标系的转换关系；

根据耳穴在所述耳部分割图中的位置，计算所述耳穴在所述第一空间坐标系中的第一位置坐标；

根据所述转换关系，将所述第一位置坐标转换至所述第二空间坐标系中的第二位置坐标；

根据所述第二位置坐标，确定所述投射方向角度。

本发明的第二方面提供一种耳穴引导方法，包括：

获取待采集对象的耳部图；

根据接收到的所述耳部图计算耳穴位置，并根据所述耳穴位置确定投射光的投射方向角度，向所述耳穴位置投射引导光。

可选地，所述获取待采集对象的耳部图，包括：

向所述耳部投射光点；

获取所述耳部的耳部点阵图案，获得耳部结构图；

获取耳部图像。

可选地，所述根据接收到的所述耳部图计算耳穴位置，并根据所述耳穴位置确定所述投射光的投射方向角度，向所述耳穴位置投射引导光，包括：

将所述耳部图像传入预设的区域定位网络，去除耳部周围的干扰区域，获得耳部分割图；

将所述耳部分割图与所述耳部结构图相匹配，得到耳部分割结构图；

将所述耳部分割结构图输入预存的耳穴识别模型中，根据所述耳部分割结构图的特征信息与预存的耳穴识别模型的特征信息进行比对分析，确定所述耳穴位置；

根据所述耳穴位置确定所述投射光的投射方向角度。

本发明实施例的一种耳穴引导装置及方法，包括：结构光模组、投射模组和处理单元，所述结构光模组和所述投射模组分别与所述处理单元连接。其中，所述结构光模组，用于获取待采集对象的耳部图，并将所述耳部图发送至所述处理单元。所述处理单元，用于根据接收到的所述耳部图计算耳穴位置，并根据所述耳穴位置确定所述投射模组的投射方向角度，以使得所述投射模组向所述耳穴位置投射引导光。本发明的耳穴引导装置及方法，可以提升耳穴引导的准确性和直观化，有利于开展耳穴的治病诊疗与教学。

附图说明

图1为本发明的一种耳穴引导装置的组成结构示意图；

图2为本发明的耳穴引导装置的数据处理示意图；

图3为图1中的处理单元的组成示意框图；

图4为本发明的一种耳穴引导方法的流程示意图；

图5为本发明的一种耳穴引导方法中的耳部图获取流程示意图；

图6为本发明的一种耳穴引导方法中的耳穴位置计算及引导光投射的流程示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

如图1和图2所示，一种耳穴引导装置100，包括：结构光模组110、投射模组120和处理单元130，结构光模组110和投射模组120分别与处理单元130连接。其中，结构光模组110，用于获取待采集对象的耳部图，并将耳部图发送至处理单元130。处理单元130，用于根据接收到的耳部图计算耳穴位置，并根据耳穴位置确定投射模组120的投射方向角度，以使得投射模组120向耳穴位置投射引导光。

如图1所示，结构光模组110和投射模组120组成采集投射模组A。采集投射模组A通过数据线140与处理单元130相连，用于实现采集投射模组A与处理单元130间的数据与控制信号的传输。

需要说明的是，耳部图可以包括借助于结构光模组110获取得到的待识别耳朵的结构图以及相机记录的耳部图像，也可以是由其它类型的耳部图像，例如是深度图像。本实施例的投射模组120采用激光投射模组120。本发明通过结构光模组110获取耳部图，根据耳部图计算耳穴位置，结合激光投射模组120在耳部呈现耳穴位置，可以提升耳穴引导的准确性和直观化，有利于开展耳穴的治病诊疗与教学。

本实施例的耳部图包括耳部结构图和耳部图像。其中耳部结构图指由结构光照射待识别耳穴的耳部而获取到的耳部结构图，耳部图像是相机记录的耳部图像。如图1所示，结构光模组110包括依次设置的点阵投射器111、红外镜头112和CCD相机113。其中，获取待采集对象的耳部图，包括：点阵投射器111，用于向耳部投射光点。红外镜头112，用于获取耳部的耳部点阵图案，获得耳部结构图。CCD相机113，用于采集耳部图像，本实施例的CCD相机采集的耳部图像为耳部的彩色图像，彩色图像可以包含耳部更多的特征信息，方便后续对耳部图像的处理。

借助于点阵投射器111，向待识别耳部投射数以万计的光点，可以绘制出耳部的景深信息。景深的耳部识别，可以提高耳部识别的准确性和安全性。红外镜头112可以捕捉点阵投射器111投射出的红外光，获取耳部的耳部点阵图案。CCD(charge coupled device，电荷耦合器件)相机具有体积小、重量轻、不受磁场影响、具有抗震动和撞击之特性。

本装置距离耳部的距离可以为0.2m–0.6m；结构光模组110中向耳部投射的结构光的精度为±[email protected]；本实施例的点阵投射器111向耳部发射的光点数为30000；CCD相机113的分辨率为1280*1024。

具体地，开始使用耳穴引导装置100进行耳穴引导时，点阵投射器111投射光点到耳部，红外镜头112读取耳部点阵图案，捕捉耳部结构图，CCD相机113记录耳部图像。处理单元130根据耳部结构图，并结合CCD相机113记录的耳部图像，处理捕捉的耳部结构图，计算耳穴位置，并控制激光投射模组120投射激光到耳部对应耳穴，实现耳穴准确定位与引导。

如图3所示，处理单元130包括分割子单元131、匹配子单元132、识别子单元133以及控制子单元134。其中，分割子单元131，用于将耳部图像传入预设的区域定位网络，去除耳部周围的干扰区域，获得耳部分割图。匹配子单元132，用于将耳部分割图与耳部结构图相匹配，得到耳部分割结构图。识别子单元133，用于将耳部分割结构图输入预存的耳穴识别模型中，根据耳部分割结构图的特征信息与预存的耳穴识别模型的特征信息进行比对分析，确定耳穴位置。控制子单元134，用于根据耳穴位置确定投射模组120的投射方向角度。

具体地，首先，将CCD相机113记录的耳部图像传入预设的区域定位网络，区域定位网络通过去除耳部周围皮肤等干扰区域，获得耳部分割图。然后，将该耳部分割图与红外镜头112捕捉到的耳部结构图相匹配，得到耳部分割结构图，该耳部分割结构图包含的是耳部点阵图案。之后，将所述耳部分割结构图输入预存的耳穴识别模型中，根据耳部分割结构图特征信息与预存的耳穴特征进行比对分析，确定对应耳穴位置。最后，根据所述耳穴位置，调整投射模组120投射方向角度，控制投射模组120投射引导光到耳部对应耳穴，完成耳穴引导。

通过将耳部图像输入预设的区域识别网络，去除干扰区域，识别出耳部分割图，根据得到的耳部分割图，结合耳部结构图，得到耳部分割结构图，对耳部分割结构图进行特征比对，得到耳穴的定位信息。以耳部结构图和耳部图像结合的方式提取耳部特征信息，可以提高识别效率。

具体地，区域定位网络包括卷积结构，标准框层以及回归分类层。其中，卷积结构包括输入层、若干卷积层、若干池化层、全连接层以及输出层，用于识别耳部图像的网络训练。标准框层，用于存储卷积结构在网络训练过程中选定的耳部标准区域。回归分类层，用于采用交叉熵计算候选框为目标框的概率，通过选取概率最高的候选框，获得耳部分割图。

通过卷积结构、标准框层以及回归分类层，以完成对区域识别网络的训练，提高区域识别的准确度和识别效率。

具体地，耳部图像与耳部结构图的图片尺寸一致，在匹配子单元132中，映射耳部分割图到耳部结构图中，相应的位置即为耳部分割结构图。保证耳部图像与耳部结构图的图片尺寸一致，可以简化匹配计算，提高匹配过程的效率。

具体地，耳穴识别模型包括特征提取模块、特征模块以及识别模块。其中，特征提取模块，用于提取耳部分割结构图的特征信息。特征模块，预存有耳穴识别模型的标准耳穴特征信息。识别模块，采用softmax分类器，将耳部分割结构图的特征信息与标准耳穴特征信息进行比对，以确定耳穴位置。

其中，特征提取模块用于提取耳部分割结构图特征信息。特征提取模块包括输入层，若干卷积层，若干池化层，全连接层以及输出层。特征模块由预存的耳穴特征信息组成，该预存耳穴特征信息由《GB/T 13734-2008耳穴名称与定位》标准耳穴图像提取得到。识别模块采用softmax分类器，将耳部分割结构图特征信息与标准耳穴信息进行比对，得出对应的耳穴。

如图3所示，处理单元130还包括计算子单元135。计算子单元135用于：以结构光模组110建立第一空间坐标系以及以投射模组120建立第二空间坐标系；计算第一空间坐标系与第二空间坐标系的转换关系；根据耳穴在耳部分割图中的位置，计算耳穴在第一空间坐标系中的第一位置坐标；根据转换关系，将第一位置坐标转换至第二空间坐标系中的第二位置坐标；根据第二位置坐标，确定投射方向角度。

分别以结构光模组110和投射模组120建立空间坐标系后，可以确定彼此位移与旋转空间位置关系。由此，根据耳穴在耳部分割图中的位置，便可确定该耳穴在结构光模组110空间坐标系中的位置，进而转换为在投射模组120空间坐标系位置，从而确定投射光的投射方向角度。

如图4所示，本发明的第二方面提供一种耳穴引导方法S100，该耳穴引导方法是基于本发明的第一方面提供的耳穴引导装置100实现的，耳穴引导装置100的具体结构参见上文记载，在此不做赘述。耳穴引导方法S100包括：

步骤S110、获取待采集对象的耳部图；

步骤S120、根据接收到的耳部图计算耳穴位置，并根据耳穴位置确定投射光的投射方向角度，向耳穴位置投射引导光。

通过获取待采集对象的耳部图，根据接收到的耳部图计算耳穴位置，并根据耳穴位置确定投射光的投射方向角度，向耳穴位置投射引导光，可以提升耳穴引导的准确性和直观化，有利于开展耳穴的治病诊疗与教学。

具体地，如图5所示，步骤S110中，获取待采集对象的耳部图，包括：

步骤S111、向耳部投射光点；

步骤S112、获取耳部的耳部点阵图案，获得耳部结构图；

步骤S113、获取耳部图像。

具体地，如图6所示，根据接收到的耳部图计算耳穴位置，并根据耳穴位置确定投射光的投射方向角度，向耳穴位置投射引导光，包括：

步骤S121、将耳部图像传入预设的区域定位网络，去除耳部周围的干扰区域，获得耳部分割图；

步骤S122、将耳部分割图与耳部结构图相匹配，得到耳部分割结构图；

步骤S123、将耳部分割结构图输入预存的耳穴识别模型中，根据耳部分割结构图的特征信息与预存的耳穴识别模型的特征信息进行比对分析，确定耳穴位置；

步骤S124、根据耳穴位置确定投射光的投射方向角度。

以耳部结构图和耳部图像结合的方式提取耳部特征信息，可以提高识别效率，实现耳穴准确定位与引导。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。