具体实施方式

在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

图1示出了根据本发明实施例提供的基于图像识别定位的咽拭子采集方法的原理。

如图1所示，咽拭子采集机构1滑动连接在导轨7，可沿导轨7进行直线运动，咽拭子上料机构5设置在导轨7的一侧，用于将咽拭子6插装到咽拭子采集机构1上，咬口器8位于导轨7的一端，被采集者将咬口器 8咬在嘴里，保持口腔的打开，通过咬口器8上的压舌板压住舌头，露出悬雍垂，使得悬雍垂能够被图像采集。

在导轨7上分别安装有第一限位开关9、第二限位开关10、第三限位开关11，第一限位开关9位于咽拭子采集机构1的初始位置，第二限位开关10位于咽拭子采集机构1的远端视觉定位位置，第三限位开关11位于咽拭子采集机构1的近端视觉定位位置，当咽拭子采集机构1触发第一限位开关9、第二限位开关10或第三限位开关11时，控制咽拭子采集机构1停止运动，停留在初始位置、远端视觉定位位置或近端视觉定位位置。

图2示出了根据本发明实施例提供的咽拭子采集机构的结构。

如图2所示，在咽拭子采集机构1上安装有图像采集模块2、激光测距模块3和光源照明模块4，在咽拭子采集机构1的内部安装压力传感模块。

图像采集模块2采用高清无畸变定焦摄像头(忽略较小畸变)，摄像头的默认分辨率为width×height，用于对被采集者的口腔进行拍照。图像采集模块2在近端视觉定位位置对被采集者的口腔进行拍照获得近端采集图像，图像采集模块2在远端视觉定位位置对被采集者的口腔进行拍照获得远端采集图像。

图像采集模块2将采集到的远端采集图像和近端采集图像发送至图像处理模块进行图像处理。图像处理模块采用拥有较高图形处理能力计算机 (或者性能相对较高的卡片式计算机树莓派)，并且在硬件设备上安装 Python(或者C/C++)软件平台以及对应版本OpenCV库包。

在实际应用时，图像处理模块基于智能的综合视觉定位方法对图像采集模块传输来的远端采集图像和近端采集图像进行处理分析，分别在导轨 7的远端视觉定位位置和近端视觉定位位置获取咽拭子采集机构1的水平方向和竖直方向的修正信息，并将修正信息通过串口发送给咽拭子采集机构1的驱动控制器，将咽拭子采集机构1调整到正确的位置。

激光测距模块3采用TOF(飞行时间)激光测距传感器。激光测距传感器的量程为Q米(Q≥0.5m)，实际使用时可以根据具体的采集机构运动行程选择合适量程的传感器。激光测距传感器的测距精度在1mm以内。

光源照明模块4采用(发光二极管)面光源，用于对被采集者的口腔进行在照明，照明方式为同向直接照明，且光源照明模块亮度可以调节。

压力传感模块用于在咽拭子6与口腔接触后，检测咽拭子6向口腔施加的压力。

当咽拭子采集机构1移动到远端视觉定位位置时，通过图像采集模块 2对被采集者的口部位置进行拍照，获得远端采集图像，远端采集图像显示有咬口器8的圆形轮廓，对咬口器8的圆形轮廓进行图像视觉定位，确定咽拭子采集机构1的移动距离，调整咽拭子采集机构1的位置，实现对被采集者口腔的粗定位。

在调整好咽拭子采集机构1的位置后，驱动咽拭子采集机构1从远端视觉定位位置移动至近端视觉定位位置，通过图像采集模块2对被采集者的口部内部进行拍照，获得近端采集图像，近端采集图像中显示有悬雍垂，对悬雍垂进行图像视觉定位，基于悬雍垂的位置确定咽拭子采集机构1的移动距离，调整咽拭子采集机构1的位置，实现对被采集者口腔内采样区域的精细定位。

在拍照近端采集图像之前，先开启激光测距模块3，使激光测距模块 3发出的激光束与咽拭子采集机构1夹持的咽拭子6的正面投影位置重合，以激光束的圆心坐标近似代替咽拭子6的棉签的坐标，激光束的圆心坐标与悬雍垂的中心坐标之间的距离即为咽拭子采集机构1的移动距离。

在调整好咽拭子采集机构1的位置后，驱动咽拭子采集机构1从近端视觉定位位置向被采集者移动，在咽拭子采集机构1移动的同时开启激光测距模块3，当激光测距模块3实时测量口腔内部采集区域到自身的距离 D。当D小于或等于设定的激光阈值距离D`时，激光测距模块3向咽拭子采集机构1发送标记信号，并关闭激光测距模块3。咽拭子采集机构1接收到激光测距模块3发送的标记信号后，开始减速。

在咽拭子采集机构1夹持的咽拭子6与被采集者的口腔接触时，通过压力传感模块检测咽拭子6对被采集者的口腔施加的压力，如果咽拭子6 的棉签触碰到口腔之后咽拭子采集机构1继续前进，则压力传感模块测得的压力F会不断增大，当F大于或等于设定的压力阈值F`时，控制咽拭子采集机构1停止前进，然后进行咽拭子样本的采集动作。

本发明中的图像视觉定位方法主要包括两部分：一是当咽拭子采集机构1移动至远端视觉定位位置时，基于咬口器圆形轮廓的视觉定位方法，实现远端视觉定位；二是当咽拭子采集机构1移动至近端视觉定位位置时，基于口腔内部悬雍垂特征的视觉定位方法，实现近端视觉定位。

综合近端视觉定位位置、远端视觉定位位置的图像效果，可选择合适的照明亮度(远端视觉定位位置和近端视觉定位位置的照明亮度可以相同或者不同)。本发明设定合适、稳定的照明亮度，使远端采集图像中咬口器的圆形轮廓特征明显，以及使近端采集图像中口腔内部结构清晰。

本发明仅在图像采集模块2拍照时开启光源照明模块4，在拍照后立即控制关闭光源照明模块4，即实际照明时间较短，避免长时间强光照明导致被采集者双目晕眩不适。

激光测距模块3只在两个时刻开启，一个时刻是在获得近端采集图像之前，对激光束的像素坐标位置进行标定，获得圆心像素坐标。另一个时刻是从近端视觉定位位置向被采集者移动的过程中，实时探测到被采集者口腔内部采集区域的距离。

图3示出了根据本发明实施例提供的基于图像识别定位的咽拭子采集方法的流程。

如图3所示，本发明实施例提供的基于图像识别定位的咽拭子采集方法，包括如下步骤：

S1、将激光测距模块、图像采集模块及咽拭子采集机构同步移动至相距被采集者的第一预设位置，通过图像采集模块对被采集者的口腔部位进行拍照，获得远端采集图像。

第一预设位置即为远端视觉定位位置，在远端视觉定位位置对被采集者的口腔部位进行拍照，获得远端采集图像。

如图4所示，远端采集图像中显示有咬口器的圆形轮廓，由于咬口器的位置正对悬雍垂，因此先通过识别咬口器的圆形轮廓来实现初步的图像视觉定位，避免咽拭子采集机构偏移出咬口器的圆形区域。

S2、通过图像处理模块识别远端采集图像中咬口器的圆形轮廓，获取咬口器圆心像素坐标，修正咽拭子采集机构的位置，使得咬口器圆心像素坐标与预先标定的咬口器圆心像素标准坐标重合。

步骤S2具体包括如下步骤：

S21、对远端采集图像中咬口器的颜色进行图像掩膜处理，获得包含咬口器的圆形轮廓信息的远端二值图像。

在图4中，咬口器为白色，识别咬口器的白颜色轮廓区域，进行图像掩膜处理。当然咬口器也可以采用其他的颜色，对不同颜色的咬口器进行对应颜色的掩模处理，获得对应的远端二值图像。远端二值图像如图5所示。

S22、采用霍夫圆检测方法识别远端二值图像中咬口器的圆形轮廓，基于咬口器的圆形轮廓获取咬口器圆心像素坐标。

霍夫圆检测方法为现有技术，故在此不再赘述。

在远端采集图像中咬口器圆形轮廓的检测结果如图6所示。

S23、计算远端二值图像中咬口器圆心像素坐标与预先标定的咬口器圆心像素标准坐标之间的像素距离s，根据如下公式计算咽拭子采集机构的实际偏移距离D_f：

其中，K为远端采集图像的单位像素在咬口器的竖直平面上代表的实际距离，L₀为咬口器的竖直平面上一段已知的长度，PL为远端采集图像中 L₀对应的像素长度。

K的计算原理如图7所示：

对于远端视觉定位，咬口器的竖直平面到图像采集模块的距离为w，此时图像采集模块面向被采集者的口腔拍摄咬口器的竖直平面上一段已知长度为L₀的图像，然后通过截图软件获取图像中直线对应的像素长度 PL，再基于公式(2)计算在远端视觉定位位置时，远端采集图像的单位像素在咬口器的竖直平面上代表的实际距离K：

预先标定的咬口器圆心像素标准坐标的计算过程如下：

在远端视觉定位检测之前，先进行一次咬口器圆形轮廓的圆心像素坐标标定。即在远端视觉定位位置，直接控制调整咽拭子采集机构的水平和竖直方向至标准方向，此时获取咬口器圆形轮廓的圆心像素坐标，将其作为标准的圆心像素坐标，即预先标定的咬口器圆心像素标准坐标。

图8示出了根据本发明实施例提供的远端视觉定位的原理。

如图8所示，远端采集图像的左上角像素点为图像像素坐标系的原点 o，水平向右为x轴正方向，竖直向下为y轴正方向，m点为预先标定的咬口器圆心像素标准坐标(图8中的标准圆心)，m′点为咬口器圆心像素坐标(图8中的检测圆心)，线段mm′为咬口器圆心偏移的像素距离s。根据远端采集图像中的坐标信息，利用公式(1)计算位于远端定位位置时，从m′点移动到m点时，咽拭子采集机构实际的偏移距离D_f。

S24、根据咽拭子采集机构的实际偏移距离D_f，对咽拭子采集机构的位置进行修正，使咬口器圆心像素坐标与预先标定的咬口器圆心像素标准坐标重合。

图像处理模块在计算出实际偏移距离D_f后，会将实际偏移距离D_f发送至采集系统，再由采集系统将实际偏移距离D_f转换成咽拭子采集机构中电机需要旋转的角度和步长，控制咽拭子采集机构在水平方向和竖直方向进行移动，实现对咽拭子采集机构的引导。

S3、再将激光测距模块、图像采集模块及咽拭子采集机构同步移动至相距被采集者的第二预设位置，通过图像采集模块对被采集者的口腔内部进行拍照，获得近端采集图像；其中，第二预设位置相比第一预设位置更靠近被采集者。

第二预设位置即为近端视觉定位位置，在近端视觉定位位置对被采集者的口腔内部进行拍照，能够获得口腔内部结构清晰的近端采集图像。

如图9所示，近端采集图像中清楚的显示出悬雍垂和悬雍垂两侧的采集区域。

S4、通过图像处理模块识别近端采集图像中的悬雍垂中心像素坐标，并根据悬雍垂中心像素坐标计算采集区域的代替点像素坐标，修正咽拭子采集机构的位置，使得预先标定的光斑圆心像素坐标与代替点像素坐标重合；其中，光斑圆心像素坐标为激光器测距模块发出的激光束的圆心在近端采集图像中所对应的像素坐标。

在步骤S4中，通过图像处理模块识别近端采集图像中的悬雍垂中心像素坐标的过程如下：

S41、通过图像采集模块对被采集者的口腔内部进行至少两次拍照，获得至少两幅近端采集图像，在每幅近端采集图像中分别构建不同位置的感兴趣区域。

如图10所示，在近端采集图像中构建感兴趣区域是为了缩小视觉识别定位悬雍垂特征的检测区域，提高视觉识别定位效率。

每幅近端采集图像为相同的图像，在每幅近端采集图像中的不同区域分别构建感兴趣区域，使所有的感兴趣区域覆盖整幅近端采集图像的区域。对每幅近端采集图像的感兴趣区域进行识别，当某个感兴趣区域内识别到悬雍垂特征时，停止全部近端采集图像的识别。通过多幅近端采集图像的同时识别，能够提高识别效率。

S42、创建与感兴趣区域数量相同的检测滑窗，通过图像分类器对各检测滑窗的当前检测区域进行悬雍垂特征的识别。

在实际识别定位时，在构建的每个感兴趣区域内以设定的像素步长在水平和竖直方向上移动检测滑窗，截取检测滑窗区域内的图像进行悬雍垂特征的识别。

由于检测滑窗的数量为多个，因此可以实现多线程并行处理，多线程并行处理的原理如下：

创建多个检测滑窗，并为每个检测滑窗分配一个线程。如图11所示，在实际识别定位时，采用多幅图像同批识别的方式，根据创建的线程数量th，连续采集th幅图像。每幅图像通过一个检测滑窗(也即一个线程)和图像分类器识别处理感兴趣区域(Region OfInterest，ROI)中的一行图像区域，且每幅图像中水平方向以step1为像素步长于水平方向移动检测滑窗。对于同批识别的图像，各图像的检测滑窗移动区域在竖直方向上间隔step2。

图像分类器的的训练过程如下：

S421、采用图像特征提取方法从近端采集图像中提取显示悬雍垂特征的局部图像作为特征图像，将近端采集图像中其余的局部图像作为非特征图像。

本发明实施例中图像特征提取方法包括两种，分别为基于二值图像的特征提取方法和基于灰度图像的特征提取法。

(i)基于二值图像的特征提取法

首先，对近端采集图像进行灰度转换，获得灰度图像。

调用OpenCV库中的cv2.cvtColor函数将RGB三色通道模式表示的近端采集图像转化为单通道灰度表示的灰度图像。

其次，对灰度图像进行形态学开运算处理，消除灰度图像中的亮光区域。

调用OpenCV库中的cv2.morphologyEX函数，消除灰度图像中因反光导致亮度较高的细小区域，因反光导致亮度较高的细小区域即为亮光区域。

之后，对消除亮光区域的灰度图像进行大津法二值化处理，获得二值图像。

调用OpenCV库中的cv2.threshold函数，对灰度图像进行大津法二值化处理，获得悬雍垂特征区域明显的近端二值图像。

最后，设定局检测区域，遍历近端二值图像，将局部检测区域完全包含悬雍垂且悬雍垂位于中央的图像作为特征图像。

设定局部检测区域，其像素大小w×h，(w<width，h<height)。以局部检测区域为基础单元区域，以step为水平及竖直方向的像素步长，在近端二值图像上移动遍历采集局部二值图像数据。在采集的图像数据中，将局部检测区域完全包含悬雍垂特征且悬雍垂特征位于图像中央的图像作为特征图像，其余图像作为非特征图像。

(ii)基于灰度图像的特征提取法

首先，对近端采集图像进行灰度转变，保留图像中较多的灰度梯度信息，得到全局灰度图像。

然后，同样设定局部检测区域，其像素大小也为w×h，(w<width， h<height)。以局部图像检测区域为基础单元区域，以step为水平及竖直方向的像素步长，在全局灰度图像上移动遍历采集局部灰度图像数据。在采集的图像数据中，将局部检测区域完全包含悬雍垂特征且悬雍垂特征位于图像中央的图像作为特征图像，其余图像作为非特征图像。

S422、对特征图像和非特征图像进行分类和打标签。

首先，将获得的特征图像(根据选择方法不同为二值图像或灰度图像) 归为第一类，存入以英文ok命名的文件夹内，使其文件夹内各图像的标签均为ok。

然后，将获得的非特征图像归为第二类，存入以英文ng命名的文件内，使其文件夹内各图像的标签均为ng。

S423、根据特征图像及其标签和非特征图像及其标签，基于梯度直方图计算特征图像和非特征图像各自对应的特征向量。

分别读取两个文件夹内的局部检测图像(非特征图像和特征图像)及其标签，再基于梯度直方图计算各个局部检测图像对应的特征向量。

S424、将特征图像的特征向量和标签及非特征图像的特征向量和标签输入到支持向量机模型中进行训练，获得基于悬雍垂特征的图像分类器。

将各个局部检测图像的特征向量及标签输入到OpenCV库中的支持向量机模型中进行训练，获得基于悬雍垂特征的图像分类器。

S43、在某个检测滑窗的当前检测区域识别出悬雍垂特征时，计算该检测滑窗的当前检测区域的中心点像素坐标，作为悬雍垂中心像素坐标。

利用训练好的基于悬雍垂特征的图像分类器，识别各个检测滑窗区域内的图像。在识别一批图像的过程中，若某一个线程的滑窗内图像被识别为第一类的特征图像，则计算此滑窗区域的中心点像素坐标，并将此中心点像素坐标作为悬雍垂识别定位位置。如图12所示，为人体口腔内悬雍垂的识别检测结果。若一批图像中没有识别出第一类特征图像，则再读取下一批th幅图像进行识别定位。

在步骤S4中，根据悬雍垂中心像素坐标获取采集区域的代替点像素坐标，修正咽拭子采集机构的位置，使得预先标定的光斑圆心像素坐标与代替点像素坐标重合的过程如下：

S44、获取近端采集图像中悬雍垂中心像素坐标与采集区域的代替点像素坐标之间的像素距离h。

由于人体口腔内悬雍垂与实际咽拭子采集区域的位置相对固定，故本发明在近端采集图像中设悬雍垂中心像素坐标到采集区域的代替点像素坐标的像素距离为h。h的值可通过截图软件在近端采集图像中截取获得。

S45、基于像素距离h和悬雍垂中心像素坐标，计算采集区域的代替点像素坐标。

S46、获取预先标定的光斑圆心像素坐标与采集区域的代替点像素坐标之间的像素距离s′，根据如下公式计算咽拭子采集机构的实际偏移距离D_n：

其中，K′为近端采集图像的单位像素在悬雍垂的竖直平面上代表的实际距离，L₀′为悬雍垂的竖直平面上一段已知的长度，PL′为远端采集图像中L₀′对应的像素长度。

K′的计算原理如图13所示：

对于近端视觉定位，对于远端视觉定位，悬雍垂的竖直平面到图像采集模块的距离为w′，此时图像采集模块面向被采集者的口腔内部拍摄悬雍垂的竖直平面上一段已知长度为L₀′的图像，然后通过截图软件获取图像中直线对应的像素长度PL′，再基于公式(4)计算在近端视觉定位位置时，近端采集图像的单位像素在悬雍垂的竖直平面上代表的实际距离K′：

光斑圆心像素坐标的预先标定过程如下：

i、在第二预设位置，开启并调整激光测距模块，使激光测距模块发出的激光束与咽拭子采集机构夹持的咽拭子的正面投影位置重合。

在进行近端视觉定位之前，先开启激光测距模块，使激光测距模块发出的激光束与咽拭子采集机构夹持的咽拭子的正面投影位置重合。如图14 所示，在近端采集图像上以激光光斑的圆心位置近似代替咽拭子棉签在成像平面上的投影位置。

ii、通过图像采集模块对被采集者的口腔内部进行拍照，获得显示有激光光斑的预标定图像，对预标定图像中的激光光斑的颜色进行图像掩膜处理，获得预标定二值图像。

激光光斑在预标定图像中的坐标位置与在近端采集图像中的坐标位置相同。本发明在进行近端视觉定位之前，先预先标定出激光光斑的位置，在拍摄近端采集图像时，不开启激光测距模块，近端采集图像中直接采用预先标定出激光光斑的位置。

iii、采用霍夫圆检测方法识别预标定二值图像中激光光斑的圆形轮廓，基于激光光斑的圆形轮廓获取激光光斑的圆心像素坐标，作为光斑圆心像素坐标。

由于激光测距模块相对于咽拭子的位置相对固定，所以计算出的光斑圆心像素坐标在近端采集图像中近似不变，将其作为近端采集图像中咽拭子棉签的圆心像素坐标。

图15示出了根据本发明实施例提供的近端视觉定位的原理。

如图15所示，近端采集图像的左上角像素点为图像像素坐标系的原点o，水平向右为x轴正方向，竖直向下为y轴正方向，p点为预先标定得到的激光光斑的光斑圆心像素坐标(即咽拭子棉签的圆心像素坐标，图15 中的激光标定圆心)；q为咽拭子采集区域近似代替的像素坐标(图15中的检测区域近似点)；t点为视觉识别定位得到的悬雍垂中心像素坐标(图 15中的悬雍垂中心点)；线段qt为q点到t点的像素距离h；线段pq为p点到q点的像素距离s′。

根据t点的坐标和像素距离h计算得到q点的坐标，从p点移动到q点，咽拭子棉签需要移动的实际距离D_n通过公式(3)计算得到。

S47、根据咽拭子采集机构的实际偏移距离D_n，对咽拭子采集机构的位置进行修正，使光斑圆心像素坐标与代替点像素坐标重合。

图像处理模块在计算出实际偏移距离D_n后，会将实际偏移距离D_n发送至采集系统，再由采集系统将实际偏移距离D_n转换成咽拭子采集机构中电机需要旋转的角度和步长，控制咽拭子采集机构在水平方向和竖直方向进行移动，实现对咽拭子采集机构的引导。

在步骤S4之后，本发明实施例提供的基于图像识别定位的咽拭子采集方法还包括如下步骤：

S5、驱动咽拭子采集机构从第二预设位置向被采集者移动，同时开启激光测距模块，当激光测距模块探测到的距离小于或等于设定的激光阈值时，关闭激光测距模块，同时控制咽拭子采集机构减速。

S6、在咽拭子采集机构夹持的咽拭子与被采集者的口腔接触时，通过咽拭子采集机构内置的压力传感模块检测咽拭子对被采集者的口腔施加的压力，当压力大于或等于设定的压力阈值时，控制咽拭子采集机构停止运动，然后进行咽拭子样本的采集动作。

本发明与现有技术中采集区域的识别定位方法相比，先通过识别咬口器的圆形轮廓实现口部的图像视觉定位，防止咽拭子采集机构偏离到咬口器轮廓之外的区域，再通过识别口腔内部的悬雍垂特征实现采集区域的图像视觉定位，引导咽拭子采集机构移动至采集区域，通过两步定位来提高采集区域的图像视觉定位精度，能够精确引导咽拭子采集机构移动到采集区域的位置进行咽拭子采样。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。