阅读说明：本技术 机器人化体表病灶区域定位跟踪系统 (Robotized body surface focus area positioning and tracking system ) 是由 丛杨 唐旭 于 2019-01-10 设计创作，主要内容包括：本发明涉及机器人化体表病灶区域定位跟踪系统,该系统可利用人工标识物或皮肤表面特征定位跟踪皮肤病灶。通过检测人工标识物的位姿实现对病灶区域的跟踪；通过特征匹配的方式寻找特征点,利用特征点标记病灶区域并实现对病灶区域的跟踪。本发明能够根据医生的诊断结果,利用在皮肤表层特征自动定位病变区域,利用皮肤表面高精度三维重建技术,实现对病灶区域高精度定位,并结合机器人技术自动完成治疗。通过识别标识的位姿实现对检测的定位跟踪治疗,提升治疗的精准度。(The invention relates to a robot body surface focus area positioning and tracking system, which can position and track skin focuses by using artificial markers or skin surface features. Tracking the focus area by detecting the pose of the artificial marker; and searching for characteristic points in a characteristic matching mode, marking the focus area by using the characteristic points and realizing the tracking of the focus area. According to the invention, the lesion area can be automatically positioned by utilizing the characteristics on the surface layer of the skin according to the diagnosis result of a doctor, the high-precision positioning of the lesion area is realized by utilizing the high-precision three-dimensional reconstruction technology of the surface of the skin, and the treatment is automatically completed by combining the robot technology. The positioning tracking treatment of detection is realized through the pose of the identification mark, and the treatment accuracy is improved.)

机器人化体表病灶区域定位跟踪系统

技术领域

本发明属于医疗器械领域，具体说是一种机器人化体表病灶区域定位跟踪系统。

背景技术

随着基础医学与科技的发展，许多先进的科学技术都已经转化为先进的仪器设备用于皮肤病的治疗，比如利用308nm准分子激光治疗白癜风，311窄谱UVB治疗皮肤病、激光祛痘等等。但目前的设备大多存在一下几个问题：

1、定位不准确：目前的治疗设备大多是通过人工定位的方式将仪器的输出端放置在病变处，这样就会导致治疗范围不准确，治疗精准度不足。

2、需要人工切换病变区域：当有多处病变需要治疗时，大多需要人工变换仪器位置，效率较低。

3、病人移动导致病变区域无法正常接受治疗：在治疗过程中，病人难免不会发生运动，从而导致病变区域的移动，治疗效果下降。

发明内容

本发明目的是提供一种机器人化体表病灶区域定位跟踪系统。

本发明为实现上述目的所采用的技术方案是：机器人化体表病灶区域定位跟踪系统，该系统用于利用人工标识物或皮肤表面特征定位跟踪皮肤病灶。

机器人化体表病灶区域定位跟踪系统，包含：

图像采集装置，用于采集包含标识物的图像并识别标识，获取标识物位姿；识别假设病灶区域，获取病灶操作点位置；

定位模块，用于根据标识物所在平面的位置和姿态得到机器人末端位姿；

人机交互系统，用于人工筛选含有标识物标记的皮肤表面病灶区域；

机器人控制系统，用于控制机器人移动至操作点，使机器人以得到末端位姿对操作点进行操作。

所述采集包含标识物的图像信息并识别标识，包含以下步骤：

首先将采集到的RGB图像信息进行图像空间转换，转换到HSV颜色空间，并选取H通道作为下一步的处理数据；

然后采用自适应阈值的方法对H通道图像进行阈值处理，转换为二值图像；提取二值图像轮廓，并利用人工标识物的几何特性筛选出人工标识物；

再利用几何投影关系获取标识物所在平面的位置、姿态，并反馈给机器人控制系统。

所述识别假设病灶区域，获取病灶操作点位置，包含以下步骤：

首先采集人工标识物标记皮肤表面的多光谱图像，根据人体表层皮肤组织在多光谱成像下的物理特性设定阈值，并对多光谱图像进行阈值分割，提取分割轮廓得到假设病灶区域；

根据假设病灶区域的轮廓、颜色、病灶分布对皮肤表面进行分析，得出的皮肤表面参数包括病灶区域占比、病灶等级中的至少一种；然后再对假设病灶区域进行表面三维重建，选取假设病灶区域内表面法线方向与人工标识物法线夹锐角最小的点作为操作点。

机器人化体表病灶区域定位跟踪系统，包含：

图像采集装置，用于对指定的病灶检测区域进行皮肤表面多光谱成像，获取假设病灶区域；

人机交互系统，用于人工设定病灶检测区域和人工筛选假设病灶区域；

定位模块，用于根据病灶周围的皮肤表面特征，定位跟踪病灶治疗点；

机器人控制系统，用于控制机器人移动至操作点，使机器人根据病灶位姿进行操作。

所述对指定的病灶检测区域进行皮肤表面多光谱成像，获取假设病灶区域，包含以下步骤：

首先采集病灶检测区域内皮肤表面的多光谱图像，根据人体表层皮肤组织在多光谱成像下的物理特性设定阈值，并对多光谱图像进行阈值分割，提取分割轮廓得到假设病灶区域；

根据病灶区域的轮廓、颜色、病灶分布对皮肤表面进行分析，得出的皮肤表面参数包括病灶区域占比、病灶等级中的至少一种；然后再对假设病灶区域进行表面三维重建，选取假设病灶区域内表面法线方向与人工标识物法线夹锐角最小的点作为操作点。

所述筛选假设病灶区域，并设定需治疗区域具体如下：显示分割得到的假设病灶区域位置，通过人机交互系统筛选出的假设病灶区域作为待治疗病灶区域，添加至等待队列中。

所述利用皮肤表面特征，定位病灶位姿，具体为循环等待队列，完成对队列中全部区域的操作：循环至当前待治疗病灶区域，并在病灶周边提取特征点，利用特征匹配方法匹配到当前皮肤表面的对应病灶区域；然后再对待治疗病灶区域进行表面三维重建，并在待治疗病灶区域内选定操作点，选定规则是操作点的法线方向与所有特征点通过拟合得到的平面法线方向所构成的锐角最小。

所述控制机器人移动至操作点进行操作，具体为：根据当前病灶操作点位姿得到机械臂末端位姿，并控制机器人末端运动至该位姿；机器人以该位姿对操作点进行操作；所述机械臂末端位姿为当机器人末端运动到该位姿之后，末端搭载的图像采集装置的镜头光轴线与病灶操作点法线重合，且治疗点位于图像中心。

本发明具有以下有益效果及优点：

1.本发明能够根据医生的诊断结果，利用在皮肤表层特征自动定位病变区域，利用皮肤表面高精度三维重建技术，实现对病灶区域高精度定位，并自动完成治疗。

2.本发明能够根据医生的诊断结果以及医生设定的检测区域标识，通过识别标识的位姿实现对检测的定位跟踪治疗，提升治疗的精准度。

3.本发明能够利用高精度定位技术，实现对同一检测区域治疗前后的皮肤表层情况给出分析，并辅助医生对治疗效果进行评估。

附图说明

图1为本发明的一种机器人化体表病灶区域定位跟踪系统工作原理图；

图2为激光治疗器与图像数据采集设备位置关系示意图；

图3为人工标识物辅助病灶定位跟踪流程；

图4为人工标识物辅助病灶定位跟踪示意图；

图5为无人工标识物病灶定位跟踪流程；

图6为无人工标识物病灶定位跟踪示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

本实施例提供一种机器人化体表病灶区域定位跟踪系统，如图1所示。其中，硬件包括：相机、光源、机械臂及其搭载的激光治疗设备；软件包括图像数据的采集、处理、分析，以及图形化的人机交互系统。

该系统的主要功能是定位皮肤表面病灶，并实现机器人自动化辅助治疗。在治疗过程中，操作人员可以通过人机交互系统实时监测治疗过程，并可对治疗过程进行操作，如停止、调参、恢复等。同时，人机交互系统负责统筹全部数据采集、处理分析、机器人操作反馈及控制等，并将全部需要可视化的信息，以形象完整的形式展现给操作人员，以便操作人员对场景情况有全面的了解。除此之外，人机交互系统还提供数据存储功能，可以将治疗参数、治疗效果、病灶数据等数据分组存储，用于对患者治疗情况的全程记录。操作人员可以提取患者的历史治疗情况，并与当前情况进行对比，系统会根据对比结果给出治疗效果的数值参考。因此，人机交互系统，所有需人工干预操作，如识别区域设定、筛选病灶区域，机器人运行控制等。

图像采集装置用于采集皮肤表面的图像信息，其中包括多光谱成像、表面三维重建等。皮肤表面多光谱成像是利用人体表层皮肤组织在多光谱成像下的反射、散射、吸收等物理特性，获取皮肤表层不同深度的亮度信息，该信息以图像的形式存储、处理、分析；皮肤表面三维重建则是用于对皮肤表面病灶区域进行局部三维重建，以获取治疗点表面的位置、姿态。

参见图2，图2给出本系统激光治疗器与图像数据采集设备之间的一种位置关系示意图。图像采集装置与激光治疗器通过固化装置固连在一起，两者的轴线相交于A点，且A点位置满足人机安全的距离要求。在治疗的过程中，先将A点与治疗点重合，然后通过伸缩机构将激光治疗器伸出至A点，开始激光治疗过程；同时，在激光治疗器运动的过程中，还要实时检测激光治疗器所受到的力以确保人机安全。

本系统主要给出两种病灶定位跟踪模式，具体如下：

模式一：定位跟踪人工标识物，参见图3。图3展示的是该模式下的病灶定位跟踪流程，具体如下：

1.1人工标识物设定：由医生诊断并选定治疗区域之后，在病灶表面配置人工标识物，本实例提供一种可行方案如图4所示。

1.2识别标识物，获取标识物位姿：设定完标识物后，将患者引领至图像采集设备下，采集包含标识物的图像信息并识别标识，识别过程如下：首先将采集到的RGB图像信息进行图像空间转换，转换到HSV颜色空间，并选取H通道作为下一步的处理数据；然后采用自适应阈值的方法对H通道图像进行阈值处理，转换为二值图像；提取二值图像轮廓，并利用人工标识物的几何特性筛选出人工标识物。标识物识别到之后，再利用几何投影关系获取标识物所在平面的位置、姿态，并反馈给机器人控制系统。

1.3机器人控制系统控制机器人到达标识物位置。机器人控制系统利用坐标变换规则及系统标定，计算末端位姿，并控制末端达到指定位姿。所述指定位姿是指当机器人末端运动到该位姿之后，末端搭载的图像采集系统能正对于人工标识所在平面，且标识中心位于图像中心。

1.4病灶区域识别，获取病灶精准位置。首先利用图像采集模块采集人工标识物内部皮肤表面的多光谱信息，根据人体表层皮肤组织在多光谱成像下的反射、散射、吸收等物理特性，设定阈值并对多光谱图像进行阈值分割，提取分割轮廓得到假设病灶区域，同时会根据病灶区域的轮廓、颜色、病灶分布对皮肤表面情况进行分析，如病灶区域占比、病灶等级等；然后再利用局部表面三维重建技术，对病灶区域进行表面三维重建，选取病灶区域内表面法线方向与人工标识物法线夹锐角最小的点作为治疗点。

1.5操作人员确认，完成治疗过程。在确定病灶位置之后，需要由操作人员在人机交互系统中确认无误之后才能开始治疗，且在治疗过程中，操作人员可以通过人机交互系统实时的控制系统，以确保治疗过程的精准、安全。

模式二：操作人员由人机交互系统选定区域，病灶区域由其周围图像特征进行定位。如图5所示，具体流程如下：

2.1多光谱成像，病灶区域分割。操作人员由人机交互系统设定病灶检测区域，然后对指定的病灶检测区域进行皮肤表面多光谱成像，获取假设病灶区域，具体可参见1.4。

2.2操作人员筛选假设病灶区域，并设定需治疗区域。人机交互系统中会显示出分割得到的假设病灶区域位置，分析得到的病灶相关参数，操作人员根据图像、分析数据等筛选假设病灶区域，并在治疗等待队列中添加待治疗区域。所述治疗等待队列是由操作人员设定的可由当前模式治疗的病灶区域图像队列，图像中只有病灶区域及其指定邻域内的皮肤表面图像。

2.3利用皮肤表面特征，定位病灶位姿。循环治疗等待队列，完成对全部区域的治疗。具体治疗过程如下：循环至当前带治疗病灶区域，并在病灶周边提取特征点，如SIFT、SURF等，利用特征匹配方法匹配到当前皮肤表面的对应病灶区域；然后再利用局部表面三维重建技术，对病灶区域进行表面三维重建，并在病灶区域内选定治疗点，选定规则是治疗点的法线方向与所有特征点通过拟合得到的平面法线方向夹锐角最小。

2.4机器人移动至治疗点，并保持人机安全距离。机器人控制系统根据当前病灶治疗点位姿，计算机械臂末端位姿，并控制末端运动至该位姿。所述机械臂末端位姿是指当机器人末端运动到该位姿之后，末端搭载的图像采集系统轴线与病灶治疗点法线重合，且治疗点位于图像中心，如图6。

2.5操作人员确认，完成治疗过程。可参见1.5。

对于模式一，其是通过检测人工标识物的位姿实现对病灶区域的跟踪；对于模式二，其是通过特征匹配的方式寻找特征点，利用特征点标记病灶区域并实现对病灶区域的跟踪。