一种辅助口腔医疗影像的双臂协作机器人控制方法及系统
阅读说明：本技术 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统 (Double-arm cooperative robot control method and system for assisting oral medical image ) 是由 程强 徐文祥 王懿 郝小龙 黄河 刘志峰 初红艳 于 2021-07-27 设计创作，主要内容包括：本发明公开了一种辅助口腔医疗影像的双臂协作机器人控制方法及系统,包括协作机器人、协作机器人的运动控制器、影像球管夹持机构、感光板末端夹持机构、口腔位姿检测模块、口腔姿态检测传感器、人机交互界面、服务器。所述控制方法是利用末端感光板夹持的协作机器人跟踪患者口内牙位,使末端夹持尽可能靠近病灶区域,进行精准定位与自适应动态跟踪,基于多模态信息的控制方法,利用协作机器人靠近拍摄部位辅助影像作业,通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。该系统能够实现病灶牙位置自动跟踪,解决口腔影像过程一致性差、曝光稳定性问题,有效地减少医患接触引起的病毒交叉感染。(The invention discloses a method and a system for controlling a double-arm cooperative robot for assisting oral medical images. The control method is that a cooperative robot clamped by a tail end photosensitive plate is used for tracking the tooth position in the mouth of a patient, the tail end clamping is enabled to be close to a focus area as much as possible, accurate positioning and self-adaptive dynamic tracking are carried out, based on the control method of multi-mode information, the cooperative robot is used for assisting image operation when being close to a shooting part, and the image bulb tube is controlled to carry out shooting operation by comparing and matching signals reflecting image parameters. The system can realize automatic tracking of the focus tooth position, solve the problems of poor consistency and exposure stability of the oral cavity image process, and effectively reduce virus cross infection caused by contact of doctors and patients.)
技术领域
本发明涉及一种辅助口腔医疗影像的双臂协作机器人控制系统及方法，属于医疗机器人领域。
背景技术
目前口腔疾病发生率高以及新型冠状病毒的爆炸式蔓延，医院患者数量激增的同时也导致了医生存在被感染的风险，这给临床诊治带来了巨大挑战。减少医患交叉感染且消除人为差异是临床的迫切需要。自从进入21世纪以来，基于机器人技术的发展和应用，医用外科机器人技术可大致分为以下几个方向：基于工业机器人平台的医用外科机器人技术、专用医用外科机器人技术、小型模块化医用外科机器人技术、以及遥外科医用机器人技术，而却没有致力于研究辅助影像的口腔医疗机器人技术。国内外学者主要研究了牙齿的三维提取及牙齿自动分割方法以及通过X射线生成牙齿图像，推动了口腔医疗影像处理过程更加高效的快速发展，但是并没有通过机器人控制信号来辅助医疗影像作业的方法。传统的投照手段难以实现精准定位及控制，缺乏有效的质量评估方法。根据机器人控制可以解决技师影像球管投照摆位不一致、重复化劳动强度大的问题。双臂协作机器人进行辅助医疗影像作业可以保证其过程位置的精确性、曝光的稳定性以及成像的一致性，满足口腔精准诊疗的要求。
为了有效地减少医患接触引起的病毒交叉感染，解决口腔影像过程一致性差、曝光稳定性问题，需要安全性高又能满足要求、定位精度高的机器人系统和满足口腔精准诊疗的控制方法。
发明内容
本发明所要解决的问题是如何能够实现对口腔病灶牙位的实时追踪与影像作业，以阻断病毒疾病传播，减少医生与患者的接触。
为解决上述技术问题，本发明提供了一种用于辅助口腔影像医疗的双臂机器人协同控制系统及其控制方法。口腔诊疗影像辅助机器人旨在减少医患接触引起的病毒交叉感染，将机器人技术和口腔医疗的专家知识系统进行交叉结合，其避免病毒交叉感染实现的过程。主要包括口腔病灶空间定位、感光板的随动控制、影像球管的自动追踪以及医生与机器人交互。
本发明所采取的具体技术方案为：一种辅助口腔医疗影像的双臂协作机器人控制方法及系统，首先对协作机器人末端进行校准，并将病灶部位的角度从口腔坐标系转换为末端夹持坐标系。进行执行手眼校准之后标记的姿态将其从摄像机坐标系转换为机器人的基础坐标系。当相机检测到标记模块的姿态发生变化时，末端感光板夹持的协作机器人将跟踪患者口内牙位的轨迹。在协作机器人末端感光板移动到指定位置后，如果患者在指定时间内不再移动，则将打开力控制模式，以使末端夹持尽可能靠近病灶区域，对病灶进行精准定位与动态跟踪。为了提高诊疗精确性以及稳定性，影像球管需要尽可能靠近拍摄部位，基于多模态信息的控制方法，利用协作机器人辅助影像作业，通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。
为实现上述目标，本发明系统包括：第一协作机器人(1)和第二协作机器人(2)、第二运动控制器(3)、影像球管(4)、第一运动控制器(5)、感光板(6)、口腔位姿检测模块(7)、口腔姿态检测传感器(8)、人机交互界面(9)、服务器(10)。
其中第一协作机器人(1)和第而协作机器人(2)为UR协作机器人，第一运动控制(5)与第一协作机器人(1)相连并控制第一协作机器人(1)运动，第二运动控制(3)与第一协作机器人(1)相连并控制第一协作机器人(1)运动，感光板(6)为定制磷光片保证与牙颌部表面贴合，口腔位姿检测模块(7)采用定制视觉标定氧化铝板，口腔姿态检测传感器(8)为双目立体视觉相机，口腔位姿检测模块(7)用来被口腔姿态检测传感器(8)更精确地检测口腔位姿，人机交互界面(9)与服务器(10)相连，用来接收影像数据并实时反馈误差信息。
感光板夹持机器人系统主要包括协作机器人(1)、感光板(6)。感光板夹持机器人系统的主体是协作机器人，六维力传感器安装在手臂的末端。末端执行器包括固定装置和固定在传感器上的感光板。相机放置在尽可能监视机器人手臂整个工作空间的地方。
影像辅助机器人系统主要包括协作机器人(2)、影像球管(4)，还包含力传感器以及位移传感器，影像球管需要尽可能靠近拍摄部位，在影像辅助机器人手臂的末端基于多模态信息控制。
有益效果
为了解决医-患接触引起的病毒交叉感染，目前口腔诊断影像位置精确性、曝光稳定性无法满足口腔精准诊疗的要求的问题。
(1)提出了一种辅助口腔医疗影像的双臂协作机器人控制系统，主要包括感光板夹持机器人系统和影像辅助机器人系统，用于口腔影像医疗的双臂机器人协同控制；
(2)通过双臂协作机器人的系统引导，进行了手-眼校准。针对口腔狭小空间以及牙位的变动，提出自适应控制的动态轨迹跟踪方法以及基于多模态的影像距离控制方法，实现对口腔病灶牙位的实时跟踪与拍片。
附图说明
图1辅助口腔医疗影像的双臂协作机器人控制系统
图2感光板夹持机器人系统的轨迹跟踪控制过程图。
图3协作机器人手眼标定系统图。
图4是感光板夹持机器人坐标系场景图。
图5是感光板夹持机器人位置控制方法图。
具体实施方式
以下结合附图实施例对本发明进行详细说明。
如附图1所示，本发明感光板夹持机器人系统的轨迹跟踪控制过程主要包括：在治疗之前对患者口腔的内部进行预处理，对其进行CT扫描以重建患者3D口腔模型，获得患者口腔病灶部位。对机器人末端夹持进行校准，并将病灶部位的角度从口腔坐标系转换为末端夹持坐标系，执行手眼校准。估计标记的姿态并将其从摄像机坐标系转换为机器人手臂基础坐标系，当标记物的相机检测到的姿态发生变化时，末端夹持的机械臂将跟踪患者口内牙位的轨迹。在机械手移动到指定位置后，如果患者在指定时间内不再移动，则将打开力控制模式，以使末端夹持尽可能靠近病灶区域。
机器人手-眼标定系统如附图2所示，其中标定板是由黑白色组成的图像，角点在像素坐标系中的投影如下所示：
式中u和v是像素坐标系中拐角点的坐标值。f/dx，f/dy，u0，v0是摄像机的固有参数，[R|T]是欧拉变换矩阵。
标定板安装在机器人手臂的末端，标定板贴替代机械臂末端感光板夹持，可以由相机可靠地检测到并显示在图像中,将标定板中角点在机械手坐标系中的位置投影到像素坐标系中可得：
式中pboard是标定板坐标系中的一个角点，是从机械臂的末端到标定板的转换矩阵，是从机械臂到其末端的转变，是从摄像机到机械臂基座的转换，Incam是相机投影矩阵，pcam是摄像机图像中该点的位置。机械臂坐标系和摄像机坐标系的数学模型可以表示如下：
式中x，y和z是机器人手臂基础坐标系中目标的坐标值。U，V和W是相机坐标系中目标点的坐标。M1和M2表示如下：
公式中包含两个未知矩阵和使用内部点优化方法来找到使点投影误差最小的参数。由于存在很多未知参数，容易使优化陷入局部最优解中，因此需使用标记进行初始校准，并将校准值用作上述优化过程的初始值。
将标记中心点的位置投影到相机坐标系中：
式中Pcenter是标记坐标系统中标记盘的中心姿态。是从机械臂末端到标记的转换。标记坐标系和操纵器末端的坐标系平行。同时，标记的中心点位置是指可以通过运动学分析获得的手臂的末端坐标系，因此的参数是已知的。Posemaker是相机坐标系中标记的姿态。只需收集在特定状态下的Posemaker和即可根据等式获得手-眼标定的初始值。
因此，在轨迹跟踪之前，可以得到末端感光板夹持的运动模型：
其中，是标记板与末端感光板之间的转换关系。
为使感光板尽可能靠近口内病灶牙位，对机器人进行力/位控制，该末端按压感光板，使患者的牙位表面与感光板接触。如附图3所示，创建一个坐标系场景。其中{W}是世界坐标系，{R}是附着在机器人基座上的机械手坐标系，{S}是传感器坐标系与重合的Z轴平行于机械手的工具中心点(TCP)坐标系。同时，{S}的Z方向垂直于TMS线圈平面。
在感光板平面中定义坐标系{T}，其Z方向垂直于感光板平面。{T}与传感器坐标系平行，在机械臂移动到指定位置后，如果患者在指定时间内不再移动，则将打开力控制模式，以使感光板尽可能靠近病灶牙位区域。如果头部在移动，则跟踪机器人手臂和感光板相对于病灶牙位前侧，并且在机器人手臂和口内牙位之间没有相互作用力。同时，到达指定区域后臂仅在{T}的Z方向上移动，并且在主动控制模式下感光板的姿态不会改变。
根据机械臂的DH参数，可以通过以下方法获得从传感器坐标系到基础框架的转换矩阵：
其中是{S}相对于TCP坐标的旋转矩阵，是第i个关节坐标系相对于第(i-1)个关节坐标的旋转矩阵，而是{S}相对于{R}的旋转矩阵。
为了实现主动控制并接近患者口内的病灶部位，我们在垂直于感光板平面的方向上向患者的牙位施加了1N的力。该口腔医疗影像机器人控制系统的控制框图如附图5所示，自适应PD控制器输出的δX是机器人手臂的姿态校正，q是机器人手臂关节的角度，Fs是传感器测量值，Fi是作用在患者口内的预期力。最后基于力/位传感器，利用协作机器人辅助影像作业，通过比较并匹配反映影像参数的信号来控制影像球管进行拍片作业。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种基于卷积神经网络的二便无损检测装置