用于引导机械臂的方法、引导系统

文档序号:1942476 发布日期:2021-12-07 浏览:8次 >En<

阅读说明:本技术 用于引导机械臂的方法、引导系统 (Method for guiding a robot arm, guiding system ) 是由 T·塞拉 A·卡奇卢夫 于 2020-03-19 设计创作,主要内容包括:一种实时引导用于处理身体表面数据的机械臂(6)的方法。该方法包括:生成包括点的网格(M-(1)、M-(2))的身体模型(MOD-P);借助于计算装置来规划身体模型(MOD-S)的表面上的治疗轨迹(TRAJ-(1));触发发射器的至少一个发射和/或操作装置(8)的传感器的采集,该操作装置(8)布置在机械臂(6)的远端处,当传感器或发射器的轴的取向与通过目标点(PTAT)的预定义直线合并时执行触发,该目标点(P-(TARGET))在所生成的身体模型(MOD-P)上用作参考。(A method of guiding a robotic arm (6) for processing body surface data in real time. The method comprises the following steps: generating a grid (M) comprising points 1 、M 2 ) The body model (MOD _ P); planning a treatment Trajectory (TRAJ) on a surface of a body model (MOD _ S) by means of a computing device 1 ) (ii) a Triggering the acquisition of a sensor of at least one emission and/or operating device (8) of the emitter, the operating device (8) being arranged at the distal end of the robotic arm (6), the triggering being performed when the orientation of the axis of the sensor or emitter is merged with a predefined straight line through a target Point (PTAT), the target point (P) being TARGET ) Is used as a reference on the generated body model (MOD _ P).)

用于引导机械臂的方法、引导系统

技术领域

本发明的领域涉及使得构建人体三维图像以动态地控制靠近身体的设备成为可能的方法领域。本发明的领域更具体地涉及实现需要快速进行三维表面计算的实时动态控制的方法。本发明因此涉及用于从结合参数化模型的算法和通过人工智能技术进行学习的算法生成表面的方法。

背景技术

目前存在用于在空间中重建三维表面的不同的技术。然而,后者不适用于旨在在患者皮肤表面附近进行治疗的医疗设备的实时引导。事实上,重建身体表面需要图像处理,这需要重要的计算资源以及通常需要大量的信号采集系统。此外,这种复杂性通常会造成依赖人工辅助的的局部处理或近似。

时至今日,这种限制使得不可能在空间中对设备进行复杂引导。通常情况下,依然难以实现的是在空间通过待治疗表面的计算引导机械化手臂并能够经受变形和位移。尽管如此,仍然存在操纵由实时执行特定分析的功能进行自动引导的反应式的机械化手臂的需求。迄今为止,现有的解决方案需要额外的操作员进行操纵或很长的处理时间。

因此,需要明确一种能够应对该问题的解决方案。

发明内容

本发明的目的是解决上述缺点。

根据一个方面,本发明涉及一种用于实时引导机械臂的方法,用于处理身体的表面的数据,包括以下步骤:

生成身体的模型,其包括由点形成的网格;

通过计算机规划在身体模型的表面的治疗轨迹;传感器参数

计算机械臂的远端的轨迹的引导;

生成机械臂的动力学,从而使得设置在机械臂远端头部的一点约束在引导轨迹上;

触发机械臂的动力学以覆盖引导轨迹,该引导轨迹是从生成的身体模型实时计算所得;

接收空间的目标点的至少一个位置;

触发发射器的至少一个发射和/或执行装置的传感器的采集信号,该执行装置被设置在机械化手臂的远端,当传感器的轴的方向或发射器与预定的通过目标点的直线合并时执行该触发,该目标点在生成的身体模型上作参考。

一个优点是,使用了将重现患者身体的身体模型考虑在内的引导方法。减轻了计算并且使得医学设备的实时控制成为可能。对现实世界的重建通过使用从患者的身体计算所得的网格化身体模型而得到优化。一个优点是,通过使用易于利用的身体模型将患者潜在的运动或预测潜在的碰撞考虑在内。所使用的身体模型包括可以更易于利用于实时引导的一组点或一个网格,而不是基于采集患者的直接图像的系统,以预测机器人的运动。

根据一个方面,本发明涉及一种用于实时引导机械臂的方法,用于处理身体的表面的数据,包括以下步骤:

生成包括形成网格的点的、全部或部分人体表面的3D模型;

通过计算机规划在身体模型的表面的治疗轨迹;

计算机械臂的远端的轨迹的引导;

生成机械臂的动力学,从而使得设置在机械臂远端的头部的一点约束在引导轨迹上;

触发机械臂的动力学以覆盖引导轨迹,该引导轨迹是从人体表面的3D模型实时计算所得;

在固定时刻生成人体表面的3D模型确保计算机械臂的新的运动学,以自动地实时管理其位移,所计算的3D模型的新的表面带来新的治疗轨迹的计算和新的引导轨迹的计算;

接收空间的目标点的至少一个位置;

触发发射器的至少一个发射和/或执行装置的传感器的采集信号,该执行装置被设置在机械化手臂的远端,当传感器的轴的方向或发射器与预定的通过目标点的直线合并时执行该触发,该目标点在生成的身体模型上作参考。

根据一实施例,身体模型从用于获取患者身体的图像的系统生成,该系统被设置在空间的一点。一个优点是,对人体局部视图的获取使得从基于利用神经网络的算法生成整个人体成为可能。

根据一实施例,治疗轨迹在用于处理身体模型的表面的区域内生成。

一个优点是,限定了相对于所生成的用作输入的身体模型的表面生成的引导轨迹。因此,由于简化的网格化身体模型的利用,引导从而得到优化。

根据一实施例,治疗轨迹从限定在身体模型表面的治疗区域的限定自动地生成。

一个优点是,使操作员的任务自动化,操作员只需要选择一个区域。该区域限定在所生成的身体模型上。因此,其限定得到简化并且轨迹可以容易地生成。

根据一实施例,引导轨迹是根据预定距离和方向指令计算的,使得相对于治疗轨迹生成机械臂的远端的相对位置成为可能。

一个优点是,通过考虑最少参数的控制系统获得简化的引导。

根据一实施例,机械臂包括至少3个两两铰接的分支,一个分支通过枢转连接与其他分支相对应,枢转连接组包括已规划的动力学,已规划的动力学用于给定引导轨迹和所生成的身体模型。

一个优点是,分离机械臂的运动学的生成,该运动学可作为从操作控制台生成的轨迹的引导点的位置的函数而在机械化手臂的计算机中执行。

根据一实施例,该引导方法包括在固定时间生成新的身体模型从而使得机械臂可以实时由从机械臂的新轨迹生成所指挥,从身体模型计算所得的新的表面带来治疗轨迹的修改,该方法进一步包括:计算机械臂的新的动力学,该新的动力学基于新轨迹的限定。一个优点是,获得良好的实时引导性能。将身体模型考虑在内简化了引导的计算。可以快速控制机械臂并因此使得限制碰撞或患者的突然运动的情形的发生成为可能。

根据一实施例,该引导方法包括从固定位置校准机械臂的位置的步骤,在该固定位置获取图像,使得生成身体模型成为可能。该校准的一个优点是,知道身体模型对应于机械臂末端位置的位置。

根据一实施例,治疗轨迹用作建立来自激光发射器的激光束的发射策略,该激光发射器固定到执行装置。

根据一实施例,身体模型包括均匀网络,以便创建由圆的排布限定的新的网格,至少一个圆限定空间的目标点的位置。一个优点是,在机械臂头部的触发作为能够容易地在网格上精确定位的点的函数得到简化。

根据一实施例,新的网络的生成是作为指示发射功率的函数和/或相对的两次发射之间的重叠量的指示。一个优点是,可以获得与机械化手臂的使用情况相适应的网格。

根据一实施例,所执行的发射次数的采样是新的网络的、设置的发射功率以及在两个共同定位的圆之间限定的重叠量的函数。优点是为操作员提供易于使用的控制台。

根据一实施例,治疗轨迹用作建立来自超声波发射器的超声信号的发射策略,该超声波发射器固定到执行装置。

根据一实施例,一组图像从设置在执行装置上的光学装置产生,每个图像由身体模型的网格至少一个节点或网孔索引,该网格是在该身体模型上的目标点的位置以及光学装置的视线角度的函数。一个优点是,在与患者身体对应的参数化或参数式模型上重建诸如皮肤等外层。

根据一实施例,至少一对图像是从包括两个集成和设置在执行装置的不同轴上的两个传感器的光学装置同时地获得的,每个图像由身体模型的网格至少一个节点或网孔索引,该网格是在该身体模型上的目标点的位置以及光学装置的视线角度的函数,该图像被处理以重建三维局部图像。

根据一实施例,三维局部图像叠加在生成的身体模型的3D呈现上。

根据一实施例,由执行装置的第一光学装置获取的第一图像与一组图像实时进行对比,该对比操作包括:若适当,则生成关注指标,该关注指标使得生成数字命令以管理机械臂成为可能。

根据一实施例,引导指令带来在从中提取第一图像的目标位置对机械臂的第一管理以及对执行装置的第二管理以触发第二光学装置,第二光学装置的触发使得在包括目标点的区域的近场中产生第二图像成为可能。一个优点是,生成图像库,可以特别地用作诊断用途,患者于病症的定性研究,或代之以包括覆盖不同尺度的皮肤信息的患者图像史。

根据一实施例,比较步骤是对从在一组图像上训练的神经网络获取的图像进行分类的步骤。一个优点是,优化了在患者的皮肤上检测奇异点的步骤。

根据另一个方面,本发明涉及用于引导机械臂的系统,包括:

用于在不同时间生成多个身体模型的计算机;

由控制单元的计算机所控制的机械臂,该控制单元的计算机计算机械臂的运动学,该运动学来自从限定在所获得的身体模型的网格上的点计算得到的轨迹;

设置在机械臂端部的执行装置,包括:至少一个发射器或传感器,当传感器或发射器的轴的方向指向沿穿过目标点的直线时执行该至少一个发射器或传感器的触发,该目标点在生成的身体模型上作参考。

根据一个方面,本发明涉及用于引导机械臂的系统,该系统包括用于获取患者身体图像的设备,以产生参数化身体模型,以及包括配备有用于实施本发明的方法的执行装置的机械臂。

根据不同的可选实施例,本发明的系统包括在不同实施例中描述的器件。进一步地,根据不同的方案,其根据本发明的方法的不同实施例进行配置。

根据一个方面,本发明涉及用于引导机械臂的系统,包括:

由控制单元的计算机所控制的机械臂,该控制单元的计算机计算机械臂的运动学,该运动学来自从限定在所获得的人体表面的3D模型的网格上的点计算得到的轨迹;

设置在机械臂端部的执行装置,包括:至少一个发射器或传感器,当传感器或发射器的轴的方向指向沿穿过目标点的直线时执行该至少一个发射器或传感器的触发,该目标点在生成的人体表面的3D模型上作参考。

根据另一个方面,本发明涉及生成人体的三维工作面的方法,包括以下步骤:

接收对应于几何数据的输入数据;

根据输入数据生成第一点云,每个点与三维空间坐标相关联;

确定第一点云的每个点的多个属性,该属性包括至少一个形状描述符,某个点的至少一个属性包括描述在点云的该点的法向量的数据;

将该属性与每个点进行关联,以生成第二富集点云;

通过回归计算一组几何参数,几何参数包括在第二点云的至少一点的、或在人体模型的至少一个关节的至少一个旋转,以及至少一个形状系数,该回归根据一系列根据神经网络的不同层执行的矩阵运算执行,该神经网络训练自用不同参数配置参数化的参数化模型的多个局部视图;

确定参数化模型,以生成包括第一网格的身体模型。

根据一示例,输入数据包括描述图像的数据。例如,几何数据可以从描述2D图像的数据推导出来。根据一种情况,输入数据因此是图像。

该方法的一个优点是,使得引导医疗设备的实时控制成为可能,该医疗设备靠近患者的身体并且具有最低限度的图像采集系统包括例如一对摄像头。由于高性能神经网络的学习方法,得到了显著的引导性能。

根据一实施例,该方法还包括对第一网格进行处理,以生成第二均匀网格。使用均匀网格的一个优点是,方便在机械臂头部的一个或多个传感器或者一个或多个发射器的控制命令。事实上,对均匀网格的点的处理使得方便对在机械臂头部的设备进行利用成为可能。

根据一实施例,通过用于第一点云的谱分割的方法,在来自第一图的邻接矩阵的第一点云的至少一个给定点计算形状描述符。一个优点是,将根据在所涉及点的距离判据进行加权的形状描述符的点的邻域考虑在内。另一个优点是,使得将点的邻域内的局部表面的拓扑考虑在内成为可能。

根据一实施例,至少一个局部形状描述符和/或全局形状描述符是以下类型:“波动核特征”或“热核特征”或“高斯曲率”。一个优点是,根据在某个点的邻域内的区域的谱分析定义形状描述符。一个优点是,简化了公式的使用或标准化算符,该标准化算符可以优化数字处理。

根据一实施例,在第一点云的给定点的法向量的计算是通过考虑在每个考虑的点的周围局部生成的面进行计算的,每个考虑的点来自其邻域中的点。一个优点是,对所需的分别率和粒度进行参数化,该分辨率和粒度用于分析需治疗的身体的表面的面的拓扑。

根据一实施例,在第一点云的考虑的点局部生成的面通过以下方式进行计算:

根据由第一点云的点限定的潜在表面;

或者,根据从考虑的点的k个最近的临近点的方法直接获得的局部表面的近似。

根据一实施例,至少两个形状描述符与第一点云的每个点相关联。一个优点是,使模型的描述更丰富。一个好处是,在神经网络的训练过程中获得更好的学习。进一步地,一个优点是,提高神经网络的回归步骤的性能。

根据一实施例,第一点云由通过以下方式获得的数据生成:

通过从至少两个光学器件对多个图像的采集,第一点云的点的每个位置是从至少两个获取的图像的立体测量推到得出;和/或

通过对包括变形模式的图像的采集,该模式由包括已知几何形状的投影算符所投影;和/或

通过患者皮肤的表面传递或反射的超声波信号的采集;和/或

通过在患者皮肤的表面传递的激光的采集。

一个优点是,用不同的采集技术实施本发明的方法。一个好处是,获得可以由本发明的方法利用的点云,特别地用于医疗器械的引导。不同的采集技术可以相互组合或代替。图像采集系统,例如摄像头,仍然不过是易于实施、易于配置并且易于部署的采集系统。

根据一实施例,参数化的身体模型是从人体的参数化模型获得的,在该人体的参数化模型中预先限定了一组关节,该参数化模型包括:

用于至少一个关节的至少一个旋转角度;以及

至少一个形状系数。

一个优点是,限定了人体的简单参数化,考虑到身体每个肢体的不同自由度。一个优点是,对由患者可能的运动的函数所引导的设备执行实施控制。

根据一实施例,该参数化模型进一步包括:

模型在空间中的至少一次全局平移,和/或

模型在空间中的至少一次全局旋转。

一个优点是可以将患者的所在位置考虑在内,以及可以根据不同种类的设备的布置对患者身体的采集系统进行校准。

根据一实施例,参数化身体模型是从给定的参数化过程获得的,给定的参数化过程包括一组模型参数的定义,使得可以定义参数化身体模型的给定的呈现。该参数化身体模型接下来可以由第三点云、图形或网格表示。一个优点是,可以从获得的参数化身体模型生成可直接利用的点云。另一个优点是,根据不同的姿势获得大量的身体模型,以使得神经网络的泛化获得良好的性能。

根据一实施例,生成多个局部视图。每个局部视图可以例如从第三点云的点子集获得。一个优点是生成能够对应于真实图像捕获的许多视图。因此,随着对大量局部视图的学习,神经网络被更好地训练并且回归步骤的性能更好。

根据一实施例,第三点云的点的每个子集通过从空间的给定视点看到的点的选择来获得,该组局部视图是针对空间的多个视点生成的。

根据一实施例,该回归包括:

包括多个矩阵乘积的神经网络卷积或层,该矩阵包括从机器学习方法获得的加权系数;

非线性操作。

根据一实施例,该回归包括以下项作为输入:

点云的点及其属性值,和/或;

对应于点云的图的邻接矩阵。

根据一实施例,该方法包括学习该神经网络的预备步骤,该预备步骤通过深度学习方法来执行,该深度学习方法包括:

从利用不同参数化配置所参数化的参数模型的多个部分视图来执行训练,

产生矩阵,该矩阵包括用于经训练的网络的每个层的加权系数。

根据另一方面,本发明涉及一种系统,包括用于获取输入数据的接口、计算装置和用于处理通过该方法获取的输入数据以产生参数化的人体模型的存储器。

根据一实施例,本发明涉及一种系统,包括:用于获取位于空间中的身体的表面的点集的距离数据的装置;具有至少一个自由度的引导机械臂,该机械臂还包括传感器或发射器,其位置被从身体模型的局部视图的表面处定义的治疗轨迹获得的引导轨迹所限定,其中该身体模型由本发明的方法生成。

本发明的系统可以根据所列出的不同参数来配置以描述本发明的方法。此外,根据不同的实施例,本发明的系统包括在本发明的方法的不同实施例中描述的不同装置。

附图说明

通过阅读下面的详细描述,并参考附图,本发明的其它特征和优点将变得清楚,其中:

图1示出了本发明的方法的实施例的主要步骤;

图2示出了用于空间地控制机械臂在待治疗的身体表面附近的移动的系统的实施例;

图3示出了本发明的系统的实施例,该系统包括可由本发明的方法管理的操作控制台、定位系统和机械臂;

图4示出了本发明的机械臂的范例,其包括被引导以行进规划轨迹的六个轴;

图5示出了本发明的机械臂的示例,其包括六个轴,这六个轴图示了机械臂的头部的参考点;

图6A示出了设置在本发明的机械臂的头部处的操作装置的第一示例,其旨在用于例如皮肤病应用;

图6B示出了经由本发明的系统生成的轨迹的范例;

图7示出了根据本发明的方法的待治疗表面的点的第一网格的示例;

图8示出经由本发明的实施例获得的第二网格的第一例子;以及

图9示出经由本发明的实施例获得的第二网格的第二例子。

具体实施方式

本发明涉及一种用于获取身体的表面的图像并且重建该身体的三维表面的方法。本发明还涉及一种图像获取和处理系统。本发明还涉及一种用于根据模型化身体模型致动医学设备的方法和系统。本发明涉及例如对机器人对象的引导,以用于对患者的皮肤覆盖物的诊断或处置。

在说明书的剩余部分中,用于获取患者1身体的5个点的系统优选地布置在固定的空间点处。作为示例,该点获取系统可以固定到天花板、墙壁或替代地固定到在执行本发明的方法期间旨在保持固定的任何其它空间点。该获取系统5在标记为R0(O,x0,y0,z0)的参考点中被参考。它也可以在与获取系统5相关联的参考点R1(O1,x1,y1,z1)中被参考。根据"世界"参考系和获取系统5之间的位置校准,获取系统5可以在参考点R0中借助于变换R1->R0被参考。

在说明书的剩余部分中,机械臂6布置在由获取装置5的获取区域覆盖的相同空间中。该空间可以是医院的治疗室,或者代替与医生的外科手术相对应的房间。机械臂6可以定位在基座(例如家具的便携物品25)上,并能够在执行治疗过程中由于本发明的方法而固定在给定位置。该机械臂6参考为标记为R0(O,x0,y0,z0)的参考点。机械臂6在空间中的位置可以在参考点R2(O2,x2,y2,z2)内精确定位,在该参考点R2中,机械臂6的运动可以很容易地表示。参考点R2→R0的变化使得能够表示机械臂6在获取装置5的系统R0的参考点中的运动。参考点的这种变化可以证明在实现机械臂5和患者1的身体之间的碰撞检测功能过程中特别有效。

根据示例性实施例,采集系统5可以与参考点R2成一体。在该示例性情况下,采集系统可以固定到支撑机械臂6的基座。例如由保持杆(未示出)获得该配置,使得可以升高采集系统5。该配置的优点是便于本发明的系统的安装。另一优点是具有采集系统5和机械臂6的定位之间的可用的预校准。

根据另一示例性实施例,采集系统5可以固定到其上安装有操作控制台20的基座。这种情形使得可以获得包括硬件部分和软件部分的自主采集设备。还可以采用保持杆来固定采集系统5或任何其他机械保持设备。

在说明书的剩余部分中,机械臂6的头部8(也称为操作器设备8)布置在机械臂6的远端。头部8可以链接到图5中表示的标记为R3(O3,x3,y3,z3)的参考点。机械臂6的头部8的位置可以在参考点R2(O2,x2,y2,z2)中利用对机械臂6的分支进行运动学动画化的获知来容易地识别。感兴趣的是参考由操作器设备8例如在参考点R0(O、x0、y0、z0)中获取的图像。

本说明书适用于任何类型的机器人化物体,尤其是机械臂。本发明的机械臂可以包括多个自由度,尤其是2和9个自由度。在说明书的其余部分中,我们将考虑应用具有6个轴线的机械臂来描述实施例的情况。然而,本发明不限于该实例。

根据不同的可选方式,该机械臂可以固定到水平的基座,其中第一臂垂直地延伸,或者该机械臂可以固定到垂直的基座,其中第一臂水平地延伸。不同的配置与本发明相兼容。

在说明书的剩余部分中,"身体模型"指身体的三维模型。该身体模型可以由点云表示。点云可以根据利用给定参数化获得的参数身体模型的给定建模来生成。

此外,可以使用该身体模型,以便生成该身体的不同部分视图,其对应于对整个身体建模的点云的点的子集。为此,可以定义视点来提取身体模型的部分视图。可以从人体的参数模型的给定参数化的配置获得这样的身体模型。

在本说明书的剩余部分中,"身体模型"的部分视图表示根据从其观察前一身体模型的表面的给定视角的身体的三维模型。

在描述的剩余部分中,"参数化人体模型",MOD_S指定能够被参数化的模型,以便根据给定参数的配置来生成该身体的某些部分或视图的变换。因此,可以根据具有给定参数化的参数化人体模型来生成先前定义的身体模型,这被称为参数化身体模型,MOD_P。

可以根据本发明的方法的第一用途来使用该参数身体模型以执行该回归步骤,以便确定参数的集合,使得能够生成用于引导例如医学装备的身体模型。可以根据深度学习的第二用途来生成将在该回归步骤期间精确地使用的权重矩阵。

根据一示例,可以利用以下参数的输入从该参数模型获得参数体模型MOD_S:

空间模型的全局转换:Tx、Ty、Tz,即3个参数;

空间中模型的全局旋转:Rx、Ry、Rz,即3个参数;

例如使用包括24个关节的参数模型,每个关节具有3个旋转参数:Rxi、Ryi、Rzi,总共定义了72个参数;

形状系数,例如使用包括20个形状系数的参数模型。后者影响人体的形状。

在该示例中,可以确定88个参数以生成人体模型。

其它示例可以利用本发明的方法或系统来实现。

点的获取

根据一实施例,该方法包括采集点ACQ的步骤。该采集可以例如借助于图像采集设备来完成。在示例性实施例中,图3中的光学系统5包括用于采集图像IM1、IM2的两个传感器51、52。它们可以例如是包括至少两个彩色或红外相机的相机,诸如3D相机。根据不同的示例性实施例,可以使用彩色或红外相机。优选地,将选择由相同相机组成的相机对。可以执行先前的校准步骤以配置每个相机的颜色并且使得它们针对相同空间点相对应。

可以在两个相机之间执行被称为"立体校准"的另一相机间校准,以产生对象的3D重建。校准旨在计算由相机对中的每个相机采集的两个图像之间的变换。

根据一个示例,该变换可以包括关键点的检测和通过缩写为SIF的尺度不变视觉特征变换获得的描述符的计算。例如,可以利用诸如被称为"RANSAC"的、指定"随机样本一致性"的方法的估计方法来实现旨在使关键点对应的相关步骤。接下来,执行检测到的关键点之间的等距变换计算。最后,该变换使得可以对图像的点进行三角测量,并且因此构造深度图。

根据第一方法,从该布置已知的两个视点采集的同一对象的2D图像可以根据已知技术组合以获得所谓的深度或距离图。

本发明的方法使得能够处理2D图像,其接下来被组合以获得点云G1。点将构成第一图形G1。根据示例,所获得的第一图形G1的点是无取向的和无连接的。在其最简单的形式中,图形G1是点的无序列表,其坐标在空间中(例如在R0、R1、R2或R3中)被参考。然后,每个点独立于其他点被定义。在其最简单的形式中,图形G1因此是点云。

可以同时获取图像IM1、IM2。有利地,光学器件沿平行轴定向并且被协同定位(colocalised)。感兴趣的是能够通过立体技术处理图像以生成深度图。深度图使得可以在多个点处寻址空间坐标x、y、z。

根据一实施例,图像的颜色被用于生成色调差异,并且因此生成距离变化。

深度图可以通过对所获得的不同点之间的距离进行编码来获得,可以配置其分辨率。灰度级可以根据第一范围的值而变化。通过选择编码,例如,在16位上,深度图的灰度级中的编码使得可以获得分离不同点的距离的高精度。

本发明的方法使得可以通过光学器件51、52连续地获取图像流以便实时地处理后者成为可能。符号IM1、IM2不仅指定所获取的图像,而且还指定由相机51、52中的每一个所获取的图像流。

可以处理图像以便提取限制要治疗的区的采集周界。为此,可以使用模板来避免考虑由身体的表面限定的感兴趣区外部的点。

两幅图像IM1、IM2的采集和整个待治疗表面的覆盖范围使得可能生成整个身体的深度图。深度图包括相对于彼此的一组点和距离。

根据另一范例,在该方法的该阶段中没有表面被处理。独立于形状识别(例如,身体的外层)来生成点之间的距离。

根据示例,每表面单元生成的点数可根据点云的期望分辨率来配置。为此,该获取可被配置为获取更多或更少的图像以便增加分辨率。

根据一实施例,定位系统SYS_POS使得能够定义参照系和坐标系以精确地将每个点定位在单个参照系中。该定位系统可以有利地是采集设备5。

立体校准使得可以获得R0和R1之间的变换,其中R1是与采集系统5相关联的参考点。接下来,本发明的方法使得可以相对于采集系统5校准自动化目标6,从而在参考系R2->R1->R0中执行图像的变换。当参考系R3与机械臂6的头部8相关联时,由于计算装置和管理机械臂6的系统的存储器已知每个臂的关节运动学,R3->R2的变换是已知的。

其它获取技术

根据一实施例,投影设备用于将图案投影到身体的表面上。然后可以处理采集的图像以便分析投影图案的变形。该技术使得可以获得附加的数据并且使得可以改进3D重建。特别地,投影图案的变形的检测使得可以改进3D重建的精度。特别地,投影图案的变形的检测使得可以改进计算的距离的评估的精度以生成深度图。此外,投影仪使得可以减少在创建点云以生成第一图形G1期间的噪声。

因此,可以利用任选地与至少一个图案投影仪一起使用的相机对来获得通过深度图的立体重建。所投影的光可以在可见范围内或不在可见范围内,例如红外范围。根据一个示例,获取设备5可以包括一对彩色3D相机和至少一个红外投影仪。

根据另一实施例,所使用的相机可以是红外相机或者具有近红外频率范围。

可以使用用于构建深度图的其它技术,例如激光收发器装置。激光束的反射使得可以产生相对于反射表面的几何形状的数据。另一技术可以是借助于超声波收发器。可以实施的系统的实例是LIDAR型系统。

根据一实施例,本发明的方法使得可以恢复从采集的图像导出的点云并且将其例如传递到图形处理器,诸如GPU(图形处理单元)。

第一图形G1的生成

本发明的方法包括旨在生成与例如在空间的参考点R0中参考的空间坐标相关联的一组点的步骤。这些坐标可以从定位系统SYS_POS的先前校准获得。该校准可以在本发明的方法开始时从由定位系统SYS_POS的光学器件获取的特定图案执行。根据一实施例,定位系统SYS_POS和光学系统SYS_OPT可以是相同的系统。根据另一实施例,它们可以对应于两个不同的系统。

因此,可以利用由采集系统SYS_OPT获得的深度图来获得与空间的参考点R0中的坐标相关联的一组空间点。

本发明的方法包括接收数据REC_DATA1的步骤,数据DATA1对应于在空间的参考点R0中参考的空间点。

根据一示例,本发明的方法可以包括旨在分割与预定义表面相关联的数据的步骤。该表面可以是例如人体的表面。该分割可以通过对数据(例如,从采集到的2D图像导出的数据和/或获得的深度图)的分析来自动地执行。例如,本发明的方法可以包括对特定点之间的距离的差异的分析,或者替代地通过执行比色处理来执行。深度图可以被用于对点云进行过滤,并且仅保留感兴趣点,也就是说人体的那些点。

根据另一示例,可以从诸如图3中表示的PC20的操作控制台获取表面轮廓。根据该后一示例,可以通过诸如探针或鼠标的选择工具以及由操作者在控制台20的屏幕上表示的图像来获得身体的表面的轮廓。根据其他示例,可以通过屏幕上的触觉命令或口头命令来进行选择。关注的是消除例如属于患者1在其上休息的桌子22的点。

本发明的方法包括生成第一图GEN_G1。第一图G1可以从患者1的身体表面生成的一组点的矩阵表示中获得。每个点在vi中标注,并且可以由显著地包括其在参考点R0中的坐标的矢量表示。根据一实施例,在该阶段,第一图G1在参考的采集帧中是无序的。甚至在最简单的实施例中使用符号"图",或者该组点对应于具有坐标的一系列点,也就是说,简单的点云。在其他实施例中,图可以是连接的或非连接的、定向的或非定向的等。

滤波

根据一实施例,本发明的方法包括对所获得的图形进行滤波的步骤,滤波可以是时间和/或空间滤波。滤波步骤使得可以减少在检测步骤之后生成第一图形G1期间生成的噪声。

属性确定

本发明的方法包括为每个点vi确定至少一个属性DET_ATi的步骤。这些属性对应于与点vi相关的数据。这些属性可以具有不同的性质:笛卡尔数据、形状描述符、标识符、向量等。

根据一实施例,属性包括描述在第一图形G1的点vi处的法向量ni的数据。法向量ni可以不同的方式确定。计算作为点云的点的属性的法向量的好处是能够产生与局部表面的凸度有关的信息。

根据一实施例,通过考虑从在其附近的点viLk在每个所考虑的点vi周围局部地生成的表面来计算在第一图形G1的给定点vi处的法向量ni。为此,将每个点的空间坐标与所考虑的点的坐标进行比较。根据一个示例,所获取的距离或深度数据被用于识别在所考虑的点附近的点。

根据第一示例,考虑用于计算法向量的表面是根据由第一图形G1的点所定义的下层表面来计算的。

根据第二示例,考虑用于计算法向量的表面是根据在GPU上实现的方法来计算的。根据另一示例,法向量是根据从所考虑的点的k个最接近的相邻点的方法直接获得的局部表面的近似来计算的。然而,连接3D点列表的这种三角测量方法可能比在GPU上实现的方法更昂贵。

计算在图的点处的法向量可增加点的描述,以便丰富点云。

形状描述符

根据一实施例,属性包括在第一图形G1的每个点vi处的至少一个形状描述符,标注为Dfi。形状描述符是在点处的空间的局部描述性签名。

根据一示例,根据所考虑的点vi附近的点的子集来计算形状描述符Dfi。该方法因此包括以下步骤:根据能够利用这些数据的每个图像采集设备的视角生成从身体模型重建或提取的点的图形。作为范例,当采集设备被布置在机械臂的远端时,可以根据采集设备的位置生成身体模型的部分视图以执行特定处置。

形状描述符还可以在从点云获得的3D身体模型的每个点处被推断出。就它们具有对称性和各向同性属性而言,形状描述符在诸如身体模型的旋转的等距变换期间保持不变。这有利于,无论所考虑的视角如何来转置形状描述符。

优点是直接在第一图形G1的点上执行形状描述符的计算。因此,本发明使得优化这些不应用于表面部分而是直接应用于图形的预定义点的形状描述符的计算成为可能。可以在从图形G1获得的连接图形的邻接矩阵上执行描述符的计算。连接图形意味着每个点与所有其它点连接。邻接矩阵使得获得与给定点直接连接的点成为可能。此外,可以从邻接矩阵推断出点相对于另一个点的接近程度。根据形状描述符,可以从邻接矩阵推断出某点的附近点。

可选地,本发明的方法使得可以应用距离阈值,以便仅将点与其N个最接近的邻居连接。

根据一实施例,形状描述符被选择为是等距的和不变的。感兴趣的是获得当利用等距变换进行身体的移动时保持不变的形状描述符。

根据第一示例,形状描述符是"波核特征"类型,注释WKS。根据第二示例,形状描述符是"热核特征"类型,注释HKS。根据第三示例,形状描述符是"高斯曲率"类型。

根据不同的实施例,在第一图形G1的每个考虑点处计算多个形状描述符Dfi,并且多个形状描述符Dfi与后面的点中的每个点相关联。

某些形状描述符是属于一组谱形状分析方法的形状描述符,诸如HKS或WKS描述符。HKS描述符特别地基于热方程的解,它基于拉普拉斯-波拉米算子。

这些形状描述符的优点之一是它们在特定变换中,特别是在等长变换中的不变性。此外,可以根据图G1的邻接矩阵来计算该形状描述符。优点是使得可以考虑所考虑的点与其附近的点集合的相对距离。

根据一个示例,本发明的方法可以在考虑应用于邻接矩阵的阈值的同时使用,以便仅考虑距离大于给定阈值的点子集。

WKS描述符本身基于薛定谔方程的解。WKS描述符的一个益处是其由算子获得的建模的光谱分离的能力。

可以选择形状描述符,使得它们对局部或全局三维形状进行建模。当这些描述符对局部建模进行编码时,可以引入有效性半径。然而,全局建模将受益于所使用的算子的几何不变性的总和。

也可以使用形状描述符"全局点特征",即GPS。该描述符基于拉普拉斯-波利姆(Laplace-Beltrami)类型的操作符。该操作符的好处在于其获得全局建模的能力。

也可以使用形状描述符"高斯曲率",即GC。该描述符提供了考虑参数化表面的可能性,并且因此相反地考虑了局部地定义表面的点。

描述符"谱图小波特征"(记为SGWS)也可用来定义多分辨率局部描述符。

基于谱形状分析的形状描述符的好处是它们能够被数学处理以聚集相连或相邻的表面、分割区域以及执行形状识别算法。

优点是丰富了点的描述,从而改善神经网络的回归性能。

形状描述符的另一优点是在第一曲线图G1的点处生成标识。当患者的身体随时间移动或改变时,身体的表面被认为是变形不等距的可变形对象。形状描述符使得能够在每个点处生成特定特征,其能够在变形之后再次找到,这得益于本发明的方法。

属性关联

因此,第一曲线图G1的每个点vi可以与坐标{xi,yi,zi}、法向矢量ni、一组形状描述符{Dfi1,Dfi2,Dfi3,…,DfiN}相关联。该步骤在图1中被标注为ASSO_ATi

点vi然后可以被构造为有限维度向量,其中每个维度对应于给定属性。然后可以生成第二图形G2。该第二图形G2对应于利用其属性ATi丰富的向量列表。

回归

计算步骤使得能够借助于参数化人体模型的近似来对所采集和富集的人体进行三维重建。该步骤在图1中标记为REG。回归步骤的目的是估计给定参数,以利用这些参数来配置可参数化的人体模型。因此,从由相机采集的部分视图,可以估计完整的参数化的人体模型。

为此,本发明的方法进一步包括计算包括形状和旋转ROTi参数的一组几何参数的步骤。

可以在第二图形G2的多个点处计算旋转。根据一实施例,针对第二图形G2的每个点计算旋转。根据一实施例,每个旋转可以与关节运动相关联。关节运动可以与参数化身体模型MOD_S的界定区域相关联,并且给定关节运动因此可以与参数化身体模型MOD_P相关联。给定关节运动因此可以在回归操作结束时与第二图形G2的一组点相关联。

形状参数可以由参数化身体模型的点在给定参考点中的一组位置来定义。

根据一个实施方式,输入参数是点云G1或G2的点集合,点云G1或G2的点集合提供有在欧几里德空间R3中计算的它们的属性。

根据一个替代方案,输入参数可以是与点云的每个点的图G1对应的邻接矩阵。这些输入使得能够在输入的谱域中进行研究,并且不一定需要考虑属性。

一组关节的形状参数和旋转对应于神经网络的输出参数。这些参数将使得可以配置参数身体模型MOD_S以生成参数化身体模型MOD_P。

根据一实施例,该回归步骤包括一系列数学运算,例如,输入矩阵和通过深度学习方法预先训练的权重矩阵之间的矩阵运算。

其操作中的每一个之后跟随有非线性函数。这些是使得可以产生网络的节点的输出的触发函数或传递函数。作为示例,可以执行诸如ReLU、S形或双曲正切的非线性函数。

根据一示例,该步骤包括根据从多个预定义的参数化身体模型MPPi}i∈[1,N]训练的神经网络的层的一系列卷积来执行回归。

它们可以是神经网络的卷积或层。实际上,网络可以在其第一层中包括卷积,或在模型的末端处的完全连接的神经元层。在后一种情况下,它们是连接到前面的层的所有神经元并且连接到后面的层的所有神经元的神经元。

卷积层可以包括产生一系列矩阵计算的输入矩阵的扫描。神经网络的其它层通常包括在输入矩阵的大小上的矩阵计算。在所有情况下,该步骤包括矩阵计算。

根据示例,每个卷积包括输入矩阵与权重矩阵之间的矩阵乘积并且考虑附加偏置。

由神经网络内的连续层进行的处理的应用包括应用一系列矩阵乘法,其后面是非线性函数以产生层的输出。这些操作的连续性定义了神经网络的深度。

根据一个示例性实施例,神经网络是通过首字母缩略词MLP所知的多层感知器。根据一个示例,神经网络可以是等效于MLP的网络。

根据一个示例,神经网络被配置为使得结果不随输入列表的点的排列而变化。通过使用池化函数(pooling function)使这种配置成为可能,该池化函数诸如被称为"MAX_POOLING"或"AVG_POOLING"的函数。

根据一实施例,神经网络的结构使得可以不同的尺度提取输入的属性。以不同尺度的点云的每个点的附近点被连续地考虑,以提取在减小的输入维度的空间中的编码。

接下来在一系列完全连接的层中传递该编码,以对参数化人体模型的参数集合执行回归。

采样和/或将采样点的附近点分组在一起然后再将这些点分组在一起的连续步骤被重复并且通过卷积层编码以创建获得的参数的映射。

本发明的方法有利地使得可以创建保存网络的输入处的点集与网络的输出处的点集的对称性的函数。因此,可以通过实施该对称性保存函数来确保神经网络到非连接的、非定向图的应用。该函数确保该步骤相对于输入点的排序的独立性。

该函数还使得能够在回归的处理内实现自编码器。

可以从通用模型获得参数化模型的集合。这样的模型的好处是能够从联接的参数化和形状参数生成人体的多个姿势。这样的身体模型的特殊性是它可以由联接的集合建模,每个联接包括至少一个旋转和位置。联接的旋转可以由角度定义。联接的位置可以与图形的至少一个点或同一图形的若干点的至少一个位置相关联。根据另一示例,联接的位置从组合图形的不同位置的操作获得,例如以生成新点的新位置。该新点可以是例如图形的点的子集的重心。可以参数化形状参数以定义身体的全局形状参数。

在位置和旋转中的联接的集合的配置数据的集合使得可以定义身体模型的给定姿态。因此,可以生成身体模型的多个姿态。

根据一实施例,人体的参数化建模是点的网格化网络。每个参数化关节生成关联点的网格化网络的点的子集的配置。

根据该后一实例,可以从72个旋转参数定义24个铰接,每个铰接与3个旋转相关联。该参数模型也可以包括3个整体旋转。可以提取铰接的子集以实现本发明的实施例,诸如手腕、肘部等。

每个关节还可以包括一组形状参数,诸如手腕的宽度、手腕的长度等。

根据示例性实施例,PCA(主成分分析)功能使得可以提取一般参数,该一般参数的配置使得可以对多个关节的一组参数起作用。作为实例,个体的大小、腹侧区的厚度、膨胀、骨盆的大小等可以被配置为预调节与多个关节链接的一组局部参数。

身体的参数化可以包括定义形状和角度的多个矢量。作为示例,其可以是脚踝、腰部、手臂等。一般配置使得可以获得可以被参数化的身体的轮廓或给定模板。

其它可参数化的身体模型可以与本发明的方法一起使用。

神经网络的学习

神经网络通过自动学习来训练,通过表述"机器学习"更好地了解。

这样的机器学习算法可以包括恢复高清晰度人体扫描的数据库的步骤。然后,通过应用等距变换来变形参数模型的身体模板的步骤。变换可以包括应用于模板的不同面以便符合从恢复的数据导出的扫描的平移和旋转及其组合。该步骤可以包括执行成本函数以例如通过梯度的下降来优化。

该方法包括对在每次扫描上进行的转换进行池化的步骤。然后通过ACP类型的方法来推导转换的主要成分。

应用该算法使得可以提取人体的主要形状和位置参数。

为了生成从参数化身体模型的多个参数化获得的一组参数化身体模型的一组部分视图VP,可以应用射线追踪算法。该算法能够考虑大量不同的视角,以便从给定的参数化身体模型生成大量部分视图VP。优点是避免在本发明的方法的执行期间的校准步骤,并且当将采集患者的身体的图像时更接近真实世界。学习与大量部分视图的相乘使得能够避免处置身体的步骤,诸如表示患者的身体采集的数据的平移或旋转。

该解决方案的一个好处是通过利用身体模型的不同局部视图改变参数来生成大量身体模型。后面这些局部视图VP对应于定义整个身体的点云的子集。一个优点是利用能够对应于在使用本发明的方法期间的真实身体的获取情况的众多配置来训练神经网络。该视点例如对应于相机的捕获点。为了构成表示身体模型的最完整的可能数据库,将该视点围绕从参数模型生成的每个身体的表面进行相乘。因此,将根据不同视点表示的众多身体表面保存在存储器中。为了执行回归步骤而生成的为了利用视点训练神经网络的数据集是多个参数化身体模型MOD_P的局部视图VP的集合。

优点是利用与身体模型的每个点相关联的形状描述符训练回归的权重,使得其能够在现实中被感知。可以针对所生成的每个部分身体模型视图VP并且针对给定身体模型的每个点获得形状描述符。由于学习而获得的形状描述符使得能够定义权重矩阵,其另外被称为包括针对神经网络的每层的加权系数的矩阵。在计算患者的身体模型期间实时执行回归的过程中,回归步骤将有利地利用由学习步骤定义的权重矩阵来执行。

由此生成的参数化身体模型MOD_P使得训练用于执行回归步骤REG的神经网络成为可能。实时执行的回归然后使得提取表征所考虑的身体的参数成为可能。

该步骤使得能够获得表面可以被容易地提取的身体模型,并且考虑完整的参数化身体模型而不是仅从相机看到的部分。

本发明的方法的优点是通过推理实时地重构三维表面。该解决方案基于使用由于深度学习技术而被训练的模型。感兴趣的是能够在没有优化方法(例如迭代方法)的情况下通过梯度算法来完成,该梯度算法需要较长的计算时间和对机械臂的实时控制的集成度限制。本发明的方法的好处是在学习期间而不是在对在机械臂的引导期间获取的数据的处理期间实现优化。

深度学习推理包括与先前训练的权重的矩阵乘法运算。

根据一实施例,神经网络的层包括取决于所考虑的层的分辨率。随着推理下降到网络的各个层中,尺度可以变得越来越大。可以使用诸如MLP网络之类的神经网络的示例。

第一网格M1

因此,该方法包括网格表面的提取步骤。所获得的表面的网格是第一网格M1。根据一实施例,第一网格M1是其中三角形由被考虑的表面的点与在其附近的点限定的网格。图7表示包括由共同位于所考虑的表面内的点的三元组形成的多个三角形的网格M1的示例。

根据另一实施例,在本发明的其他实施例中可以考虑另一网格图案:四边形、正方形、五边形以及一般地任何类型的多边形,其顶点是网格的点。

在回归操作之后创建网格M1。在回归步骤之前,考虑点云,使得每个点彼此独立,该这些点不链接在一起。

第二网格M2

根据一实施例,本发明的方法包括从第一网格M1定义第二网格M2的步骤。第二网格M2可以有利地被定义以便生成半均匀的三角形,例如等腰三角形。在该示例中,可以根据给定算法,例如使用所生成的网格的对称特性,来变换三角形。

图8表示从变换获得的第二网格M2的示例性实施例。网格M2包括一组点,该一组点包括保持不变的第一组点ni和从创建每个所考虑的三角形的等分线以创建两个新的等腰三角形而生成的第二组点ni'。

可以采用其他技术来均匀化网格以便正则化网格。根据另一技术,生成等边三角形,诸如图9中所示。优点是生成完全均匀的网格,显著地使得可以促进操作设备8的引导。

本发明的方法使得能够将变换应用于该网格的点,使得它们的属性也作为所生成的每个新点的笛卡尔位置的函数而被变换。

根据一示例,作为在被机械臂的端部处的一个或多个传感器或一个或多个发射器的参数化的函数来获得对网格M1或M2的期望分辨率。图G1的分辨率可以被配置为具有可变尺寸并且独立于网格M1或M2的分辨率。作为范例,圆36、37、38表示要从激光器递送到患者1的皮肤的表面上的功率的期望瞄准点。该解决方案的好处是生成适合于要应用的处置的皮肤学分辨率。

因此,图8示出通过具有不同尺寸的等腰三角形的网格获得的不同尺寸的圆36。因此,在激光发射时刻必须套用一系数以使施加到信号的功率适配。根据另一示例,第二网格M2可以通过一系列几何处理而变得均匀,以便获得等尺寸的三角形。

图9表示从激光器递送到皮肤表面上的功率的瞄准点37或38。该网格配置的好处在于能够获得从一个三角形到另一个三角形的相同射配置。三角形38在彼此之间是相切的,并且使得可以控制重叠参数的量。

根据一实施例,新的网格M3由从该第二网格M2生成的圆36、37、38限定。

实时控制

根据一实施例,采集设备5实时地执行对患者1的身体的全部或部分的点的采集ACQ,以便根据本发明的适于控制机械臂6的移动的方法来计算参数化的身体模型MOD_P。根据在因此被建模和重新计算的表面的定义的区域9内建立的治疗轨迹TRAJ1(在图4中被标记为30)来执行对机械臂6的引导。

机械臂6的轨迹TRAJ2可以根据机械臂6的头部8与皮肤表面之间的取向和相对距离从治疗轨迹TRAJ1自动生成,以例如借助于用户界面UI来定义。取向默认地确定为90°,也就是说,机械臂6的头部8的传感器或发射器的主轴与所考虑的身体的表面(特别是预先生成的参数化身体模型MOD_P)的目标点的法线N合并。距离对应于机械臂6的头部8的传感器或发射器的点与在患者的位置处生成的建模身体的表面上的目标点PTARGET的距离。

对患者1的身体的建模表面的实时计算的好处在于预测例如该患者1的移动以考虑例如由患者1的呼吸引起的移动。

本发明的方法的优点是能够在小于30ms内生成新的建模表面。这些响应时间显著地使得可以足够的速度来约束机械臂6的移动以预期碰撞或突然的移动,以便尽可能快地变得清晰。相机的采集的配置可以例如是10到90fps。

机械臂6的实时控制使得触发发射器的至少一次发射和/或操作装置8的传感器的获取成为可能。然后,当传感器或发射器的轴线的取向垂直于穿过目标点PTARGET的直线时,执行触发。目标点PTARGET被参考到所生成的参数化的身体模型上。后者在操作装置8的位置和取向处生成。目标点PTARGET可以在机械臂6的引导之前获得,例如,在激光发射或超声发射策略的计划期间。根据另一情况,在引导期间获得目标点PTARGET,例如,当所实现的图像的比较触发引导的变化以触发另一检测器时。

在所有情况下,根据引导策略定义目标点PTARGET,并且当所考虑的身体表面经历施加引导策略的适应性的变换时,可以校正目标点PTARGET的位置。

根据一实施例,由设备5进行的采集ACQ也可以耦合到由布置在机械臂6的端部处的光学器件进行的图像的采集。这可以是当机械臂6的移动掩蔽患者1的身体的感兴趣区使得采集设备5无法采集时的情况,或者是当小幅度的移动由机械臂6的远端光学器件控制时的情况。

因此,可以执行并且可能组合两种布局模式以在处理的执行期间生成新的建模表面。

机械臂

机械臂6由移动控制器GEN_TRAJ引导,该移动控制器GEN_TRAJ考虑了用以控制机械臂的不同约束。值得注意的是,该控制器考虑了对配置轨迹的规划以及对要由用户处理的区域的定义。根据本发明的方法,该表面被定义在重构的身体模型的表面上。此外,控制器CTRL可以考虑来自碰撞检测模块的指令以实时地调整机械臂的行进。最后,例如当对单个图像的检测对机器人施加了特定操纵时,控制器CTRL借助于模块CNTR_8考虑来自机器人6的头部的数据。

根据一实施例,机械臂6包括一组通过枢转关节612、623、634、645、656进行关节式运动的分支61、62、63、64、65。在这种情况下,机械臂6包括从枢转连杆进行关节式运动的5个分支。根据一个替代方案,机械臂6包括6个关节式运动分支,并且根据其他替代方案,机械臂6可以包括7个、8个或9个关节式运动分支。实际上,在该实施例中,每个关节能够在两个相邻分支之间进行至少一次旋转。

根据一实施例,机械臂的每个分支包括力传感器。优点是防止突然碰撞。当在机械臂6的分支与物体之间建立接触时,可以自动停止机械臂的移动或者修改机械臂的引导,使得机械臂的移动改变其轨迹。

根据一实施例,在本发明的方法之前执行机械臂6的校准的步骤。校准可以包括机械臂相对于参考点R0以及其初始位置的相对定位。

操作设备和光学器件

根据一实施例,机械臂6包括操作装置8,该操作装置有利地布置在机械臂6的端部处。根据一实施例,光学器件67可以布置成相对于机械臂的头部8在轴线外,或者它可以布置在该头部的端部处,如图6A的情况。

图3的配置的一个好处是为机械臂的头部提供例如激光设备或者为局部化治疗生成超声的设备并且使图像采集光学器件移位。图6A的配置的一个好处是配置用于皮肤病图像捕获应用的机械臂6。然而,可以设想所有配置以及前述情况的组合。

根据示例,操作装置8包括至少一个传感器和/或至少一个发射器。操作装置8也被称为机械臂6的"头部"。

在图5的示例中,机械臂6设置有一个或多个光学传感器67,用于获取皮肤表面的局部图像。在机械臂6的头部处捕获局部图像的好处在于能够重构"有色的"身体表面,也就是说,其中所捕获的图像被集成在通过本发明的方法生成的参数化身体模型MOD_P中。为此,位于机械臂67的端部处的光学设备或{83;84}可以优选地包括两个光学器件,以便重构与由两个光学器件同时获取的图像相关联的深度图。然后可以在参数化身体的表面上对图像进行索引。

其它传输/获取设备

此外,操作设备8可以包括超声、射频或激光类型的发射器,或者能够用于产生入射光束的任何其他信号源。根据一实施例,操作设备8可以包括聚焦发射器阵列和用于控制方向和发射功率的装置。

当超声发射器布置在操作设备8的末端时,超声接收器可以被关联以测量反射信号,以便构建真皮的图像和/或患者皮肤的厚度的图像,或甚至血管或器官的图像。

图6表示另一实施例,其中操作设备8包括定位在该操作设备的端部处的接收头80。接收头80包括两个局部光学器件83、84以拍摄身体的表面的图像,以及在沿着纵向方向86的两个方向上可移动的毫米级或显微光学器件。感兴趣的是生成具有包括针对皮肤应用(例如,针对诊断应用)的分辨率的毫米分辨率的图像。

机械臂的引导

最初,机械臂6的移动的产生借助于由用户借助于图2中所示的部件配置的轨迹来定义。用户可以选择患者1的身体的表面的感兴趣区域,诸如"臂"、"腿"或该区域的一部分或替代整个身体的区域。

可以借助于用户界面UI来进行区域的选择。可以借助于手写笔或借助于鼠标或替代地通过选择用户选择的一个或多个预定义区域来标记该区域。根据另一示例,可以借助于直接在显示器上的触觉命令或借助于声音命令来进行选择。

可以在通过本发明的方法10生成的参数化身体模型MOD_P上进行选择。在图2中标记了使得能够进行对区的选择的模块ROI。参数化身体模型MOD_P可以表示在用户界面UI的显示器上。当区被选择时,可以执行表面部分的提取,将在该表面部分上定义操作装置8的轨迹。根据示例,可以根据所选择的区的尺寸自动地定义轨迹30。例如,作为利用操作装置8执行的操作(诸如图像捕获、激光治疗和/或来自超声源的治疗)的函数,可以不同的方式实现自动轨迹生成函数。当涉及在预定义的区上进行图像捕获时,目标是覆盖所选择的区的整体。因此,可以根据光学器件的分辨率及其视场来计算优化的轨迹。

当用户自己在选定区上限定轨迹时,轨迹由部件PLAN_TRAJ获取,该部件将优化或计算机械臂的行进参数以覆盖选定表面。

本发明的方法使得能够实时地执行机械臂6的引导。为此,实施用于生成机械臂6的GEN_TRAJ移动的模块。为了根据例如患者的移动、对单个图像的捕获或者替代地在与对象接触的情况下对行进结束的控制来实时地计算轨迹,该模块使得能够实时地重新计算机械臂6的路线。

机械臂6的引导例如配置为来自参考点R0中参考的笛卡尔坐标系。可以通过控制图3或图5中表示的法线N的取向来配置机械臂6的端部的取向。法线N由与身体的表面的瞄准点成90°的角度限定。该参数化的好处在于,富集的网格中的每个点已经包括对应于模型的点的法线的属性。因此,可以通过将机械臂的取向对准在身体的表面的法线N上来执行机械臂的头部的取向的引导。

根据一实施例,机械臂6的头部8的端部与患者1的身体的模型化表面的瞄准点35之间的距离被限定为保持基本恒定,例如,保持5cm的距离。因此,机械臂6的引导沿着到患者1的皮肤的方向和距离被限定。

然后可以实现碰撞检测功能DET_COLLI以便向机械臂6的移动生成模块GEN_TRAJ递送控制指令。另外,该模块考虑由部件PLAN_TRAJ建立的初始轨迹。最后,还可以根据机械臂6的头部8的控制功能CNTR_8来管理机械臂的移动。当一个或多个光学设备被安装在机械臂6的头部时,可能需要对机械臂的控制以触发第二光学器件。

根据一实施例,光学系统5被配置成借助于控制回路来控制身体1的每个移动。该控制使得可以将在一瞬间获取的图像与连续获取的新图像之间的差异进行比较。这种控制的好处在于通过使机械臂5的初始行进适应新轨迹来修改机械臂5的引导。为此,可以实现碰撞检测功能DET_COLLI以适应机械臂6的行进的移动。机械臂6的移动的产生由功能GEN_TRAJ确定。

根据一实施例,机械臂6的头部是可移除的,使得后者可以用于不同的应用。包括用于皮肤病应用的一个或多个光学设备的头部可以例如由包括用于处理皮肤表面的应用(诸如脱毛、纹身移除或用于提升应用的UItherapy)的激光器的头部替代。

根据目标应用,可以优先选择给定的光学配置。

根据一示例,具有不同焦点的光学器件的布置被实施在机械臂6的头部的端部处。根据一实施例,这些光学器件可以独立地或联合地铰接或移位。

根据一示例,至少一个光学器件是共焦显微系统。根据一示例,焦平面可以被移位以便产生不同深度水平处的图像。可以重建皮肤表面的局部三维图像。该应用可用于重建体积(诸如皮肤表面上的美人斑的体积)。

在使用共焦光学器件的情况下,可以从诸如激光器之类的光源获得照明。

根据另一示例,至少一个光学器件被配置成产生一系列截面图像以实现断层摄影技术。根据给定配置,该技术可以是OCT(光学相干断层摄影)类型的。这些技术通常涉及将传感器与诸如激光发射器之类的发射器耦合。

其他可能的应用涉及来自超声发射的治疗。为此,至少一个超声发射器可以被布置在机械臂的头部的水平处。该发射器或这些发射器可以与传感器相关联,以测量回波信号或发射波形的修改。根据示例,其可以是被组织为生成聚焦在一个点处的波束的发射器的矩阵。功率可以被配置为通过在皮肤的表面上创建声压来灼伤组织或测量皮肤覆盖物上的奇点的弹性。

根据一实施例,发射器被配置为治疗皮下区。图像点可以参考目标点PTARGET来定义,该点图像位于身体模型的表面上。根据模型的表面经过目标点PTARGET,点图像例如位于皮肤表面的数毫米处,或者甚至数厘米处。

可以从目标点PTARGET和点图像的构建来执行发射器的引导。可替换地,可以从到达并限定点图像的空间点的限定直接执行发射器的引导,该点图像位于患者的皮肤下。当该点相对于目标点PTARGET没有被限定时,目标点PTARGET用于获取图像或倾倒机器人的修改轨迹的规划。

机械臂的头部还可以设置有传感器,使得可以探测皮肤的机械特性,例如其弹性、其硬度、其水合度或其粗糙度。

根据另一示例,荧光传感器布置在机械臂6的远端。这种传感器使得可以例如针对化妆品应用来监测生物活性成分。根据另一个示例,光谱技术可以用来执行分子表征。

皮肤病学的应用

根据一实施例,机械臂6的头部(也称为"操作装置"8)配备有用于皮肤病学应用的光学系统。在这种情况下,可以布置双光学装置。第一光学装置83、84包括由于机械臂6进行的移动而执行所谓的"宏观"扫描的相机。这些相机执行对皮肤表面的感兴趣的图像的捕获。根据一示例,光源使得可以照亮所捕获的区域。所透射的光可以是例如可见光或红外线,或者替代地是荧光光源。根据一个示例,包括偏振器的LED系统被配置成透射偏振光。在偏振光的情况下,LED型光源覆盖有偏振滤光器。在该示例中,布置在机械臂的头部的端部处的相机配备有偏振滤光器。根据一个示例,光源和相机的滤光器被正交地配置。

当检测到奇点时,控制机械臂6以修改其轨迹。在检测到的奇点上,例如形成奇点的区域的中心或重心上执行头部的定位。因此停止引导并且暂时暂停初始轨迹。

控制器触发第二光学设备85,使得能够捕获具有皮肤病分辨率的毫米或显微图像。为了获得良好的分辨率,可以根据沿着垂直于光学器件83、84或85中的一个的平面的轴的运动86来控制光学设备85。

图5表示患者1的身体的表面9的一部分,在该表面上表示轨迹30。轨迹30可以从机械臂6的扫描策略获得。根据一示例,所产生的轨迹30是由于规划模块PLAN_TRAJ而获得的。在图4的例子中,在患者1的皮肤的一部分9上表示三个皮肤病学奇点91。这些奇点可以是例如疤痕、黑色素瘤、美容斑、或任何其它皮肤表面奇点。当第一光学设备83、84的光场87截取奇点91时,动态地分析所获取的图像以确保机械臂6的控制。

第二光学设备因此使得可以拍摄患者1的皮肤的表面的近距离区域的图像。根据示例,第二光学设备85是皮肤镜。第二光学设备85可以包括与皮肤接触的玻璃板。根据示例性实施例,第二光学设备可以包括偏振光的发射器以便获得表皮的深度图像的信息。

为此,机械臂6或操作设备81的最后分支66可以配备有力反馈传感器,以制动第二光学设备85的行进,或者甚至使其停止并使其稳定。当第二光学设备85与患者1的皮肤接触时,可以触发例如激光的发射。

根据另一示例,机械臂的每个轴线都配备有力传感器。在传感器上读取的力值的分析用于控制施加在表面上的压力。因此,由于在每个轴线上的这些扭矩传感器,机械臂使得可以控制工具和工作表面(在这种情况下为患者的皮肤)之间的接触压力。这还可以用于执行工具在工作表面上的"滑动"。

根据一实施例,扫描设备87被触发以便将毛发移动远离光学器件85。这样的扫描设备87可以在第二光学设备85的光学器件的稳定期间自动地实现。有用的是避免位于希望进行图像捕获的奇点附近的毛发的图像捕获。根据一实施例,扫描设备87包括旋转杆,其触发光学器件85附近的柔性钳。优点是转动毛发使得其不再保留在光学器件85和皮肤之间。根据一个示例性实施例,多个扫描设备87被布置在光学器件85周围。图6B表示其中的两个。

当第二光学器件已经以更精确的奇异性分辨率捕获一个或多个图像时,第二装置85可以进行缩回运动以回到其初始位置。机械臂然后可以继续其行进并且返回到已经计划的引导轨迹。

根据示范性实施例,在距患者1的身体的表面1cm至20cm之间的距离处执行引导。根据优选实施例,在距皮肤的表面2cm至8cm之间的距离处执行引导。

根据一实施例,在距机器人的表面的给定距离处,光学器件的特性是已知的,可以获得光学器件的视场。这些特性使得能够知道覆盖在患者身体的复杂表面上获取的图像的部分。优点是能够使图像与患者身体的三维表面精确对应。此外,在所生成的参数化身体模型MOD_P上获取的图像的可能索引,图像可以被布置在该模型的给定位置中。因此,身体的三维表示可以存档有能够表示皮肤奇点的用户可访问的图像。利用所生成的参数化身体模型获取的图像的关联可以从网格M1或M2中执行。当网格包括例如三角形时,图像可以被细分以使该三角形与图像的表面对应。

根据一实施例,本发明包括利用网格的一组节点来参考捕获的图像的步骤。根据示例性情况,网格的每个三角形包括标识符。然后可以将图像与将该图像与一组标识符相关联的数据一起保存。

根据一实施例,由光学器件83、84和85获取的图像被保存在存储器中,例如,保存在机械臂6的运动控制器的存储器中。根据替代方案,操作装置8包括设置有至少一个计算装置和存储器的电子板。所获取的图像可以在下一次被发送到远程电子装置之前首先被本地保存。

根据示例性实施例,由光学器件83和84同时拍摄的每张照片彼此相关联。所获取的图像可以例如被印上时间戳并且与参考点R0中的空间点相关联。它们还可以与相对于与机械臂6的操作装置相关联的参考点R3的框架而被精确定位的点相关联,或者替代地相对于轨迹30而被参考。

当用第二光学装置85获取图像时,第二光学装置85可以与由第一光学装置83、84获取的图像相关联,并且特别是在轨迹30的与操作装置8已触发第二光学装置85的移动的位置相同的位置处。

本发明的优点是能够在从回归步骤REG产生的参数模型上用图像对每个采集的图像进行索引。因此,该方法使得可以在皮肤上定位图像的一部分,并且在产生的模型上对其进行索引。优点是保存了关于身体几何形状的拍照区域的精确轨迹。因此,当患者改变位置时或者当该患者返回以进行另一个后续访问时,已保存的照片的索引使得可以直接产生已经根据新的图像采集进行索引的感兴趣区域的新绘图。

感兴趣的是构成身体的所考虑表面的不同部分的不同分辨率的一组图像。

为了在对由操作装置捕获的图像实时采集期间获得机器人6臂的良好响应,可以将所采集的图像与一组特征图像进行比较。根据另一个示例,经训练的神经网络使得可以对所采集的图像进行分类以对它们进行分类,并且根据分类的结果生成命令。作为示例,对某些奇点的检测不需要触发第二光学设备85,而对其他奇点的检测需要具有更准确分辨率的图像捕获。

根据另一示例性实施例,机械臂6执行具有由第一装置83、84获取的图像的重叠的第一计划轨迹30。机械臂6然后其次在已经检测到奇异性的点处执行图像的第二捕获。当执行第一轨迹30以在由操作者选择的部分上引导机械臂6时并且当实现由第一光学装置获取的图像集时,机械臂6执行第二轨迹31。该轨迹可以从在第一轨迹30的过程期间识别的奇点自动生成。为了在识别的点处收集第二系列的图像,第二装置85在第二轨迹31的特征点处被自动触发。

应用激光器

根据应用的另一情况,机械臂6包括在其远端处的激光发射器。激光发射器可以例如布置在操作设备8的远端部上。操作设备8可以用于脱毛、某些皮肤疾病的治疗或纹身移除。此外,可以利用包括激光源的机械臂来实现UItherapy治疗或任何依靠激光的医学或美学皮肤病学治疗。为此,可以根据作为功率、波长、脉冲或连续状态等的参数的函数的使用来适配激光源的配置。

在管理激光源的情况下,可以有利地使用网格M2来优化激光发射的配置,特别是管理发射功率。实际上,包括例如等边三角形的均匀网格使得可以定义在该三角形上外接的或在该三角形中内接的圆的网格。在该三角形上外接的圆网格的优点是定义圆之间的重叠,并且因此定义发射之间的重叠。该配置使得可以定义与所考虑的目标区相邻的发射目标区。构造直接从均匀网格得到的切线圆的好处在于生成目标激光发射区,同时使得可以管理相邻目标上的两个连续发射之间的均匀重叠量的参数。

本发明使得可以管理重叠量,以补偿激光束围绕主照射轴的能量的不均匀性。因此,可以在具有均匀类型网格的给定区域上沉积基本均匀的能量的量。

在执行多个激光发射以完成皮肤区域的治疗目标的情况下,机械臂6的引导可以被配置为在一组点处变得不可移动,以根据给定的轨迹规划来执行连续的发射。轨迹规划PLAN_TRAJ借助于用户接口UI来确定。机械臂6的轨迹可以被实时地适配以考虑例如与激光源的配置、患者的移动相关联的数据,或者替代地考虑对臂的碰撞的检测。

本发明的系统包括用于定义激光照射的参数的装置,即照射功率和/或到达皮肤表面的直径以及重叠量。激光发射器和引导轨迹可以被配置为实现这些目的。

根据一实施例,该均匀网格的分辨率可以根据给定的照射配置来调整。通常,当激光照射的表面被限定为具有在皮肤的表面上获得的最大半径时,该网格被配置为限定其尺寸与照射约束相对应的圆。

在每种应用中,在实时引导期间,使覆盖给定轨迹的机械臂6实时评估轨迹。该评估借助于计算装置和本发明的方法的实施来执行。

当身体不移动时,为了定位机械臂6而重新计算的身体的表面的图像仅涉及已经计算的表面的旋转,也就是说,变换是等角的并且对应于根据所覆盖的轨迹的部分的机械臂的一个或多个旋转。针对机械臂的头部的位置生成身体的表面的生成位置。

当身体移动时,为了定位机械臂6而重新计算身体的表面的图像涉及非等距变换,根据本发明的方法重新计算表面。除了考虑潜在旋转之外,本发明的方法使得可以对形状描述符执行回归并且在机械臂的头部的位置的视点处重新生成身体的表面。

根据一实施例,特别是在激光或超声类型的机械臂6的头部8上的发射器的布置的情况下,当感兴趣区域小于给定表面阈值时,可以实施优化感兴趣表面的网格的步骤。可以执行该优化以便将该区域中的变换视为等距的。根据示例性实施例,本发明的方法使得可以确定身体的所考虑表面上的关键点,以便界定已接受等距形状变换的感兴趣区域。

本发明的一个优点是能够适应皮肤、外科、心脏病学等应用。

33页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:具有路线规划稳定机构的机器人系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!