阅读说明：本技术 基于影像匹配确定手术路径的方法与系统 (Method and system for determining operation path based on image matching ) 是由 陈阶晓 王冠茹 于 2020-03-19 设计创作，主要内容包括：一种确定患者的手术路径的方法与系统,该方法包括：构建所述患者的三维模型；获得所述患者的影像信息；选择与所述三维模型相关的第一组二维特征点和与所述影像信息相关的第二组二维特征点；将所述第一组二维特征点转换成第一组三维特征点(250)以及将所述第二组二维特征点转换成第二组三维特征点(260)；在所述第一组三维特征点和所述第二组三维特征点之间进行匹配(270),以确定使所述第一组三维特征点与所述第二组三维特征点一致的关系；并且在与机械臂相关的坐标系统中确定所述手术路径(290)。(A method and system for determining a surgical path of a patient, the method comprising: constructing a three-dimensional model of the patient; obtaining image information of the patient; selecting a first set of two-dimensional feature points associated with the three-dimensional model and a second set of two-dimensional feature points associated with the image information; converting the first set of two-dimensional feature points into a first set of three-dimensional feature points (250) and converting the second set of two-dimensional feature points into a second set of three-dimensional feature points (260); matching (270) between the first set of three-dimensional feature points and the second set of three-dimensional feature points to determine a relationship that brings the first set of three-dimensional feature points into correspondence with the second set of three-dimensional feature points; and determining the surgical path in a coordinate system associated with the robotic arm (290).)

具体实施方式

在下列具体实施方式中，将参考形成其一部分的附图。在该图中，除非上下文另有说明，否则相似的符号通常标识类似组件。该具体实施方式、附图及权利要求中所描述的说明性实施方案并非意在限制。可以在不背离在此呈现的主题的精神或范围的情况下，利用其他实施方案，以及进行其它变化。将可很容易地理解，如本文所总体说明的，以及各图中所示例的，本公开的个方面可以以广泛多种不同配置进行设置、置换、组合、及设计，其整个都在本文明确考虑范围内。

图1为显示根据本发明的一些实施方案设置的可在手术过程中遇到的几个点之间的空间关系的示例图。在图1中，手术路径110可包括安全点120、术前点130、进入点140、及目标点150。

图2为示出根据本发明的一些实施方案设置的确定患者手术路径的示例程序200的流程图。程序200可包括如步骤210、220、230、240、250、260、270、280及/或290所示例的一个或多个操作、功能或动作，其可透过硬件、软件及/或韧体进行。该各种步骤不旨在限于所述实施方案。所概述步骤和操作仅作为实例提供，且一些步骤和操作任选地、组合为较少的步骤和操作，或扩充为附加步骤和操作，而不背离所公开的实施方案的本质。尽管以循序顺序示出所述步骤，但也可并行和/或以不同于本文所述顺序进行这些步骤。

程序200可从步骤210“基于医学影像扫描构建三维3D模型”开始。在进行手术之前，可使用一些医学成像技术捕获患者的病况的快照，以使可以制定手术计划。该手术计划可以如上所阐述包括规划的手术路径。例如，外科医生可以命令该手术目标的医学影像扫描(例如，CT或MRI)。这样的医学影像扫描可能在该手术之前几天(例如，3至5天)进行。可以使用一些已知的方法基于该医学影像扫描数据构建三维模型。因此，可以在该三维模型中标识该规划的手术路径上的点。

在一些实施方案中，可采用人工智能引擎向该外科医生建议对所述患者的身体损伤最小的一条或多条规划的手术路径。基于所述患者的CT或MRI扫描，该人工智能引擎可以建议一条或多条最佳规划的手术路径。图3根据本发明的一些实施方案配置，示出计算规划的手术路径310以到达目标点320的实例。该计算可包括转换该标准脑部图谱数据；及将其置入到所述患者的医学扫描影像以标识脑部区域。一些实例脑部区域包括运动联合区331、表达性言语区332、较高心理功能区333、运动区334、感觉区335、体感联合区336、全局语言区337、视域区338、感受言语区339、联合区341及小脑区342。而且，可能自动标识共同目标组织(例如，视丘下核)。此外，以上所述每个脑部区域皆可能为了该人工智能引擎而指定代价函数(cost function)，以建议到目标组织的一条或多条规划的手术路径。可从TOF(飞行时间MRI)数据标识各血管。该外部脑部边界上的点用于进入点。

步骤210可以接着步骤220“产生2D快照”。在一些实施方案中，基于在步骤210中所构建的三维模型产生二维快照。在一些实施方案中，该二维快照是所述患者的三维模型的前视图。所述患者的前视图包括所述患者的至少一些脸部特征。

步骤220可以接着步骤230“驱动机械臂以获得患者的2D脸部影像”。在一些实施方案中，将至少两个二维光学装置(例如，摄影机和/或扫描仪)固定在该机械臂上。透过将该机械臂驱动到不同的位置，该两个二维光学装置可以捕获与所述患者相关的不同影像。在一些实施方案中，该两个二维光学装置的每一个皆构成收集有关所述患者的二维影像。在一些其他实施方案中，该两个二维光学装置组合构成收集有关所述患者的深度信息。因此，该至少两个二维光学装置既可以收集有关所述患者的二维影像，也可以收集有关所述患者的三维影像。

关于图4A，影像410是在第一时间收集的有关所述患者的二维影像。影像410具有坐标(X，Y)的影像中心411。人工智能引擎可以在影像410中用来标识所述患者。在一些实施方案中，该人工智能引擎可以在影像410中的框架413中标识所述患者。此外，该人工智能引擎可以在影像410中标识所述患者的脸部中心点415。脸部中心点415可以具有坐标(x，y)。在一些实施方案中，至少基于(X-x)的第一偏移及(Y-y)的第二偏移驱动该机械臂。

例如，在第一时间，该第一偏移或该第二偏移大于一个或多个预定临界值，并将该机械臂驱动到另一位置以减少该第一偏移和该第二偏移。

在一些实施方案中，随着在第二时间将该机械臂驱动到一第一更新位置，关于图4B，影像420系是机械臂上的该二维光学装置所收集的有关所述患者的二维影像。影像420具有更新坐标(X，Y)的影像中心421。可采用人工智能引擎在影像420中标识所述患者。在一些实施方案中，该人工智能引擎可以在影像420中的框架423中标识所述患者。此外，该人工智能引擎可以在影像420中标识所述患者之脸部中心点425。脸部中心点425可以具有更新坐标(x，y)。在一些实施方案中，(X-x)的第一偏移及(Y-y)的第二偏移两者小于该一个或多个预定临界值。

在一些实施方案中，在第三时间的第一更新位置处，可采用人工智能引擎标识至少三个特征点426、427及428。该二维光学装置构成收集有关所述患者的深度信息。可将该深度信息指定给可在三维空间中定义第一平面的特征点426、427和428。在一些实施方案中，在第四时间驱动该机械臂旋转并移动到一第二更新位置，使得该机械臂上的该二维光学装置在实质平行于该三维空间中的第一平面的第二平面上。随着该第二更新位置处的影像420的平均深度在有关该二维光学装置的操作参数的预定范围内，拍摄影像420作为所述患者的2D脸部影像，且方法200前往步骤240。

在步骤240“在2D快照和2D脸部影像中选择2D特征点”，可采用人工智能引擎在步骤220中所产生的二维快照中选择第一组二维特征点，并在步骤230中所拍摄的患者的二维脸部影像(例如，影像420)中选择第二组二维特征点。

关于图5，影像500是在步骤220中所产生的二维快照。在一些实施方案中，可采用人工智能引擎标识眉间501、右内眼眶502及左内眼眶503，因为在影像500中比较容易标识这些点。然而，对各种人种而言，眉间501、右内眼眶502及左内眼眶503可能不在相同二维平面上。假如影像500是二维快照，则眉间501、右内眼眶502及左内眼眶503不适合作为影像500上的二维特征点。尽管如此，基于解剖学，各人种的脸部上的小区域510在统计上为平面。因此，在一些实施方案中，采用该人工智能引擎产生分别通过眉间501、右内眼眶502及左内眼眶503并在区域510中相交的三条线520、530及540。在一些实施方案中，将相交点511选择为二维特征点。此外，在一些实施方案中，也将线530上的区域510中的点512和线540上的区域510中的点513选择为二维特征点。点511、512及513可为第一组二维特征点。在一些实施方案中，可选择区域510中的附加2D点以增加该第一组二维特征点的数量。

关于图6，影像600是在步骤230中所拍摄的二维脸部影像。在一些实施方案中，可以采用人工智能引擎标识眉间601、右内眼眶602及左内眼眶603，因为在影像600中比较容易标识这些点。然而，对各种人种而言，眉间601、右内眼眶602及左内眼眶603可能不在相同的二维平面上。假如影像600是二维脸部影像，则眉间601、右内眼眶602及左内眼眶603不适合作为影像600上的二维特征点。同样地，基于解剖学，各人种的脸部上的小区域610在统计上为平面。尽管如此，在一些实施方案中，采用该人工智能引擎产生分别通过眉间601、右内眼眶602及左内眼眶603并在区域610中相交的三条线620、630及640。在一些实施方案中，将相交点611选择为二维特征点。此外，在一些实施方案中，也将线630上的区域610中的点612及线640上的区域610中的点613选择为二维特征点。点611、612及613可以为第二组二维特征点。在一些实施方案中，可以选择区域610中的附加2D点以增加该第二组二维特征点的数量。

步骤240可以接着步骤250“将第一组2D特征点转换成第一组3D特征点”。在一些实施方案中，在步骤250中，将该第一组二维特征点(例如，点511、512及513)转换成第一组三维特征点。如上所述，在所构建的三维模型中所产生的二维快照中选择该第一组二维特征点。基于在该所构建的三维模型中拍摄该二维快照中的算法，可进行反向操作以将该二维快照(例如，在步骤220中所产生快照)上的第一组二维特征点转换成该所构建的三维模型(例如，在步骤210中所产生三维模型)中的第一组三维特征点。在一些实施方案中，该第一组三维特征点可以标识允许使用迭代最近点(Iterative Closest Point，ICP)算法的后续匹配的第一初始三维坐标。

步骤250可以接着步骤260“将第二组2D特征点转换成第二组3D特征点”。在一些实施方案中，在步骤260中，将该第二组二维特征点(例如，点611、612及613)转换成第二组三维特征点。如上所述，可透过该二维光学装置收集有关所述患者的深度信息。在一些实施方案中，可将该深度信息添加到该第二组二维特征点，以将该第二组二维特征点转换成第二组三维特征点。在一些实施方案中，该第二组三维特征点可以标识允许使用迭代最近点(ICP)算法的后续匹配的第二初始三维坐标。

步骤260可以接着步骤270“在第一组三维特征点和第二组三维特征点之间进行影像匹配”。在一些实施方案中，将该第一组三维特征点与该第二组三维特征点进行匹配，以确定使该第一组三维特征点与该第二组三维特征点一致(align)的关系，有时迭代以使该两组三维特征点之间的区别最小化。

为清楚起见，下列讨论主要使用该两个二维光学装置(例如，两个二维摄影机)的一个非限制性实例和有关该两个二维光学装置的三维坐标系统(例如，三维摄影机坐标系统)，以解释本发明的各实施方案。

步骤270可以接着步骤280“转换坐标”。在步骤280中，将该构建的三维模型中的第一组三维特征点从其原始坐标系统(即三维模型坐标系统)转换成该两个二维光学装置所拍摄的影像的坐标(即三维摄影机坐标系统)。该转换可以基于一些影像比较方法，例如迭代最近点(ICP)。步骤280可以进一步包括附加坐标转换，其中将该三维摄影机坐标系统上的所有点转换成该机械臂的坐标(即机械臂坐标系统)。以下将进一步说明转换坐标的详细信息。

步骤280可以接着步骤290“确定手术路径”。在步骤290中，可将三维模型坐标系统中的所规划的手术路径的坐标转换成该机械臂坐标系统。因此，该机械臂可以移动到所规划的手术路径上的安全点、术前点、进入点和/或目标点。

在一些实施方案中，可将实例程序200应用于各种类型的手术，例如但不限于脑部手术、神经系统手术、内分泌腺手术、眼部手术、耳部手术、呼吸道手术、循环系统手术、淋巴管手术、胃肠道手术、口腔和牙科手术、泌尿手术、生殖手术、骨骼、软骨和关节手术、肌肉/软组织手术、乳房手术、皮肤手术等。

总之，可使用至少两个二维摄影机或扫描仪以获得患者的脸部特征。然后，可将该脸部特征与有关医学影像扫描的三维模型的二维快照进行比较。在该二维快照中选择第一组二维特征点，并在通过该二维摄影机或扫描仪分别获得的二维患者的脸部影像中选择第二组二维特征点。为了比较，将该第一组二维特征点和该第二组二维特征点分别转换成该三维模型中的第一组三维特征点及第二组三维特征点。在一些实施方案中，可以将实例程序200应用于各种类型的手术，例如脑部手术、神经系统手术、内分泌腺手术、眼部手术、耳部手术、呼吸道手术、循环系统手术、淋巴管手术、胃肠道手术、口腔和牙科手术、泌尿手术、生殖手术、骨骼、软骨和关节手术、肌肉/软组织手术、乳房手术、皮肤手术等。

图7示出了根据本发明的一些实施方案的从所构建的三维模型坐标系统转换至该三维摄影机坐标系统的实例坐标。以下将连同图8进一步讨论此图。

图8是示出了根据本发明的一些实施方案转换坐标的实例程序800的流程图。程序800可包括如步骤810、820、830和/或840所示例的一个或多个操作、功能或动作，其可透过硬件、软件和/或韧体进行。该各种步骤不旨在限于所述实施方案。所概述的步骤和操作仅作为实例提供，且一些步骤和操作可以任选地，组合为较少步骤和操作，或扩充为附加步骤和操作，而不背离所公开的实施方案的本质。尽管以循序顺序示出该步骤，但也可以以并行和/或以不同于本说明书所述顺序进行这些步骤。

关于图7，在步骤810中获得初始矩阵。在一些实施方案中，获得第一初始矩阵T_MRI和第二初始矩阵T_摄影机。在一些实施方案中，

其中

Vector_Xx是Vector_X的x分量、Vector_Xy是Vector_X的y分量，且Vector_Xz是Vector_X的z分量。同样地，Vector_Yx是Vector_Y的x分量、Vector_Yy是Vector_Y的y分量，且Vector_Yz是Vector_Y的z分量。Vector_Zx是Vector_Z的x分量、Vector_Zy是Vector_Z的y分量，且Vector_Zz是Vector_Z的z分量。P1_x是P1的x坐标、P1_y是P1的y坐标，且P1_z是P1的z坐标。

在一些其他实施方案中，

其中

Vector_X′x是Vector_X′的x分量、Vector_X′y是Vector_X′的y分量，且Vector_X′z是Vector_X′的z分量。同样地，Vector_Y′x是Vector_Y′的x分量、Vector_Y′y是Vector_Y′的y分量，且Vector_Y′z是Vector_Y′的z分量。Vector_Z′x是Vector_Z′的x分量、Vector_Z′y是Vector_Z′的y分量，且Vector_Z′z是Vector_Z′的z分量。P1′_x是P1′的x坐标、P1′_y是P1′的y坐标，且P1′_z是P1′的z坐标。

步骤810可以接着步骤820“获得变换矩阵”。在一些实施方案中，该变换矩阵可以是并根据将P1、P2及P3转换成该三维摄影机坐标系统。假设分别将P1、P2及P3转换成P1_经过转换、P2_经过转换及P3_经过转换，则基于一些可行的ICP方法计算有关P1_经过转换和P1′、P2_经过转换和P2′以及P3_经过转换和P3′之间差值的距离度量(metric)。

步骤820可以接着步骤830。在步骤830中，确定该距离度量的变化是否到达临界值。若未到达该临界值，则步骤830可以返回步骤820，其中选择P1_经过转换、P2_经过转换和P3_经过转换以更新T_攝影机，最后取得新的变换矩阵若到达该临界值，则步骤830接着步骤840。

在步骤840中，获得转换矩阵以将各点从该三维摄影机坐标系统转换成该机械臂坐标系统。在一些实施方案中，该转换矩阵

其中

R＝I+(sinθ)K+(1-cosθ)K² (4)

是与在该机械臂坐标系统中的摄影机中心(例如，该摄影机坐标系统的原点)有关的旋转向量；

k_x是的x分量、k_y是的y分量，且k_z是的z分量；以及在该机械臂坐标系统中，Pc_x是该摄影机中心的x坐标、Pc_y是该摄影机中心的y坐标，且Pc_z是该摄影机中心的z坐标。在一些实施方案中，以下将搭配图9进一步说明将该摄影机中心置入在该机械臂坐标系统中的实例方法。

根据该转换矩阵，可以将该三维模型坐标系统中的手术路径上的各点转换成该机械臂坐标系统。因此，该机械臂可以移动到该手术路径上的一个或多个点。

在一些实施方案中，图9是示出将光学装置(例如，摄影机)置入在该机械臂坐标系统中的实例程序900的流程图。在一些实施方案中，可以将该光学装置安装在该机械臂的凸缘处。为了用如以上所述各项kx、k_y、k_z、Pc_x、Pc_y及Pc_z说明该机械臂坐标系统中的光学装置，首先可根据程序900将有关该光学装置的点(例如，该摄影机坐标系统的原点)置入在该机械臂坐标系统中。程序900可包括如步骤910、920、930和/或940所示例的一个或多个操作、功能或动作，其可透过硬件、软件和/或韧体进行。该各种步骤不旨在限于所述实施方案。所述步骤和操作仅作为实例提供，且一些步骤和操作可以任选地，组合为较少步骤和操作，或扩充为附加步骤和操作，而不背离所公开的实施方案的本质。尽管以循序顺序示例该步骤，但也可以并行和/或以不同于本文所述的顺序进行这些步骤。

程序900可以始于步骤910。在步骤910中，该机械臂被配置移动到起始位置。在一些实施方案中，该起始位置邻近且面向该机械臂的参考点(例如，机械臂基座)。在一些实施方案中，在该起始位置处，该光学装置被配置成捕获该机械臂的参考点的一个或多个影像。该捕获的影像与该光学装置的点和该机械臂的参考点之间的空间关系相关联。

步骤910可以接着步骤920。在步骤920中，基于该捕获的影像获得该机械臂的参考点的网格。

步骤920可以接着步骤930。在步骤930中，基于该机械臂的某些实体信息构建该机械臂的参考点的三维模型。在一些实施方案中，该实体信息可以包括该机械臂的组件的尺寸、定向和/或几何特征。

步骤930可以接着步骤940。在步骤940中，将获得的网格与构建的三维模型进行匹配。可使用一些技术可行的方法进行匹配，例如，可以使用迭代最近点方法将获得的网格的点与构建的三维模型的点进行匹配，以满足给定的收敛精确度。随着该给定的收敛精确度得到满足，可以计算该光学装置的点和该机械臂的参考点之间的空间关系。基于该计算，可以将该摄影机的点转换成该机械臂坐标系统并置入在其中。

前述实施方式已通过使用方块图、流程图和/或实例阐述装置和/或程序的各种实施方案。从方块图、流程图和/或实例内含有一个或多个功能和/或操作，本领域人员将理解，可以通过广泛的硬件、软件、韧体或其几乎任何组合，个别和/或集体实施此方块图、流程图或实例内的每个功能和/或操作。在一些实施方案中，可通过特殊应用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Arrays，FPGA)、数字信号处理器(Digital Signal Processor，DSP)或其他整合格式实施本文所述主题的几个部分。然而，本领域技术人员将认可，可在集成电路中将本文所公开的实施方案的一些方面全部或部分等效实施为在一个或多个处理器上执行的一或多个计算机程序(例如，作为在一个或多个微处理器上执行的一或多个程序)、在一个或多个处理器上执行的一或多个程序(例如，作为在一或多个微处理器上执行的一个或多个程序)、韧体或其几乎任何组合，且根据本发明，设计该电路和/或编写用于该软件和或韧体的程序代码将完全在本领域技术人员的技术范围内。此外，本领域技术人员将了解，能够以多种形式将本文所述主题的机理分散为程序产品，且本文所述主题的示例性实施方案不论用于实际进行该分布的信号承载媒体的特别类型为何皆适用。信号承载媒体的实例包括但不限于下列：可记录类型媒体，例如软盘、硬盘驱动器、光盘(Compact Disc，CD)、数字通用光盘(Digital Versatile Disk，DVD)、数字磁带、计算机内存等；以及传输类型媒介，例如数字和/或模拟通讯媒介(例如，光纤电缆、波导、有线通信链接、无线通信连结等)。

从前述将了解，为了示例的目的，本文已描述了本发明的各种实施方案，并可以在不背离本发明的范畴与精神的情况下进行各种修改。因此，本文所公开的各种实施方案不旨在是限制性的。