阅读说明：本技术 术中血管立体定位导航系统及方法 (Intraoperative blood vessel three-dimensional positioning navigation system and method ) 是由 姜陶然 李青峰 昝涛 于 2020-06-11 设计创作，主要内容包括：本发明提供一种术中血管立体定位导航系统及方法,术中血管立体定位导航系统包括：增强现实头戴式设备和配置于人体上的图形标记；所述增强现实头戴式设备通过定位所述图形标记向术区投影三维血管模型,并显示叠加投影于术区的三维血管模型,从而立体定位人体血管。本发明中,通过佩戴增强现实头戴式设备,术者直视术区,通过观察叠加投影在术区的三维血管模型,精确、立体定位血管,在该过程中术者无需在术区与显示器之间切换视野,且无需配备其他硬件,可有效减少手术室内污染风险。(The invention provides a three-dimensional positioning navigation system and a method for blood vessels in operation, wherein the three-dimensional positioning navigation system for blood vessels in operation comprises the following components: an augmented reality head-mounted device and a graphical marker configured on a human body; the augmented reality head-mounted device projects a three-dimensional blood vessel model to the operation area by positioning the graphic mark, and displays the three-dimensional blood vessel model projected in the operation area in an overlapping manner, so that the blood vessel of the human body is positioned in a three-dimensional manner. In the invention, the operator looks directly at the operation area by wearing the augmented reality head-mounted equipment, and accurately and stereoscopically positions the blood vessel by observing the three-dimensional blood vessel model projected on the operation area in an overlapping manner, so that the operator does not need to switch the visual field between the operation area and the display in the process, and does not need to be equipped with other hardware, thereby effectively reducing the pollution risk in the operation room.)

术中血管立体定位导航系统及方法

技术领域

本发明涉及医疗器械技术领域，特别是涉及增强现实头戴式设备技术领域。

背景技术

术区重要血管定位是众多外科手术降低手术风险提高手术成功率的必要条件，如普外科复杂术区的血管定位，可以减少术中出血；血管外科术区血管定位，可以明确手术部位；整形修复外科的皮瓣血管定位，可以减少误伤目标血管的风险等。现有的血管成像方法，主要集中于术前血管定位，以彩色多普勒超声及CT血管造影技术最为常见。其中CT血管造影可以提供血管管径、走行等信息，且能清楚显示血管与周边肌肉的关系，并能利用CT数据获得三维血管模型提供直观影像资料，已逐渐成为血管成像及定位的金标准。但无论哪种术前血管成像信息都无法在术中与患者精确配对，实现术中血管立体定位。

随着计算机辅助外科技术不断的发展，利用术前影像数据计算获得个体化三维血管模型进行术中导航的虚拟现实技术已被广泛应用于多个外科学科。其中，增强现实(augmented reality,AR)技术是现今最为前沿的可视化技术之一。它借助显示技术、交互技术、传感技术和计算机图形技术将计算机生成的增强信息(如病人个体化血管三维模型)和使用者周围的真实世界(如病人)融为一体。同时展现给使用者。使使用者从感官效果上相信增强信息是其周围环境的有机组成部分，增强使用者的感官感受。目前已有数个研究机构将增强现实技术应用于术中导航，如肝胆胰外科、神经外科，颅颌面外科等。鲜有报道将该技术应用于术中血管立体定位。如将该技术应用于术中血管定位，术者可通过观察精确配准叠加至患者躯体的三维血管模型而实现血管精准定位。但现有的增强现实导航系统，需要通过高清摄像头拍摄获取真实场景，随后数据输入至工作站，和定位仪获取的位置信息结合处理，最终输出至显示器显示增强信息与真实场景融合的增强图像。因此，需要在手术室中额外配备高清摄像头、工作站、红外或电磁定位仪、二维显示器等硬件设备，而该类设备都无法进行彻底消毒灭菌且体积庞大，无疑增加了手术室污染的风险。另一方面，红外或电磁定位仪通常售价高昂，增加了导航系统的造价。如能有一硬件设备能将摄像、数据处理，显示等功能集合于一身，将大大降低手术室硬件配备的空间以及污染风险。如能摒弃应用定位仪获取位置信息这一技术，而应用其他性价比更高的定位方法，将大大降低定位导航系统的造价，更利于远期推广。

发明内容

鉴于以上所述现有技术的缺陷，本发明的目的在于提供一种术中血管立体定位导航系统及方法，用于解决现有技术中血管立体定位导航系统使用不便，增加手术风险的问题。

为实现上述目的及其他相关目的，本发明提供一种术中血管立体定位导航系统，包括：增强现实头戴式设备和配置于人体上的图形标记；所述增强现实头戴式设备通过定位所述图形标记向术区投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。

于本发明的一实施例中，所述增强现实头戴式设备包括：头戴式设备本体；设于所述头戴式设备本体中的：三维数据模块，用于接收导入的用于模拟人体组织的三维血管模型；摄像模块，用于捕获配置于人体上的图形标记；定位模块，用于将所述三维血管模型与所述图形标记进行定位；投影模块，用于根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；显示模块，包含一半透式镜片，接收所述摄像投影模块的投影并通过所述半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。

于本发明的一实施例中，所述三维数据模块包括：导入单元，用于接收导入的用于模拟人体组织的三维血管模型；模型操控单元，用于对所述三维血管模型进行操控处理。

于本发明的一实施例中，对所述三维血管模型进行的操控处理包括透明化处理、旋转、放大和获取解剖解说信息。

于本发明的一实施例中，所述摄像模块通过摄像头采集配置有图形标记的人体部位图像；所述定位模块包括：捕获单元，用于从所述人体部位图像中捕获所述图形标记；位置计算单元，用于计算所述摄像头与所述图形标记的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；所述投影模块将所述三维血管模型投影到与所述图形标记对

于本发明的一实施例中，所述图形标记缝合于人体上，或通过固定架固定于人体上或人体周围；或采用医用胶水黏附于人体皮肤表面。

本发明的实施例还提供一种术中血管立体定位导航方法，包括：通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。

于本发明的一实施例中，所述通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模块，并显示叠加投影于术区的三维血管模型的一种实现方式包括：构建用于模拟人体组织的三维血管模型，并通过AR三维血管模型处理软件对所述三维血管模型模型进行配准；将配准后的所述三维血管模型导入一增强现实头戴式设备；通过所述增强现实头戴式设备捕获配置于人体上的图形标记，并根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。

于本发明的一实施例中，所述术中血管立体定位导航方法还包括：对所述三维血管模型进行透明化处理、旋转、放大和获取解剖解说信息的操控处理。

于本发明的一实施例中，所述根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置的一种具体实现方式包括：通过增强现实头戴式设备的摄像头采集配置有图形标记的人体部位图像；从所述人体部位图像中捕获所述图形标记；计算所述摄像头与所述图形标记的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；将所述三维血管模型投影到与所述图形标记对应的位置。

如上所述，本发明的一种术中血管立体定位导航系统及方法，具有以下有益效果：

1、本发明中，通过佩戴增强现实头戴式设备，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，通过观察叠加投影在术区的三维血管模型，精确、立体定位血管，在该过程中术者无需在术区与显示器之间切换视野，且无需配备其他硬件，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题。

2、本发明使用二维图形标记完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度。

3.本发明适用增强现实头戴式设备同时具有三维数据模块，定位模块，投影模块，显示模块，无需再手术室配备其他相关硬件，可有效减少手术室内污染风险。

4、本发明可以与增强现实头戴式设备实时交互，对模型进行透明度，大小，旋转角度的调整，便于术者术中观察模型。

附图说明

图1显示为本发明的一实施例中术中血管立体定位导航系统的整体原理结构示意图。

图2显示为本发明的一实施例中增强现实头戴式设备的原理结构示意图。

图3显示为本发明的一实施例中增强现实头戴式设备中三维数据模块的原理结构示意图。

图4显示为本发明的一实施例中增强现实头戴式设备中摄像投影模块的原理结构示意图。

图5显示为本发明的一实施例中术中血管立体定位导航方法的流程示意图。

图6显示为本发明的一实施例中术中血管立体定位导航方法中配准投影的流程示意图。

图7显示为本发明的一实施例中术中血管立体定位导航方法的具体实施示意图。

图8和图9显示为本发明的一实施例中增强现实头戴式设备的应用实例图。

元件标号说明

1 术中血管立体定位导航系统

100 增强现实头戴式设备

110 头戴式设备本体

120 三维数据模块

121 导入单元

122 模型操控单元

130 摄像模块

140 定位模块

141 捕获单元

142 位置计算单元

150 投影模块

160 显示模块

200 图形标记

S100～S400 步骤

S310～S340 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1至图9。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

本发明实施例的目的在于提供一种术中血管立体定位导航系统及方法，用于解决现有技术中血管立体定位导航系统使用不便，增加手术风险的问题。填补术中血管立体定位的空白(以往技术无法实现术中，立体，定位)，且配准准确性高，精确性高，本实施例中的术中导航系统克服了当前导航技术普遍存在的直观性差，操作连续性不足的问题，无需配备高昂定位仪，性价比高，同时减少污染手术室风险。

以下将详细阐述本实施例的一种术中血管立体定位导航系统及方法的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本实施例的一种术中血管立体定位导航系统及方法。

实施例1

如图1所示，本实施例提供一种术中血管立体定位导航系统1，所述术中血管立体定位导航系统1包括：增强现实头戴式设备100和配置于人体上的图形标记200。

所述增强现实头戴式设备100通过定位所述图形标记200向术区投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。

具体地，于本实施例中，所述增强现实头戴式设备100用于术中血管定位导航，具体地，如图2所示，所述增强现实头戴式设备100包括：头戴式设备本体110；设于所述头戴式设备本体110中的：三维数据模块120，摄像模块130，定位模块140，投影模块150以及显示模块160。

于本实施例中，所述头戴式设备本体110至少配置有CPU、GPU、多个摄像头、传感器和显示屏。优选地，所述头戴式设备本体110采用HoloLens，HoloLens是微软公司开发的一种混合现实头戴式显示器。本实施例中利用HoloLens和设计的增强现实软件实现术中血管立体定位导航。

于本实施例中，所述三维数据模块120用于接收导入的用于模拟人体组织的三维血管模型。

其中，通过CT及CTA获取病人数据，使用三维重建软件重建病人拟术区血管及肌肉、骨等组织的三维血管模型及图形标记三维血管模型。CTA即CT血管造影，需在扫描前静脉推注碘造影剂，CTA扫描的三维数据包括血管、肌肉、骨骼的三维数据，通过三维重建软件例如mimics 15.0把图形标记200、血管、肌肉、骨骼等三维数据构建成三维血管模型。

具体地，于本实施例中，如图3所示，所述三维数据模块120包括：导入单元121和模型操控单元122。

于本实施例中，所述导入单元121用于接收导入的用于模拟人体组织的三维血管模型；将三维血管模型数据导入AR三维血管模型处理软件，完成三维血管模型优化及配准，并将优化配准后的三维血管模型数据导入HoloLens AR头显。HoloLens AR头显中的三维数据模块120接收导入的用于模拟人体组织的三维血管模型。

于本实施例中，所述模型操控单元122用于对所述三维血管模型进行操控处理。其中，对所述三维血管模型进行的操控处理包括但不限于透明化处理、旋转、放大和获取解剖解说信息。

即于本实施例中，术中可以使用HoloLens交互功能，对三维血管模型进行透明化处理，增强视觉感受，旋转，放大模型，对三维血管模型模型进行细致的观察。

于本实施例中，所述摄像模块130用于捕获配置于人体上的图形标记200，所述定位模块140用于将所述三维血管模型与所述图形标记200进行定位；所述投影模块150用于根据所述图形标记200将所述三维血管模型配准投影到与所述图形标记对应的位置。

具体地，于本实施例中，如图4所示，所述摄像模块130通过摄像头采集配置有图形标记的人体部位图像。

于本实施例中，所述定位模块140包括：捕获单元141和位置计算单元142。

所述捕获单元141用于从所述人体部位图像中捕获所述图形标记200；所述位置计算单元142用于计算所述摄像头与所述图形标记200的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向。

所述投影模块150将所述三维血管模型投影到与所述图形标记200对应的位置。三维血管模型投影在图形标记200的正中心，使得三维血管模型与病体图像叠加融合。

于本实施例中，所述图形标记200优选为方形，中间为黑白相间图形，外为白色边框。所述图形标记200缝合于人体上，或通过固定架固定于人体上或人体周围，或采用医用胶水黏附于人体皮肤表面。图形标记200使与躯体保持相对位置一致，可采用缝合在皮肤，或者是应用躯体固定支架的方法。使用缝合在皮肤或者应用躯体固定支架固定图形标记200，微创或无创，减轻病人的痛苦。

于本实施例中，使用图形标记200完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度，可减少手术室污染风险。

具体地，所述所述增强现实头戴式设备100的实施过程如下：

术中开启HoloLens AR头显，HoloLens配备的摄像头获取手术场景视频流，捕捉到图形标志，HoloLens CPU计算出图形标记200和和摄像头的相对位置；得到图形标记200和摄像头两者相对位置后，调整三维血管模型的位置和方向；将三维血管模型投影到图形标记200所在位置，完成初始配准，并呈现在HoloLens AR头显半透式镜片。

于本实施例中，所述显示模块160包含一半透式镜片，接收所述投影模块150的投影并通过所述半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。

HoloLens佩戴头者通过半透式镜片可以同时看见手术场景及三维血管模型，获得虚实结合的增强图像。其后HoloLens应用其配备的深度感受器完成初始配准之后的三维血管模型跟踪显示。

所以本实施例中，通过佩戴增强现实头戴式设备100，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，术者无需在术区与显示器之间切换视野，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题。

本实施例中，术中血管立体定位导航系统1通过一个增强现实头戴式设备100即能完成术中场景拍摄、虚实图像配准跟踪，增强信息显示的导航所有过程。将利用CT血管成像数据获得的血管三维血管模型与HoloLens结合，不但可以辅助实现术中血管立体定位，还可以减少导航系统配备，简化导航步骤，从而优化导航过程，增强导航系统的临床可操作性。

此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的技术特征引入，但这并不表明本实施例中不存在其它的结构和功能特征。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例2

如图5所示，本实施例提供一种术中血管立体定位导航方法，所述术中血管立体定位导航方法包括：通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模型，并显示叠加投影于术区的三维血管模型，从而立体定位人体血管。

具体地，于本一实施例中，所述通过增强现实头戴式设备定位配置于人体上的图形标记，向所述图形标记对应的术区位置投影三维血管模块，并显示叠加投影于术区的三维血管模型的一种实现方式包括：

步骤S100，构建用于模拟人体组织的三维血管模型，并通过AR三维血管模型处理软件对所述三维血管模型模型进行配准；

步骤S200，将配准后的所述三维血管模型导入一增强现实头戴式设备；

步骤S300，通过所述增强现实头戴式设备捕获配置于人体上的图形标记，并根据所述图形标记将所述三维血管模型配准投影到与所述图形标记对应的位置；

步骤S400，通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。

以下对本实施例的术中血管立体定位导航方法进行详细说明。

步骤S100，构建用于模拟人体组织的三维血管模型。

通过CT及CTA获取病人数据，使用三维重建软件重建病人拟术区血管及肌肉、骨等组织的三维血管模型及图形标记三维血管模型。CTA即CT血管造影，需在扫描前静脉推注碘造影剂，CTA扫描的三维数据包括血管、肌肉、骨骼的三维数据，通过三维重建软件例如mimics 19.0把图形标记200、血管、肌肉、骨骼等三维数据构建成三维血管模型。

步骤S200，将配准后的所述三维血管模型导入一增强现实头戴式设备。

于本实施例中，头戴式设备本体110至少配置有CPU、GPU、多个摄像头、传感器和显示屏。优选地，所述头戴式设备本体110采用HoloLens，HoloLens是微软公司开发的一种混合现实头戴式显示器。本实施例中利用HoloLens和设计的增强现实软件实现术中血管立体定位导航。

于本实施例中，将三维血管模型数据导入AR三维血管模型处理软件，完成三维血管模型优化及配准，并将优化后的三维血管模型数据导入HoloLens AR头显。HoloLens AR头显接收导入的用于模拟人体组织的三维血管模型。

步骤S300，通过所述增强现实头戴式设备100捕获配置于人体上的图形标记200，并根据所述图形标记200将所述三维血管模型配准投影到与所述图形标记200对应的位置。

具体地，如图6所示，于本实施例中，所述根据所述图形标记200将所述三维血管模型配准投影到与所述图形标记200对应的位置的一种具体实现方式包括：

步骤S310，通过增强现实头戴式设备100的摄像头采集配置有图形标记200的人体部位图像；

步骤S320，从所述人体部位图像中捕获所述图形标记200；

步骤S330，计算所述摄像头与所述图形标记200的相对位置，并根据所述相对位置调整待投影的所述三维血管模型的位置和方向；

步骤S340，将所述三维血管模型投影到与所述图形标记200对应的位置。

三维血管模型投影在图形标记200的正中心，使得三维血管模型与病体图像叠加融合。

于本实施例中，所述图形标记200优选为方形，中间为黑白相间图形，外为白色边框。所述图形标记200缝合于人体上或通过固定架固定于人体上。图形标记200使与躯体保持相对位置一致，可缝合于人体上，或通过固定架固定于人体上或人体周围，或采用医用胶水黏附于人体皮肤表面，微创或无创，有效减轻病人的痛苦。

于本实施例中，使用图形标记200完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度。

具体地，步骤S300的实施过程如下：

术中开启HoloLens AR头显，HoloLens配备的摄像头获取手术场景视频流，捕捉到图形标志，HoloLens CPU计算出图形标记200和和摄像头的相对位置；得到图形标记200和摄像头两者相对位置后，调整三维血管模型的位置和方向；将三维血管模型投影到图形标记200所在位置，完成初始配准，并呈现在HoloLens AR头显半透式镜片。

步骤S400，通过所述增强现实头戴式设备的半透式镜片显示手术场景与所述三维血管模型结合的增强现实图像。

HoloLens佩戴头者通过半透式镜片可以同时看见手术场景及三维血管模型，获得虚实结合的增强图像。其后HoloLens应用其配备的深度感受器完成初始配准之后的三维血管模型跟踪显示。

所以本实施例中，通过佩戴增强现实头戴式设备100，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，术者无需在术区与显示器之间切换视野，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题，而且有效减少手术室内污染风险。

于本实施例中，所述术中血管立体定位导航方法还包括：对所述三维血管模型进行操控处理。其中，对所述三维血管模型进行的操控处理包括透明化处理、旋转、放大及获取解剖解说信息。

即于本实施例中，术中可以使用HoloLens交互功能，对三维血管模型进行透明化处理、旋转、放大，对三维血管模型模型进行细致的观察，而且还可以获取解剖解说信息。

如图7所示，本实施例术中血管立体定位导航方法的具体执行过程如下：

于患者身上固定图形标记200，患者术前进行CT和/或CTA形成三维数据，包括血管、肌肉、骨骼的三维数据，通过三维重建软件把图形标记200、血管、肌肉、骨骼等三维数据重建三维血管模型。然后将虚拟的三维血管模型导入AR(增强现实)软件，优化三维血管模型。

术中时，在进行完常规消毒铺巾等操作后，HoloLens摄像头将术区视频流输出HoloLensCPU，CPU捕捉视频流中的图形标记200位置，同图形标记200完成初始配准投射虚拟的三维血管模型至HoloLens半透式镜片，术者通过半透式镜片看到虚拟的三维血管模型和术区虚实叠加的导航图像，术者在导航图像的指导下实现术中血管定位，如图8和图9所示。

可见，本实施例中，术中血管立体定位导航方法通过一个增强现实头戴式设备100即能完成术中场景拍摄、虚实图像配准跟踪，增强信息显示的导航所有过程。将利用CT血管成像数据获得的血管三维血管模型与HoloLens结合，不但可以辅助实现术中血管立体定位，还可以减少导航系统配备，简化导航步骤，从而优化导航过程，增强导航系统的临床可操作性。

综上所述，本发明中，通过佩戴增强现实头戴式设备，术者直视术区，即可获得虚实结合的血管立体定位导航信息，无需在手术器械上安装定位装置，通过观察叠加投影在术区的三维血管模型，精确、立体定位血管，在该过程中术者无需在术区与显示器之间切换视野，克服了当前术中导航技术普遍存在的直观性差，操作连续性不足的问题；本发明使用二维图形标记完成自动配准，无需配备其他配准设备，配准方法简单经济，且具有很高的配准精度，本发明适用增强现实头戴式设备同时具有三维数据模块，定位模块，投影模块，显示模块，无需再手术室配备其他相关硬件，可有效减少手术室内污染风险；；本发明可以与增强现实头戴式设备实时交互，对模型进行透明度，大小，旋转角度的调整，便于术者术中观察模型。所以，本发明有效克服了现有技术中的缺陷而具有高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。