辅助在对象内移动插入元件
阅读说明：本技术 辅助在对象内移动插入元件 (Assisting movement of an insertion element within an object ) 是由 R·W·M·布伦斯 W·H·G·M·范登布门 于 2020-01-17 设计创作，主要内容包括：本发明涉及辅助用户在对象内移动插入元件。在对象内跟踪插入元件的三维(3D)位置和3D局部形状。基于插入元件的被跟踪3D位置和3D局部形状,生成以其3D位置和3D局部形状表示对象内的插入元件的插入元件表示(42”’)。此外,提供了沿着插入元件表示(42”’)的长度应用的表示插入元件的局部形状的指示的至少两个不同的标记(78)。显示包括具有不同标记(78)的插入元件表示(42”’)的显示图像(60”)。标记可以例如包括交替环状结构(78),所述交替环状结构具有针对插入元件表示的尖端和其余部分的交替的较浅和较暗的颜色和/或不同的颜色以改进插入元件的3D可视化。(The invention relates to assisting a user in moving an insertion element within an object. Three-dimensional (3D) positions and 3D local shapes of the insertion elements are tracked within the object. Based on the tracked 3D position and the 3D local shape of the insertion element, an insertion element representation (42 "') is generated which represents the insertion element within the subject in its 3D position and 3D local shape. Furthermore, at least two different markings (78) are provided which are applied along the length of the insertion element representation (42 "') and which represent an indication of the local shape of the insertion element. A display image (60 ") is displayed that includes insert element representations (42"') having different indicia (78). The marker may, for example, comprise an alternating ring-like structure (78) having alternating lighter and darker colors and/or different colors for the tip and the rest of the insertion element representation to improve 3D visualization of the insertion element.)
技术领域
本发明涉及一种用于辅助用户在对象内移动插入元件的辅助装置、一种用于辅助用户在对象内移动插入元件的方法以及一种用于辅助用户在对象内移动插入元件的计算机程序产品。本发明还涉及一种用于在对象内移动插入元件的介入系统，其包括辅助装置。
背景技术
在导管插入流程中，重要的是知道导管在人的内部结构内的位置，导管应当被导航通过所述内部结构。出于这种原因，通常在导管插入流程期间生成实时X射线投影图像，其中，医师基于所生成的X射线投影图像在内部结构内移动导管。然而，由于X射线投影图像仅是二维(2D)图像，因此医师难以准确地掌握导管在内部结构内的三维(3D)位置，并且因此难以在内部结构内准确地导航导管尖端。
WO2015/177012A2公开了一种用于对第一对象(如第二对象内的导管的尖端)进行成像的成像装置，所述第二对象例如是人的血管结构。提供了包括第二对象的表面的表示的第二对象的三维表示和相对于第二对象的位置的第一对象的位置，并且第一对象到第二对象的表面的表示上的投影被确定并在显示器上被示出给用户，如医师。
发明内容
本发明的目的是提供一种用于辅助用户在对象内移动插入元件的辅助装置、一种用于辅助用户在对象内移动插入元件的方法、以及一种用于辅助用户在对象内移动插入元件的计算机程序产品，其允许用户更准确和更快地在对象内移动插入元件。本发明的又一目的是提供一种用于在对象内更准确且更快速地移动插入元件的介入系统，其包括辅助装置。
在本发明的第一方面中，呈现了一种用于辅助用户在对象内移动插入元件的辅助装置。所述辅助装置包括跟踪单元、插入元件表示生成单元和显示器。所述跟踪单元被配置用于跟踪所述对象内的所述插入元件的3D位置和3D局部形状。所述插入元件表示生成单元被配置用于基于所述插入元件的被跟踪3D位置和被跟踪3D局部形状来生成以其3D位置和3D局部形状表示所述对象内的所述插入元件的插入元件表示。所述插入元件表示生成单元还被配置用于提供沿着所述插入元件的长度应用的表示所述插入元件的所述局部形状的指示的至少两个不同的标记。所述显示器被配置用于显示包括所述插入元件表示的显示图像，所述插入元件表示具有沿着所述插入元件表示的长度应用的所述至少两个不同的标记。
由于插入元件表示生成单元被配置用于提供沿着插入元件表示的长度应用的表示插入元件的局部形状的指示的至少两个不同的标记，因此可以提供可视化，这允许用户容易且准确地掌握插入元件的3D形状，并且因此可以允许更准确且更快地在对象内移动插入元件。特别地，与对于通常具有纵向形状的插入元件(诸如导管和导丝)不是非常明显的阴影效果相比，这允许改进的可视化。
标记可以包括不同的颜色、不同的不透明度、不同的亮度、不同的阴影或任何其他类型的标记。
标记可以是具有变形形状的环状结构。例如，环状结构可以以交替的较浅和较暗颜色、较低和较高亮度、较低和较高不透明度等的形式沿着插入元件表示的长度应用。环状结构的变形形状取决于插入元件的局部形状。这允许改进插入元件的局部形状的可视化。
所述插入元件表示生成单元可以被配置用于将所述至少两个标记提供为具有变形形状的环状结构。所述变形形状可以使得对于所述插入元件的局部形状的弯曲，所述环状结构表现为在弯曲的内侧上更靠近并且在所述弯曲的外侧上更分开，以便强调所述环状结构的形状的三维效果。备选地或另外地，所述插入元件表示生成单元可以被配置用于提供具有针对插入元件的所述局部形状的扭曲的扭曲效果的环状结构。将标记提供为具有变形形状的环状结构允许改进对象内的插入元件的3D可视化。
所述辅助装置可以包括对象图像提供单元，所述对象图像提供单元用于提供示出所述对象内的视图的对象图像。所述跟踪单元可以适于跟踪所述插入元件的取向。所述插入元件表示生成单元可以被配置用于基于所述对象图像来生成具有3D位置、取向和尺寸的所述插入元件表示。所述显示器可以被配置用于显示包括所述插入元件表示的所述显示图像，所述插入元件表示具有沿着被布置在所述对象图像内的所述插入元件表示的长度应用的所述至少两个不同的标记。
对象图像提供单元可以包括用于采集对象图像的图像采集单元，或可以连接到用于接收由图像采集单元采集的对象图像的图像采集单元。图像采集单元可以包括计算机断层摄影(CT)系统、磁共振成像(MRI)系统、超声(US)系统、核成像系统(如正电子发射断层摄影(PET)系统或单光子发射断层摄影成像系统)或用于采集对象图像的任何其他图像采集单元。对象图像可以是3D图像、2D投影图像或任何其他类型的图像。对象图像可以是CT图像、磁共振(MR)图像、PET图像、US图像或使用另一类型的图像采集单元采集的任何其他类型的图像。对象图像提供单元可以包括用于存储对象图像的存储单元，例如存储器形式的计算机可读介质。对象图像提供单元还可以包括用于接收对象图像并用于提供接收到的对象图像的接收单元。对象图像提供单元还可以适于基于对象图像提供对象内的视图的3D模型作为对象表示。例如，至少可以在对象图像中分割对象内的表面，以便确定对象内的表面的对象表面表示。对象图像提供单元可以适于提供表示对象内的视图的多边形网格作为对象表示。此外，对象图像提供单元可以适于生成对象表示。
跟踪单元可以适于跟踪和提供插入元件的尖端相对于对象内的目标元素(例如尖端要移动到的点)的取向。目标元素可以由用户选择或自动识别。例如，尖端的位置可以被定义为插入元件的尖端处的中心点的最远侧位置，其中，尖端可以是稍长的，即沿着纵向轴线延伸的，并且其中，尖端的取向可以被定义为尖端的纵向轴线的取向。还考虑插入元件的尖端相对于对象内的目标元素的取向还改进了可以提供给在对象内移动插入元件的用户的3D印象。
跟踪单元和对象图像提供单元可以相对于彼此配准。配准可以以若干方式执行，诸如2D-3D配准。通过识别插入元件在目标图像中的位置并且还通过由跟踪单元确定该位置，跟踪单元可以与目标图像提供单元配准。插入元件表示生成单元可以被配置用于基于对象图像生成具有3D位置、取向和尺寸的插入元件表示。备选地，对象图像提供单元可以被配置用于提供示出取决于插入元件的跟踪取向的对象内的视图的对象图像。这允许可视化对象内的插入元件的形状和取向。
跟踪单元可以适于相对于对象内的目标元素(例如尖端要移动到的点)的位置来跟踪插入元件或例如插入元件的尖端的位置。跟踪单元可以适于通过使用光学形状感测和/或通过使用电磁传感器和/或通过使用X射线来相对于目标元素的位置提供插入元件的尖端的位置。例如，跟踪单元可以适于在至少两个不同的采集方向上采集对象内的插入元件的X射线投影图像，其中，插入元件的尖端能够在X射线投影图像中被识别，并且可以在考虑相应的采集方向的情况下基于插入元件的被识别尖端在X射线投影图像内的位置来确定插入元件的尖端相对于对象内的目标元素的位置。插入元件的尖端的位置的确定可以与对象图像配准，以便提供相对于对象内的目标元素的位置的插入元件的尖端的位置。例如，可以用于确定插入元件的尖端的位置的X射线投影图像可以与目标元素被示出在对象内的对象图像配准，以便将插入元件的被确定位置与对象内的目标元素的位置被提供的对象图像配准。或者，如果光学形状感测和/或电磁感测被用于确定插入元件的尖端相对于对象的目标元素的位置，则光学形状感测系统和/或电磁感测系统可以与在其中目标元素被示出在对象内的对象图像配准，以便相对于对象内的目标元素的位置确定插入元件的尖端的位置。
跟踪单元可以适于计算所提供的插入元件的尖端的位置与对象内的目标元素之间的距离。所计算的距离优选地是相应的最小距离。
对象图像提供单元可以适于在插入元件已经被引入到对象中之后生成对象图像，并且适于提供所生成的对象图像。对象图像可以是示出对象内的目标元素和对象内的插入元件的尖端的实况图像。对象图像可以例如是由如X射线C形臂系统的X射线投影系统生成的X射线投影图像。这允许增加用户可以从显示器上示出的所得特征掌握的3D信息的量，这可以允许用户进一步改进在对象内移动插入元件的准确性。
所述显示器可以被配置用于基于所述对象内的视图、所述对象内的所述插入元件的被跟踪3D位置和被跟踪取向来显示所述插入元件相对于所述对象的取向信息。取向信息可以包括在相应取向上的对象的略图、在相应取向上的包括对象的患者的略图和/或取决于参考坐标系的角度。这允许改进插入元件在对象内的当前布置的可视化。取向信息例如还可以指示对象内的视图的采集方向，以便允许用户更好地掌握插入元件相对于对象的取向。
所述对象图像提供单元可以被配置用于提供具有所述对象内的不同视图的至少两幅对象图像。所述显示器可以被配置用于显示至少两幅显示图像。所述显示器可以被配置为同时显示两幅或更多幅显示图像，例如，并排、彼此交叠、用户的每只眼睛一幅或以任何其他方式。所述显示图像中的每幅可以包括所述插入元件表示，所述插入元件表示具有沿着被布置在所述对象图像之一内的所述插入元件表示的长度应用的所述至少两个不同的标记。对象内的不同视图可以例如包括不同的2D投影图像、3D图像的不同切片或3D图像的不同视角。这允许同时提供对象内的插入元件的不同视角，以改进插入元件在对象内的当前布置的可视化。
所述至少两个不同的标记中的一个标记可以被应用在所述插入元件表示的尖端处。被应用在所述尖端处的所述标记可以不同于沿着所述插入元件表示的长度的其余部分应用的标记，以便允许所述用户识别所述插入元件表示的所述尖端的取向。尖端处的标记可以例如是颜色，使得尖端处的颜色不同于沿着插入元件表示的长度的其余部分应用的颜色。尖端处的颜色可以例如是白色或黑色或与插入元件表示的背景的颜色形成对比的任何颜色，使得可以清楚地识别尖端。这允许改进尖端的取向的识别。在尖端处应用与沿着插入元件表示的长度的其余部分应用的标记不同的不同标记可以与其他标记组合，诸如沿着插入元件的长度的其余部分应用交替环状结构。
插入元件可以包括光纤、导管和/或导丝，即辅助装置可以包括光纤、导管、导丝或光纤、导管和导丝的任何组合。辅助装置还可以包括多于一个光纤、导管和导丝或它们的任何组合。
所述跟踪单元可以被配置为通过使用光学形状感测来跟踪所述插入元件的3D位置和3D局部形状。跟踪单元还可以被配置为通过使用光学形状感测来跟踪插入元件的3D位置、3D局部形状和取向。光学形状感测可以基于光学频域反射计(OFDR)。OFDR可以用于从插入元件中(例如，插入元件中包括的光纤中)的多个芯提取高密度应变测量值。应变测量可以基于从连续写入的光纤布拉格光栅(FBG)或从光纤中固有的瑞利散射特征反射回来的光。光纤可以例如包括中心芯和三个外芯，并且可以通过沿着光纤的长度的轴向扭曲和曲率测量来执行局部形状和位置感测。备选地或另外地，跟踪单元可以被配置用于通过任何其他跟踪方法跟踪插入元件的3D位置、3D局部形状和/或取向。其他跟踪方法可以包括如US7772541B2和US8116601B2中描述的跟踪方法和跟踪系统。
所述跟踪单元可以被配置用于基于所述插入元件的被跟踪3D位置和3D局部形状来提供针对沿着所述插入元件的长度的不同点的参数值。所述插入元件表示生成单元可以适于针对沿着所述插入元件的所述长度的点计算取决于由所述跟踪单元提供的参数值的可视化值，并且根据所述可视化值提供沿着所述插入元件表示的所述长度应用的所述至少两个不同的标记。所述跟踪单元可以被配置为基于点的x位置、y位置和z位置来计算针对沿着插入元件的长度的不同点的3D位置。所述参数值可以包括以下中的至少一项：扭曲、应变和曲率值，即，参数值可以包括扭曲、应变和/或曲率或其他参数的值。
所述跟踪单元可以被配置用于跟踪所述插入元件的物理性质值，例如，包括插入元件的温度值、压力值和/或任何其他种类的物理性质值。所述插入元件表示生成单元可以被配置用于沿着所述插入元件表示的所述长度提供至少两个不同的叠加标记，所述至少两个不同的叠加标记表示所述插入元件的物理性质值的指示。所述叠加标记可以适于叠加在所述至少两个不同的标记上而不覆盖它们。所述显示器可以被配置用于显示包括所述插入元件表示的所述显示图像，所述插入元件表示具有所述至少两个不同的标记和沿着所述插入元件表示的长度应用的所述至少两个不同的叠加标记。为了使叠加标记不覆盖标记，可以根据标记来选择叠加标记。例如，如果标记是颜色，则叠加标记可以是亮度或阴影。如果标记是亮度，则叠加标记可以例如是颜色。当标记是具有交替的较浅和较暗颜色、较高和较低不透明度、较高和较低亮度等的环状结构时，叠加标记可以例如是不同的颜色。例如，如果沿着插入元件表示的长度的标记是具有交替的较高和较低亮度的环状结构，则针对温度值的叠加标记可以是针对高温到低温的从红色到绿色的颜色图。这允许提供插入元件的物理性质值以及插入元件的局部形状，以用于改进3D可视化，同时向用户提供插入元件的额外的信息。
此外，所述辅助装置可以包括目标元素提供单元，以用于提供所述插入元件或所述插入元件的所述尖端应当移动到的所述对象内的目标元素的目标表示。所述显示器可以适于显示包括所述插入元件表示的所述显示图像，所述插入元件表示具有沿着所述插入元件表示的长度应用的所述至少两个不同的标记和所述目标元素的目标表示。显示图像还可以包括目标表示和插入元件表示，其具有沿着布置在对象图像内的插入元件表示的长度应用的至少两个不同的标记。目标元素提供单元可以适于基于用户的命令自动选择目标元素，例如，通过命名目标元素来提供目标元素的描述。备选地或另外地，目标元素提供单元可以适于基于用户的手动选择来选择目标元素，例如，例如通过点击目标元素、在其周围绘制框架等在对象图像内标记目标元素。还在显示器上示出插入元件应当在对象内移动到的目标元素的表示可以改进在对象内移动插入元件的准确性。目标元素提供单元可以另外被配置用于计算尖端到目标元素的避开其他物质的路径，并且用于提供表示尖端到目标元素的避开其他物质的路径的指示的目标路径表示。显示器可以被配置为还显示目标路径。这允许辅助用户进行连续和引导式的交互，因为对象内的物质的位置的变化导致目标路径的重新计算，并且用户可以跟随目标路径以将插入元件的尖端移动到目标元素。目标路径也可以由插入元件自动跟随，例如由机器人装置控制。
本发明本身提供了一种用于辅助用户在对象内移动插入元件的辅助装置，其中，所述辅助装置包括：跟踪单元，其用于跟踪所述对象内的所述插入元件的3D位置和取向；插入元件表示生成单元，其用于基于插入元件的被跟踪3D位置和取向来生成以其3D位置和取向表示对象内的插入元件的插入元件表示，其中，所述插入元件表示生成单元被配置用于提供具有至少两个不同的标记的所述插入元件表示，其中，所述插入元件表示的尖端被提供有与所述插入元件表示的任何其他标记不同的标记；以及显示器，其用于显示包括具有尖端和其标记的所述插入元件表示的显示图像。辅助装置可以与说明书和从属权利要求中呈现的任何方面组合。特别地，具有尖端和其标记的插入元件表示可以显示在对象图像内。
在本发明的又一方面中，呈现了一种用于在对象内移动插入元件的介入系统。所述介入系统包括包含所述插入元件的插入装置和根据权利要求1所述辅助装置或辅助装置的任何实施例，所述辅助装置用于辅助用户在所述对象内移动所述插入元件。
插入装置可以包括连接到插入元件的手持件，以用于控制插入元件。插入元件可以包括一个或多个光纤、导丝、导管和/或传感器。手持件可以包括用于接收用户的命令的用户接口。手持件可以额外地或备选地包括数据处理单元以用于处理数据，例如，传感器数据，诸如温度或压力数据。传感器数据可以例如从被包括在插入元件中的传感器接收。手持件可以连接到辅助装置以用于交换数据。
插入装置可以被配置为在对象(例如人或动物的心脏或血管结构)内移动插入元件，例如导管。插入元件可以包括在其远端处的尖端，例如导管或针的尖端。插入装置可以适于允许用户(如医师)手动地在对象内移动插入元件。例如，插入装置可以包括导丝、转向线等，以允许用户在对象内移动插入元件。插入装置还可以包括机器人模块，其可以允许用户通过使用手持件(例如，操纵杆或用户接口的另一输入单元)在对象内移动插入元件，以用于将转向命令输入到机器人系统中。插入元件也可以由机器人模块基于尖端到目标元素的避开其他物质的计算路径自动移动。
在本发明的另一方面中，呈现了一种用于辅助用户在对象内移动插入元件的方法。所述方法包括：
-由跟踪单元跟踪所述对象内的所述插入元件的3D位置和3D局部形状，
-由插入元件表示生成单元基于所述插入元件的被跟踪3D位置和被跟踪3D局部形状来生成以其3D位置和3D局部形状表示所述对象内的所述插入元件的插入元件表示，
-由所述插入元件表示生成单元提供沿着所述插入元件表示的长度应用的表示所述插入元件的所述局部形状的指示的至少两个不同的标记，并且
-由显示器显示包括所述插入元件表示的显示图像，所述插入元件表示具有沿着所述插入元件表示的长度应用的所述至少两个不同的标记。
标记可以包括不同的颜色、不同的不透明度、不同的亮度、不同的阴影或任何其他类型的标记。
标记可以是具有变形形状的环状结构。例如，环状结构可以以交替的较浅和较暗颜色、较低和较高亮度、较低和较高不透明度等的形式沿着插入元件表示的长度应用。环状结构的变形形状取决于插入元件的局部形状。这允许改进插入元件的局部形状的可视化。
该方法可以包括跟踪对象内的插入元件的取向的步骤。所述方法可以包括由对象图像提供单元提供示出对象内的视图的对象图像的步骤。所述方法可以包括以下步骤：由插入元件表示生成单元基于插入元件的被跟踪3D位置、被跟踪3D局部形状和被跟踪取向以其3D位置、3D局部形状、其取向和尺寸并且基于对象图像以其尺寸生成表示对象内的插入元件的插入元件表示。所述方法可以包括由显示器在对象图像内显示包括插入元件表示的显示图像的步骤，所述插入元件表示具有沿着插入元件表示的长度应用的至少两个不同的标记。这允许提供改进的3D可视化。
所述至少两个不同的标记中的一个标记可以被应用在所述插入元件表示的尖端处。被应用在所述尖端处的所述标记可以不同于沿着所述插入元件表示的所述长度的其余部分应用的标记，以便允许所述用户识别所述插入元件的所述尖端的取向。尖端处的标记可以例如是颜色，使得尖端处的颜色不同于沿着插入元件表示的长度的其余部分应用的颜色。尖端处的颜色可以例如是白色或黑色或与插入元件表示的背景的颜色形成对比的任何颜色，使得可以清楚地识别尖端。这允许改进尖端的取向的识别。在尖端处应用与沿着插入元件表示的长度的其余部分应用的标记不同的不同标记可以与其他标记组合，诸如沿着插入元件的长度的其余部分应用交替环状结构。
本发明本身提供了一种用于辅助用户在对象内移动插入元件的方法，其中，所述方法包括：
-由跟踪单元跟踪所述对象内的所述插入元件的3D位置和取向；
-由插入元件表示生成单元基于插入元件的被跟踪3D位置和取向来生成以其3D位置和取向表示对象内的插入元件的插入元件表示，
-提供具有至少两个不同的标记的所述插入元件表示，其中，所述插入元件表示的尖端被提供有与所述插入元件表示的任何其他标记不同的标记，并且
-由显示器显示包括具有尖端和其标记的所述插入元件表示的显示图像。所述方法可以与说明书和从属权利要求中呈现的任何方面组合。特别地，具有尖端和其标记的插入元件表示可以显示在对象图像内。
在本发明的又一方面中，呈现了一种用于辅助用户在对象内移动插入元件的计算机程序产品。所述计算机程序产品包括程序代码模块，以用于当所述计算机程序产品在根据权利要求1所述的辅助装置或所述辅助装置的任何实施例上运行时使所述辅助装置执行根据权利要求13所述的方法或所述方法的任何实施例的步骤。
在本发明的又一方面中，呈现了一种计算机可读介质，其存储有根据权利要求14所述的计算机程序产品或所述计算机程序产品的任何实施例。
应当理解，根据权利要求1所述的辅助装置、根据权利要求12所述的介入系统、根据权利要求13所述的方法、根据权利要求14所述的计算机程序产品以及根据权利要求15所述的计算机可读介质具有相似和/或相同的优选实施例，特别是如从属权利要求中所定义的。
应当理解，本发明的优选实施例也能够是独立权利要求或以上实施例与相应从属权利要求的任何组合。
本发明的这些和其他方面将根据下文描述的实施例而显而易见，并且将参考下文描述的实施例得到阐明。
附图说明
在以下附图中：
图1示意性且示例性地示出了用于在血管结构内移动导管的尖端的介入系统的实施例，所述介入系统包括用于辅助用户在血管结构内移动导管的尖端的辅助装置，
图2示意性且示例性地示出了用于显示两幅显示图像的辅助装置的显示器，
图3示意性且示例性地示出了包括插入元件表示的显示图像，所述插入元件表示具有沿着插入元件表示的长度的交替环状结构，
图4示意性且示例性地示出了插入元件表示的部分，该插入元件表示具有沿着插入元件表示的长度的交替环状结构，
图5示出了示例性地图示用于辅助用户在血管结构内移动导管的方法的实施例的流程图。
具体实施方式
图1示意性且示例性地示出了介入系统100的实施例，介入系统100包括辅助装置10、图像采集单元12和插入装置14。
辅助装置10包括对象图像提供单元16、跟踪单元18、插入元件表示生成单元20、目标元素提供单元22、存储器24的形式的计算机可读介质、收发器26、显示器28和输入单元30的形式的用户接口。
图像采集单元12包括控制单元32、检查台34的形式的支撑模块、C型臂36、X射线管38的形式的X射线源以及X射线探测器40。X射线管38和X射线探测器40被安装在C型臂36的相对侧上，C型臂36可相对于检查台34移动，以便允许图像采集单元12在不同的采集方向上采集2D投影图像。控制单元32控制图像采集单元12，使得其能够基于不同采集方向上的投影图像来采集对象图像。在该实施例中，对象图像是2D图像。对象图像也可以例如是3D图像或3D图像的切片。
插入装置14包括插入元件42，插入元件42包括导管、导丝和光纤。在该实施例中，导丝和光纤被包括在导管中。在其他实施例中，插入元件可以包括一个或多个导管、导丝和/或光纤。此外，插入装置14包括具有用户接口56和数据处理单元58的手持件44。手持件44允许用户直接操纵插入元件42或经由用户接口56操纵插入元件42。使用导丝(未示出)移动插入元件42。在其他实施例中，插入元件可以包括一个或多个传感器以用于测量一个或多个物理性质值，诸如沿着插入元件的长度的温度值或压力值。传感器数据可以由数据处理单元58采集并以物理性质值的形式提供给辅助装置10的跟踪单元18。
患者46被放置在检查台34上并且C型臂36被移动，使得图像采集单元12可以通过发射穿过患者46的血管结构48并且由X射线探测器40检测到的X射线50来采集示出患者46的血管结构48的形式的对象内的视图的对象图像。插入元件42插入血管结构48中，以将插入元件42的尖端52移动到血管结构48内的目标元素54。目标元素54由用户使用用户接口56手动选择。在其他实施例中，还可以基于旨在通过使用对象内的插入元件执行的流程而在对象图像中自动地检测并选择目标元素作为目标元素。
辅助装置10可以用于通过提供允许插入元件42在血管结构48内更快和更准确移动的更好的可视化来辅助用户在血管结构48内移动插入元件42。
对象图像提供单元16连接到图像采集单元12的控制单元32，并且从图像采集单元12接收对象图像。对象图像提供单元16提供示出血管结构48内的视图的对象图像。在该实施例中，对象图像提供单元16接收对象图像并将它们提供给辅助装置10的其他单元。在其他实施例中，对象图像提供单元16也可以被连接到另一类型的图像采集单元，或包括图像采集单元，诸如CT系统、MRI系统、US系统、如PET系统或单光子发射断层摄影成像系统的核成像系统、或用于采集对象图像的任何其他图像采集单元。由其他类型的图像采集单元生成的对象图像可以包括CT图像、MR图像、PET图像、US图像或使用另一类型的图像采集单元采集的任何其他类型的图像。
跟踪单元18被连接到插入装置44，并且基于光学形状感测来跟踪血管结构48内的插入元件42的3D位置、3D局部形状和取向。插入元件42包括具有多个芯(在该实施例中，一个中心芯和三个外芯(未示出))的光纤，所述多个芯提供允许跟踪单元18通过光学形状感测来确定导管42的3D位置、3D局部形状和取向的应变测量数据。光学形状感测可以根据US7772541B2、US8116601B2中的描述或根据另一种已知的光学形状感测技术来执行。在其他实施例中，辅助装置还可以通过使用光学形状感测来跟踪插入元件的3D位置和3D局部形状。
通过识别插入元件42在对象图像中的位置并且还通过由跟踪单元18确定该位置而将跟踪单元18与对象图像提供单元16配准。在其他实施例中，跟踪单元18和对象图像提供单元16也可以以任何其他方式配准。
插入元件表示生成单元20基于对象图像以及插入元件42的被跟踪3D位置、被跟踪3D局部形状和被跟踪取向来生成在其3D位置、3D局部形状、取向和尺寸上表示血管结构48内的插入元件42的插入元件表示。在该实施例中，跟踪单元18基于插入元件42的被跟踪3D位置、被跟踪局部形状和被跟踪取向提供针对沿着插入元件42的长度的不同点的参数值。插入元件表示生成单元20针对沿着插入元件42的长度的点计算取决于针对沿着插入元件42的长度的点的参数值的可视化值。参数值包括通过光学形状感测确定的扭曲、应变和曲率。在其他实施例中，参数值可以包括扭曲、应变和曲率中的一个或多个。插入元件表示生成单元20根据可视化值以表示插入元件的局部形状的指示的不同颜色的形式提供沿着插入元件表示的长度应用的不同标记。在该实施例中，尖端52是白色的，并且与沿着插入元件表示的长度应用的另一颜色相比具有不同的颜色。在其他实施例中，插入元件表示生成单元可以根据可视化值提供环状结构形式的不同标记，该环状结构具有表示插入元件的局部形状的指示的变形形状。环状结构可以例如是较高亮度和较低亮度的交替环状结构等。插入元件表示生成单元可以提供环状结构的变形形状，使得对于插入元件的局部形状的弯曲，环状结构表现为在弯曲的内侧更靠近并且在弯曲的外侧更分开，以便强调环状结构的形状的三维效果。此外，插入元件表示生成单元可以为环状结构提供针对插入元件的局部形状的扭曲的扭曲效果。
在其他实施例中，代替于颜色，可以提供其他标记，诸如不同的阴影、不同的不透明度、不同的亮度等。在其他实施例中，插入元件表示提供单元还可以根据可视化值提供沿着插入元件表示的长度应用的至少两个不同的标记。在其他实施例中，诸如温度值和/或压力值的物理性质值可以由跟踪单元提供，并且插入元件表示提供单元可以沿着插入元件表示的长度提供表示插入元件的物理性质值的指示的至少两个不同的叠加标记，其适于叠加在至少两个不同的标记上而不覆盖它们。为了使叠加标记不覆盖标记，可以根据标记来选择叠加标记。例如，如果标记是颜色，则叠加标记可以是亮度或阴影。在又一实施例中，至少两个不同的标记中的一个标记可以应用在插入元件的尖端处，并且应用在尖端处的标记可以与沿着插入元件表示的长度的其余部分应用的标记不同，以便允许用户识别插入元件的尖端的取向。
显示器28显示包括插入元件表示的显示图像，该插入元件表示具有沿着对象图像内的插入元件表示的长度应用的不同颜色，即白色尖端和具有另一颜色的插入元件42的长度的其余部分。这允许向用户提供额外的信息并辅助用户在血管结构48内移动插入元件42，例如，用于将尖端52移动到目标元素54。备选地或另外地，显示器可以显示具有环状结构的插入元件表示，该环状结构具有沿着插入元件表示的长度的变形形状。另外，可以沿着插入元件表示的长度显示叠加标记。在其他实施例中，显示器还可以显示导管相对于血管结构的取向信息和/或导管的尖端相对于目标元素的取向信息。
目标元素提供单元22可以提供插入元件42的尖端52要被移动到的血管结构48内的目标元素54的目标表示。目标元素提供单元22可以另外计算尖端52到目标元素54的避开其他物质的路径，并且提供表示尖端52到目标元素54的避开其他物质的路径的指示的目标路径表示。显示器28可以显示表示目标元素54和/或目标路径表示的目标表示。例如，在考虑用于生成对象图像的图像采集几何的情况下，显示器28可以将目标表示和具有标记的插入元件表示虚拟地投影到对象图像上，以便在对象图像上可视化目标元素54与插入元件42的尖端52之间的3D空间关系。
存储器24存储用于辅助用户在血管结构48内移动插入元件42的计算机程序产品。计算机程序产品包括程序代码模块，当计算机程序产品在辅助装置10上运行时，该程序代码模块用于使辅助装置10执行用于辅助用户在血管结构48内移动插入元件42的方法(例如，如图5所呈现的方法)的步骤。存储器24可以另外存储其他数据，诸如对象图像和显示设置。
收发器26允许发射和接收数据。收发器26可以连接到临床信息系统以便交换数据(未示出)。备选地或另外地，收发器可以将介入系统与因特网连接。
输入单元30可以被用户用于输入命令，如用于开始辅助流程的开始命令或用于停止辅助流程的停止命令。输入单元30可以是键盘、计算机鼠标、触摸屏等。
图2示意性且示例性地示出了用于显示两幅显示图像60和60’的辅助装置(例如，如图1所呈现的辅助装置10)的显示器28。在该实施例中，对象图像提供单元提供具有血管结构内的不同视图的两幅对象图像62和62’。显示器28并排显示两幅显示图像60和60’，使得用户可以看见血管结构内的两个不同视角。
显示图像60示出了包括导管表示64和导管表示64内的导丝表示66(两者在对象图像62内)的插入元件表示42’。此外，目标表示68被放置在对象图像62内的患者的最低肾脏的高度处。插入元件经由右髂骨进入患者的身体。血管内动脉瘤修复(EVAR)设备放置在肾动脉下方的腹主动脉中。显示图像60’分别示出了另一视角，其中，插入元件表示42”包括导管表示64’和导管表示64’内的导丝表示66’，两者在对象图像62’内。目标表示68’被放置在最低肾脏的高度处，即，在目标元素处。
在该实施例中，与导管表示64’和64”的长度的其余部分相比，不同的颜色被应用于导管表示64’和64”的尖端52’和52”。尖端52’和52”为白色70和70’，以便改进尖端52’和52”的取向的识别。特别地，这允许更好地识别尖端52’和52”是指向还是远离视角。沿着导管表示64’和64”的长度的其余部分应用另一颜色72和72’。这允许更好地识别由其导管表示所表示的导管的局部形状。
在该实施例中，导丝在导管内部。导丝表示66和66’的尖端53和53’具有与导丝表示66和66’的长度的其余部分不同的另一颜色，以便改进尖端53和53’的取向的识别。
在该实施例中，显示器28此外基于对象内的视图以及血管结构内的插入元件的被跟踪3D位置和被跟踪取向来显示插入元件表示42’和42”相对于血管结构的取向信息。取向信息包括围绕纵向轴线旋转的人体表示74和74’，其中，零度位置对应于以如由用户看见的前视图示出检查台上的患者的参考系。此外，取向信息包括旋转角度表示76和76’，其提供对象内的视图与参考系相比被旋转的程度。旋转角度取决于C型臂相对于检查台上的患者的旋转。在显示图像60中，旋转角度为0°，并且成角角度为-1°。在显示图像60’中，旋转角度为50°，并且成角角度为0°。取向信息允许改进的可视化。
图3示意性地且示例性地示出了包括具有交替环状结构78的插入元件表示42”’的显示图像60”，交替环状结构78具有沿着对象图像62”内的插入元件表示42”’的长度的变形形状。在该实施例中，环状结构78沿着插入元件表示42”’的长度以较浅和较暗的颜色交替。在其他实施例中，环状结构也可以以亮度、不透明度、阴影或任何其他种类的标记交替。在又一的实施例中，可以沿着插入元件表示的长度沿着环状结构应用叠加标记。另外，插入元件的尖端可以具有与插入元件表示的其余部分不同的标记，例如颜色。
在该实施例中，环状结构具有变形形状，使得对于插入元件的局部形状的弯曲，环状结构78表现为在弯曲的内侧上更靠近，并且在弯曲的外侧上更分开，以便强调环状结构78的形状的三维效果。此外，环状结构78示出了针对插入元件的局部形状的扭曲的扭曲效果。这允许改进插入元件表示42”的细长结构的深度和曲率的可视化。
图4在显示图像60”’中示意性地且示例性地示出了具有交替环状结构78’的插入元件表示42””的部分，交替环状结构78’具有沿着插入元件表示42””的长度的变形形状。类似图3的实施例中呈现的环状结构78，环状结构78’具有较浅颜色和较暗颜色的交替颜色。环状结构78’的形状变形，使得环状结构78’在弯曲的内侧80上更靠近在一起，并且在弯曲的外侧82上更远离。弯曲内侧和弯曲外侧的环状结构的长度的差异可以被用户感知为插入元件表示42””的深度和曲率，例如像淋浴软管。这允许改进插入元件的3D可视化。
图5示出了示例性地图示用于辅助用户在血管结构形式的对象内移动导管形式的插入元件的方法的实施例的流程图。
在步骤200中，通过跟踪单元跟踪导管在血管结构内的3D位置、3D局部形状和取向。血管结构内的导管的被跟踪3D位置、3D局部形状和取向可以由跟踪单元提供为参数值。在其他实施例中，对象内的插入元件的仅3D位置和3D局部形状也可以由跟踪单元跟踪。在又一实施例中，跟踪单元可以跟踪插入元件的物理性质值(诸如温度值、压力值或任何其他物理性质)，并提供物理性质值。
在步骤210中，提供示出血管结构内的视图的对象图像。在该实施例中，导管插入血管结构中，使得对象图像包括导管。在该实施例中，对象图像是从不同采集方向采集的2D投影X射线图像。在其他实施例中，对象图像也可以是3D图像或任何其他类型的图像。对象图像也可以是CT图像、MR图像、PET图像、US图像或利用任何其他类型的图像采集单元采集的图像。步骤210是任选的。此外，步骤200和210可以并行或以交换的顺序执行。
在步骤220中，将跟踪单元和对象图像提供单元相对于彼此配准。配准可以以若干方式执行，诸如2D-3D配准。在该实施例中，通过识别导管在目标图像中的位置并且还通过由跟踪单元确定该位置来将跟踪单元与目标图像提供单元配准。在其他实施例中，可以执行用于将跟踪单元与对象图像提供单元配准的任何其他方法以便将它们配准。步骤220是任选的。特别地，当不执行步骤210时，不需要配准。
在步骤230中，由插入元件表示生成单元基于插入元件的被跟踪3D位置、被跟踪3D局部形状和取向以其3D位置、3D局部形状和取向并且基于对象图像以其尺寸来生成表示血管结构内的导管的插入元件表示。在其他实施例中，可以由插入元件表示生成单元基于插入元件的被跟踪3D位置和被跟踪3D局部形状以其3D位置和3D局部形状来生成表示血管结构内的导管的插入元件表示。
在步骤240中，由插入元件表示生成单元提供沿着插入元件表示的长度应用的具有交替亮度和变形形状的环状结构的形式的不同标记，其表示插入元件的局部形状的指示，即，沿着插入元件的长度的环状结构的亮度在较低亮度和较高亮度之间交替。此外，尖端被提供有白色，并且插入元件表示的其余部分提供有除白色之外的另一颜色。此外，提供了包括人体表示和相对于参考系的旋转角度表示的取向信息。环状结构的变形形状取决于插入元件的局部形状。特别地，环状结构的变形形状被提供为使得对于导管的局部形状的弯曲，其表现为在弯曲的内侧上更靠近并且在弯曲的外侧上更分开，以便强调环状结构的形状的三维效果。变形形状此外被提供有针对导管的局部形状的扭曲的扭曲效果。标记还可以包括不透明度、亮度、阴影或任何其他类型的标记。在其他实施例中，沿着插入元件表示的长度应用的表示插入元件的局部形状的指示的至少两个不同的标记可以由插入元件表示生成单元提供。另外，可以提供至少两个不同的叠加标记。
在步骤250中，由显示单元显示两幅显示图像。两个显示图像均示出了血管结构内的不同视角。显示图像中每幅包括插入元件表示，该插入元件表示具有环状结构和与沿着对象图像内的插入元件表示的长度应用的其他颜色相比不同的尖端颜色。尖端是白色的，以便允许对尖端的取向并且因此导管的取向的改进的识别。此外，取向信息显示在显示图像中每幅中。在其他实施例中，也可以显示仅一幅显示图像或多于两幅显示图像。一幅或多幅显示图像还可以包括插入元件表示，该插入元件表示具有沿着插入元件表示的长度应用的至少两个不同的标记和任选地两个或更多个叠加标记。在其他实施例中，显示图像可以包括具有至少两个不同的标记和任选两个或更多个叠加标记的插入元件表示，所述至少两个不同的标记沿着插入元件表示的长度应用在对象图像之一内。
在一个实施例中，插入元件表示具有不同的颜色，并且插入元件表示的尖端具有与插入元件表示的其余部分不同的颜色。可以在对象图像内显示包括具有白色尖端的插入元件表示的显示图像。
在所述方法的其他实施例中，可以由用户选择一个或多个目标元素，并且目标元素的目标表示可以由目标元素提供单元提供并由显示器显示。另外，可以提供目标路径表示。
通过研究附图、公开内容和权利要求，本领域技术人员在实践请求保护的本发明时可以理解并实现对所公开的实施例的其他变型。本发明还可以例如用于辅助用户在对象(诸如管系统，例如气动管系统)内移动插入元件。
在权利要求中，词语“包括”和“包含”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。
单个单元或设备可以履行在权利要求中记载的若干项的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
由一个或若干单元或设备执行的操作(如通过跟踪单元跟踪对象内的插入元件的3D位置和3D局部形状，由插入元件表示生成单元基于插入元件的被跟踪3D位置和被跟踪3D局部形状来生成以其3D位置和3D局部形状表示对象内的插入元件的插入元件表示，由插入元件表示生成单元提供沿着插入元件表示的长度应用的表示插入元件的局部形状的指示的至少两个不同的标记，由显示器显示包括插入元件表示的显示图像，所述插入元件表示具有沿着插入元件表示的长度应用的至少两个不同的标记，等等)也可以由任何其他数目的单元或设备执行。根据用于辅助用户在对象内移动插入元件的方法的辅助装置的这些操作和/或控制可以被实施为计算机程序的程序代码模块和/或专用硬件。
计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但是计算机程序也可以被以其他形式分布，例如经由因特网或其他有线或无线电信系统分布。
权利要求中的任何附图标记不应被解释为对范围的限制。
本发明涉及辅助用户在对象内移动插入元件。在对象内跟踪插入元件的3D位置和3D局部形状。基于插入元件的被跟踪3D位置和3D局部形状，生成以其3D位置和3D局部形状表示对象内的插入元件的插入元件表示。此外，提供了沿着插入元件表示的长度应用的表示插入元件的局部形状的指示的至少两个不同的标记。显示包括具有不同标记的插入元件表示的显示图像。标记可以例如包括交替环状结构，所述交替环状结构具有针对插入元件表示的尖端和其余部分的交替的较浅和较暗的颜色和/或不同的颜色以用于改进插入元件的3D可视化。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：义齿、基准义齿以及义齿的制造方法