持续导丝识别

文档序号:473715 发布日期:2021-12-31 浏览:1次 >En<

阅读说明:本技术 持续导丝识别 (Continuous guidewire identification ) 是由 V·M·A·奥夫雷 R·弗洛朗 于 2020-03-25 设计创作,主要内容包括:一种用于支持基于图像的导航的系统(IPS),包括:输入接口(IN),其用于接收当在X射线成像装置的视场(FoV)中存在两个或更多个医学设备(GW1、GW2)时由X射线成像器(IA)采集的一幅或多幅输入图像;图像识别器(ID),其基于所述一幅或多幅图像中的图像信息来识别所述两个或更多个医学设备;标签器(TGG),其将相应的独特标签与如此识别的所述两个或更多个医学设备(GW1、GW2)中的至少两个中的每个相关联;以及图形显示生成器(GDG),其实现在显示设备(DD)上显示视频馈送中的所述一幅或多幅输入图像,其中,所述标签被包括在所述视频馈送中。(A system (IPS) for supporting image-based navigation, comprising: an input Interface (IN) for receiving one or more input images acquired by an X-ray Imager (IA) when two or more medical devices (GW1, GW2) are present IN a field of view (FoV) of the X-ray imaging apparatus; an image Identifier (ID) that identifies the two or more medical devices based on image information in the one or more images; a Tagger (TGG) that associates a respective unique tag with each of at least two of the two or more medical devices (GW1, GW2) so identified; and a Graphic Display Generator (GDG) that enables displaying the one or more input images in a video feed on a Display Device (DD), wherein the label is included in the video feed.)

持续导丝识别

技术领域

本发明涉及用于支持基于图像的导航的系统、用于支持基于图像的导航的方法、计算机程序单元以及计算机可读介质。

背景技术

在某些医学介入(例如,经皮冠状动脉介入(PCI))中,临床医生有时需要将若干(例如,三个或更多个)医学设备或工具(例如,导丝)引入到患者中。例如,临床医生可以开始处置冠状动脉的一个分支中的狭窄,然后切换到另一分支,其中,在转回前一分支之前必须用两根导丝来处置分叉。在其他用例中,临床医生可以使用顺行导丝和逆行导丝来处置慢性完全闭塞(CTO)。这些介入和类似介入在某些时候要求在病变处存在多个设备。

在这些困难和苛刻的介入的过程中,临床医生需要从操纵一根导丝切换到操纵另一导丝——要么是因为他或她决定专注于不同的血管部分,要么是因为他或她希望使用具有不同物理性质的导丝。

导丝可以延伸到患者外部并且形成躺在检查台上的导丝系统。荧光透视系统可以用于辅助临床医生进行实时成像。可以在导管实验室的现场的显示设备上显示实时视频馈送(运动图片)。视频馈送显露出引入的设备的发射覆盖痕迹。虽然临床医生可以通过看视频馈送来知晓他或她希望操作哪个设备,但是哪个设备对应于视频馈送中所示的哪个覆盖痕迹可能并不明显。

例如,临床医生可能最终会拾取错误的导丝。但是这种错误的拾取可能是非常不期望的情况。对一些导丝的早期定位可能很困难。临床医生可能已经努力了好几分钟才通过狭窄或分叉或者才找到相当稳定的“停放”位置,然后却看到由于错误的拾取而丢失了完美的停放位置。具体地,如果临床医生确实无意中操作错误的导丝以开始下一阶段的介入,那么他或她可能无意中取出导丝。这种不幸的事件(甚至相对罕见)是非常令人沮丧的。必须再次从头执行繁琐的定位。

一些操作者可能会在将导丝插入之前以“探索性”努力故意塑造(例如,扭曲)导丝的尖端以获得形状“特征”。但是以这种方式手工制作特征可能很麻烦且耗时,并且可能不容易符合临床工作流程。

发明内容

因此,可能需要改进对基于图像的导航的支持并且解决上面提到的缺点中的最后部分的问题。

本发明的目的通过独立权利要求的主题来解决,其中,在从属权利要求中包括进一步的实施例。应当注意,本发明的以下描述的方面等同地适用于方法、计算机程序单元和计算机可读介质。

根据本发明的第一方面,提供了一种用于支持基于图像的导航的系统,包括:

输入接口,其用于接收当在X射线成像装置的视场中同时或在一个或多个不同时间存在两个或更多个医学设备时由X射线成像器采集的一幅或多幅输入图像;

图像识别器,其被配置为基于所述一幅或多幅图像中的图像信息来识别所述两个或更多个医学设备,所述图像识别器从而能够区分所述两个或更多个设备;

标签器,其被配置为将相应标签与如此识别的所述两个或更多个医学设备中的至少两个中的每个相关联;以及

图形显示生成器,其被配置为实现在显示设备上显示视频馈送中的所述一幅或多幅输入图像,其中,所述标签被包括在所述视频馈送中;

其中,在所述输入接口处接收至少一幅另外的输入图像,并且所述图形显示生成器被配置为仅当所述图像识别器在所述至少一幅另外的输入图像中重新识别所述医学设备中的至少一个时才在所述显示设备上显示所述一幅或多幅另外的输入图像作为所述视频馈送的部分,从而包括与由所述标签器早前将其与所述至少一个医学设备相关联的标签相同的标签。

换句话说,由本文提出的标签器进行的加标签使得两个或更多个设备中的任何给定的一个具有其自身的这种标签,并且在整个视频馈送或至少其部分中维持相同的标签。

探测器可以使用具有阈值化处理或机器学习算法的图像结构滤波器。探测器可以包括分割操作,但是在一些情况下,发现诸如边界框之类的边界区可能就足够了。

并非所有设备都必须存在于单幅输入图像中,它们的存在也可以分布在一幅以上的输入图像上。

根据一个实施例,所述识别器包括探测器模块,所述探测器模块被配置为在因在所述FoV中存在所述两个或更多个设备而引起的在所述输入图像中探测到的发射覆盖痕迹。

根据一个实施例,所述标签器被配置为实施聚类算法以将所述探测到的发射覆盖痕迹处理到聚类中,每个聚类对应于所述两个或更多个医学设备中的一个。

根据一个实施例,所述标签器能够根据是否存在新的医学设备或者是否移除了所述两个或更多个医学设备中的至少一个来改变聚类的数量。

根据一个实施例,由所述标签器进行的关联操作基于一个或多个特征,所述一个或多个特征包括以下各项的组合中的任意一项或多项:所述探测到的覆盖痕迹的相应形状、所述探测到的覆盖痕迹的当前相应图像位置、相应医学设备的当前解剖位置。

根据一个实施例,以不同的成像几何形状采集两幅或更多幅输入图像中的至少两幅或者所述至少一幅另外的输入图像。

根据一个实施例,所述标签器被配置为根据所述X射线成像器的成像几何形状的变化来选择性地调整所述一个或多个特征中的一个或多个对所述关联操作的影响。

根据一个实施例,所述输入图像是投影图像。

根据一个实施例,所述两个医学设备中的至少一个是导丝。

在另一方面中,提供了一种布置,包括:根据上述实施例中的任一个的系统;以及所述成像装置和/或所述显示设备。

在另一方面中,提供了一种用于支持基于图像的导航的方法,包括:

接收当在X射线成像装置的FoV中同时或在一个或多个不同时间存在两个或更多个医学设备时由X射线成像器采集的一幅或多幅输入图像;

基于所述一幅或多幅图像中的图像信息来识别所述两个或更多个医学设备,所述图像识别器从而能够区分所述两个或更多个设备;

将相应的独特标签与如此识别的所述两个或更多个医学设备中的至少两个中的每个相关联;并且

在显示设备上显示视频馈送中的所述一幅或多幅输入图像,其中,所述标签被包括在所述视频馈送中;

所述方法还包括:

接收至少一幅另外的输入图像;并且

仅当在所述至少一幅另外的输入图像中重新识别所述医学设备中的至少一个时才在所述显示设备上显示所述一幅或多幅另外的输入图像作为所述视频馈送的部分,从而包括与早前与所述至少一个医学设备相关联的标签相同的标签。

在另一方面中,提供了一种计算机程序单元,所述计算机程序单元当由至少一个处理单元执行时适于使所述至少一个处理单元执行所述方法。

在又一方面中,提供了一种计算机可读介质,其上存储有所述程序单元。

所提出的系统和方法允许使设备与其覆盖痕迹之间的关联更加明确。因此能够避免上面描述的原位设备的先前探索移动。利用识别码对每个覆盖痕迹加标签,每个覆盖痕迹与每个医学设备持续且始终如一地相关联。这也降低了操作者挑选错误设备并无意中取出错误设备的风险。

每个设备与其相应的标签(识别码)相关联,该识别码在介入中始终保持相同。通常,首先引入导丝的标签码,以便与在检查台上存在的导丝顺序相匹配。标签可以包括例如与在屏幕上的相应导丝覆盖痕迹空间关联地显示的编号。代替这样的编号代码或者除了这样的编号代码以外,可以使用颜色编码:例如,第一引入导丝以红色显示,第二引入导丝以蓝色显示等。

这种视觉帮助使精神联系“在屏幕上的导丝尖端”/“在检查台上排序的导丝主体”更加直观,从而允许临床医生以最小精神努力可靠地切换导丝。

“标签”能够是显式的,通过呈复合框小部件的形式或其他形式的注释来显现(任选地包括文本或图形);或者标签是隐式的,例如通过颜色编码覆盖痕迹,边界线类型变化(粗体、虚线等)来显现;或者标签是前述手段的组合或任何其他视觉方案。

如本文所用的“探测”可以包括“分割”。分割旨在追踪图像目标的确切描绘,例如,发射覆盖痕迹。然而,覆盖痕迹探测可能不一定依赖于分割,因为在一些情况下仅找到包括覆盖痕迹的边界框而不一定追踪到覆盖痕迹的边界可能就足够了。能够根据这样的边界框来提取某些特征,例如,图像中的位置。

“调整影响”:这可以通过调整代价函数的权重来实现。权重确定与给定特征相关的比较对总代价的贡献程度。

“成像几何形状”:在荧光透视中,这可以包括成角角度、旋转角度等。一般来说,这可以包括改变光轴、连接X射线源与X射线探测器的假想轴的位置或取向的任何设置。

如本文所用的“用户”是操作成像装置的某个人或出于导航目的而使用影像来辅助将医学设备定位在患者中的某个人。

“(发射)覆盖痕迹”是在投影图像中当在X辐射发射通过目标之后从给定方向暴露于X辐射时与目标的“阴影”相对应的图像部分。

附图说明

现在将参考以下附图来描述本发明的示例性实施例,附图并未按比例绘制,其中:

图1是包括X射线成像装置的成像布置的框图;

图2A是在成像布置的部分上的平面图;

图2B是能记录在X射线投影图像中的发射覆盖痕迹的示意图;

图3是针对被配置用于支持基于图像的导航的图像处理系统的框图;

图4是用于基于图像的导航支持的计算机实施的方法的流程图;

图5是提供图4中的方法的进一步细节的流程图;并且

图6是根据一个实施例的图形显示的示意性表示。

具体实施方式

参考图1,示出了用于基于图像的导航支持的布置AR的示意图,该布置AR优选在医学介入的背景下使用。

该布置AR包括成像装置IA,特别是X射线成像装置,成像装置IA能由用户操作用于获得在感兴趣区域ROI处的患者内部结构的X射线影像Fi。感兴趣区域ROI可以是人类心脏、肺或另一器官或器官群体。

影像Fi(在本文中有时也被称为帧序列)可以在显示设备DD上作为运动图片或视频馈送被实时显示给用户。

成像布置AR还包括用于处理影像的图像处理系统IPS。广义地,图像处理系统IPS是计算机化系统,该计算机化系统处理接收到的图像以将一个或多个视觉指示或标签包括在该图像中,这一个或多个视觉指示或标签表示相应的一个或多个医学设备。医学设备是在介入中部署的。当拍摄图像Fi时,这些设备中的一个或多个GW1可以不时地出现在成像器的视场FoV中。并非所有这一个或多个成像设备都会出现在每幅图像中。由于IPS提供的标签,用户能够更容易地区分在所显示的影像中哪个图像部分(发射覆盖痕迹)对应于哪个医学设备。

如所提到的,在本文中的实施例中主要设想了成像装置AI和成像处理系统IPS以支持诸如经皮冠状动脉介入(PCI)之类的医学介入。还设想了其他医学介入,这些其他医学介入并不一定是与人类或动物的心脏相关地执行的,因此也设想了非医学应用,例如,对以下项目的基于图像的支持:在难以进入的开采系统或管道系统中执行的检查和工作,或者对诸如引擎和其他复杂机械设备之类的无法直接用肉眼检查的技术装备的检查,它们都要求成像装备能通过视频馈送对受到遮挡的感兴趣区域进行视觉检查。

在PCI应用中,医学设备可以具体包括一根或多根导丝,这一根或多根导丝通过一个或多个合适的进入点(例如,腹股沟区域处的股骨动脉或静脉中的切口)被引入患者PAT。然后将如此引入的导丝仔细推进通过血管以到达病变部位(例如,患者的冠状动脉的某个部分中的狭窄)。一旦导丝的尖端部分通过病变部位,就将该尖端部分固定(“停放”)在那里,然后将导管或其他工具沿着导丝滑动到病变部位以执行流程。一种这样的流程可以包括通过使用球囊导管处置狭窄以缓解约束。可以通过相同的进入点或不同的进入点将其他导丝、导管或其他医学工具额外地引入患者。冠状动脉是血管的分支和子分支的复杂系统。为了使用户将导丝成功导航到病变部位,通过所采集的影像来提供导航支持,该影像作为视频馈送或运动图片被实时显示在显示设备D上。这允许用户在设备被推进通过患者时或者在介入被执行时观察患者内部的一个或多个医学设备的位置。

现在将更详细地简要参考成像装置IA,这可以如图1中的示例性实施例所示被布置为C形臂类型的成像装置。在图1的实施例中,C形臂系统IA被安装在天花板CL上,但是并不一定在所有实施例中都是如此。替代地,成像装置IA被安装在地板上或者被安装在支架上。在另外的替代方案中,成像装置可以是移动式安装的,例如是轮式安装的或轨道安装的。

X射线成像装置包括X射线探测器XD和X射线源XS。广义地,在实施例中,但并不一定是全部实施例,成像装置包括承载X射线探测器XD和X射线源XS(例如,X射线管)的机架G。X射线探测器和X射线源XS以相对的空间关系被布置在机架G上,以形成在X射线源与X射线探测器之间的检查区域。患者PAT位于该检查区域中,使得感兴趣区域大致被定位在IS成像装置的等中心处。在成像期间,患者可以躺在检查台TB上。该检查台可以在高度H上进行调整。

在成像流程期间,通过施加阴极电流和跨阳极和阴极的电压来对X射线源XS通电,以产生从阳极的焦斑发出的X射线束XB。射束离开X射线源,通过检查区域,因此通过感兴趣区域处和感兴趣区域周围的患者组织,然后撞击在X射线探测器XD的X射线敏感表面上。探测器的X射线敏感表面可以包括将撞击的X辐射转换成强度值的像素元件。强度值可以因位置不同而有所变化,由于组织或组织类型具有局部不同的材料密度,因此X射线束的差异衰减会引起强度值的变化。

可以根据颜色或灰度值调色板将在探测器XS处记录的强度值映射到图像值以形成投影图像(“帧”)。采集电路操作用于在成像流程期间以合适的帧速率按这种方式捕获不同时刻的不同投影图像。本文设想的示例性帧速率是20-30fps。在荧光透视(作为本文设想的主要模态)中,可以在从黑色通过灰度值到白色的范围变化的值范围上映射强度值,其中,图像值越暗,则强度值越低。可以使用其他映射方案,例如,反向映射,其中,较低的强度值被映射到较浅的图像值,这例如在放射摄影中是常用的。还可以替代地使用其他映射方案。

主X射线束的空间宽度定义了成像器IA的视场FoV。驻留在视场中或者延伸到视场中(因此延伸到X射线束中)的目标将改变在探测器处局部探测到的X射线的强度。可以通过用户请求来改变视场,例如通过移动X射线源,移动患者,或者通过使用准直器(未示出)扩大或限制射束宽度来改变视场。

X射线探测器可以被布置为被通信性耦合到显示设备DD的数字平板探测器。平板探测器XD可以是直接转换型或间接转换型的。在替代实施例中,成像探测器可以被布置为通过相机被耦合到显示设备的图像增强器。

虽然本文主要设想的投影影像的对比度赋予机制是衰减,但是本文并不排除利用除了衰减以外或者代替衰减的其它对比度机制的其他成像技术,例如,相衬成像和/或暗场成像。在后两种情况下,成像装置可以包括额外的部件,例如,干涉仪或其他部件。

成像装置包括控制台CC,用户能够通过控制台CC来确定何时开始和停止成像流程,特别是何时对X射线源XS通电。踏板可以被耦合到控制台作为用户接口,以控制对X射线源的通电或断电或者操作电网开关以停止或恢复针对X射线束的暴露。

主X射线束的主传播方向(不考虑散射辐射)由光轴OX来定义,光轴OX是从X射线源的焦斑(未示出)延伸到X射线探测器XD的X辐射敏感表面的中心部分的假想线。光轴定义了空间投影方向。

为了在导航中更好地支持用户,可以在用户请求上改变光轴的位置或空间取向并因此改变投影方向。在一个实施例中,这能够通过将机架布置为能围绕一条轴线或优选两条彼此垂直的相应轴线进行旋转来实现。具有两条这样的旋转轴线允许有2个自由度来改变光轴。例如,在一个几何形状中,旋转轴线中的一条旋转轴线延伸到图1的绘图平面中,并且允许光轴围绕角度β旋转。另一旋转轴线平行于图1的绘图平面,并且允许围绕独立于β的另一角度α改变取向,如图1中示意性示出的那样。按照惯例,α的轴线定义“旋转”,而β的轴线定义“成角”。

任选地,也可以改变如图1中的双箭头H所指示的机架高度本身。另外,可以通过相应地沿着一条线移动机架来平移光轴OX。光轴的位置和取向在本文中也可以被认为至少部分地定义成像几何形状。换句话说,在实施例中,本文设想的成像装置允许用户改变成像几何形状。可以通过用户操作被耦合到控制台CC的操纵杆或其他合适的接口单元来请求对成像几何形状的改变。操作用于请求对成像几何形状的改变的接口可以包括使控制信号应用于与机架相关地布置的合适致动器。致动器响应于控制信号而起作用以改变成像几何形状。

改变成像几何形状的其他选项可以包括改变探测器与X射线源的距离和/或改变感兴趣区域与X射线探测器(因此与X射线源)之间的距离。可以通过改变患者所躺在的检查台TB的高度h来实现后一种变化。改变高度h和/或源与探测器的距离可以等同于以某个放大因子对图像的重新缩放。改变成像几何形状的其他选择还可以包括准直器(未示出)限制或放大X射线束的横截面的形状或大小以改变视场FoV的操作。改变成像几何形状的又一选择可以包括在平行于X方向、Y方向(一个方向平行于图1的绘图平面,而另一方向延伸到图像平面中)上的患者台TB的表面的平面中平移患者台。

通常,总而言之,几何形状的变化改变了X射线源和/或探测器相对于感兴趣区域的空间关系。额外地或替代地,可以通过准直器动作来改变视场,也可以例如如上所述通过患者台TB平移移动患者来改变视场。

如前面所提到的,对于荧光检查来说,通常不是采集单幅图像,而是采集一系列图像或“帧”Fi或图像流或“帧”Fi流。出于该目的,该帧Fi流可以包括这样的帧的不同序列。出于该目的,将帧的序列定义为一个序列,其中,已经在单个成像几何形状中获得了序列中的所有帧,特别地,在序列期间,光轴的位置和/或取向未曾改变。在典型的协议中,用户将在给定的成像几何形状中对X射线源通电并采集图像序列,同时在显示设备上的视频馈送中一个接一个地显示帧序列。用户可以请求成像停止(即,X射线源被断电或者X射线束以其他方式被禁用),例如通过准直器或电网开关动作来请求成像停止。然后可以改变成像几何形状,例如通过选取不同的成角来改变成像几何形状。然后重新启用X射线束和/或对X射线源重新通电以采集第二帧序列,这次在第二成像几何形状中对X射线源通电并采集图像序列,并且针对三个或更多个不同的这样的序列以此类推。然后,整个成像流程可以包括一个或多个不同的图像序列,其中,两个邻接序列的成像几何形状可以是不同的。可能的情况是在不同的成像几何形状中采集成像流程中的所有序列,但是也可能不一定是这种情况,因为在一些序列(甚至邻接序列)中,可能会保留相同的成像几何形状。

现在参考图2A,图2A图示了在记录的X射线帧F中编码图像信息的方式。医学设备GW(例如,导丝)可以驻留在成像器IA的视场FoV中。X射线束XB从X射线源XS发出并且与导丝相互作用。由于导丝GW具有辐射不透明性,因此X射线束被衰减。与周围组织引起的衰减相比,如此经历的衰减更高。当按照当前设置的成像几何形状沿着给定投影方向观看时,这种差异衰减产生与导丝的形状相对应的强度值图案。如此产生的强度值图案在本文中可以被称为针对特定医学设备的发射覆盖痕迹TF(GW)或“阴影图”,如在图2A中在给定的成像几何形状中在探测器XD的投影平面pp中示意性绘制的那样。

如果周围的组织是软组织(例如,血管),则它们的相应发射覆盖痕迹可以被记录为仅有非常低的对比度。如果需要,能够通过施用造影剂来提升软组织对比度。在感兴趣区域处存在造影剂期间采集的帧在本文中可以被称为血管造影。额外地或替代地,可以使用“道路映射”技术,其中,通过表示血管树的叠加线以图形方式指示血管边界。可以在与荧光透视帧进行合适配准之后使用针对患者或普通血管模型早先获得的(可能是对患者个性化的)造影剂支持的3D影像以实现道路映射。例如在申请人的US8255037中描述了道路映射。然而,仅依赖于通过设备的发射覆盖痕迹(可能偶尔施用造影剂)赋予的对比度,有时就可能足以支持导航,因此可能不需要明确的道路映射。

用户经常面临的情况是并不仅仅使用一个医学设备,而是采用一种或多种类型的2个、3个、4个或更多个设备并将其引入患者。在图2B的平面图中示意性且示例性地示出了四个这样的设备GW1-GW4。在屏幕DD上的视频馈送期间示出的给定图像帧因此可以包括针对多个设备GW1-GW4的多个发射覆盖痕迹的图案,并且用户可能对哪个设备GW1-GW4对应于所显示的帧中的哪个发射覆盖痕迹不知所措。图2B中的设备GW1-GW4的布置是出于说明目的,因为实际上大多数设备都将通过相同的进入点被引入。然而,以例如一定狭窄聚焦的“紧密”准直设置,与图2B中(并且也在下面的图6中)的显示设备DD中示出的覆盖痕迹的表示相似的覆盖痕迹的表示可能表现良好。

所提出的成像装置IPS通过在针对成像流程的所有序列中以一致的方式对每个帧中的相应图像覆盖痕迹加标签来解决这个关心问题。加标签可以是图形的或文本的。加标签可以是显式的或隐式的。隐式图形加标签可以包括例如以不同颜色显示相应阴影图,或者使得以不同的线条类型(例如,虚线、点线或其他形式)突出显示相应阴影图。额外地或替代地,可以通过显示与相应发射覆盖痕迹空间关联的图形小部件(例如,框、三角形、圆形、椭圆形或任何其他几何形状)来使用显式加标签。显式标签还可以包括文本材料,该文本材料可以指示相应设备被引入视场的时间顺序。额外地或替代地,文本信息可以包括合适的首字母缩略词或全名或者一些字母数字字符串,其向用户提供关于相应标签与哪种类型的医学设备相关联的线索。替代地,标签可以简单地包括相应的有区别的字母数字字符串以支持更好的区分,而不一定与特定的语义相联系。

现在将参考图3的框图来更详细地解释图像处理系统IPS的操作。广义地,图像处理系统IPS被配置为执行基于图像的发射覆盖痕迹加标签,其在不同几何形状中都是一致的并且优选与医学设备的个体相应医学设备持续相关联。

成像处理系统是计算机化的。成像处理系统可以在单个或多个数据处理系统PU上实施。在图3中将实施图像处理系统的(一个或多个)处理系统图解性且示意性地示为PU。IPS要么被集成在成像装置IA中,要么以其他方式与供应帧Fi的成像装置IA(以有线方式或无线方式)通信性耦合。

成像处理系统IPS可以被布置为一个或多个软件模块,这一个或多个软件模块被适当链接并且运行在一个或多个处理单元PU上。替代地,成像处理系统IPS可以以硬件被布置为经适当配置的微控制器或微处理器。图像处理系统可以通过多个通信性耦合的处理单元以分布式方式实施。图像处理单元可以部分以硬件布置并且部分以软件布置。以下描述的图像处理系统IPS的部件中的一些或更多个部件可以驻留在一个或多个经适当通信性耦合的存储器MEM中。数据处理系统PU可以是经适当编程的通用计算设备。处理单元可以包括图形处理系统(GPU)以实现快速计算。

成像处理系统IPS包括用于接收影像Fi的输入端口IN。成像处理系统IPS包括图像识别器ID以识别在成像期间可能碰巧驻留在FoV中的医学设备中的一个或多个医学设备。识别器ID可以包括探测器模块DM以探测设备GW1-GW4的发射覆盖痕迹。通过识别器ID进行的识别操作基于探测到的发射覆盖痕迹TF(如果有的话)。

图像识别器ID尝试基于在输入端口处接收到的影像中探测到的发射覆盖痕迹来识别(一个或多个)医学设备。如下面将更详细地解释的,识别器ID被配置为跨影像一致地执行该识别操作,特别是跨成像几何形状的变化一致地执行该识别操作。图像探测器还可以被配置为探测设备何时从视场被移除和/或何时较早设备被重新引入FoV或者在成像期间是否有新的先前没有看见过的(一个或多个)设备被引入视场。

一旦已经识别出属于新的或先前识别的相应医学设备,标签器TGG就对探测到的覆盖痕迹加标签。标签器TGG将每个覆盖痕迹(要发现它以识别给定设备GW)与独特标签(其被保留在个体设备GW中)相关联。

具有由标签器提供的一个或多个标签的影像(如果有的话)然后由图形显示生成器GDG来处理。针对每个给定帧,一个或多个标签被集成到接收到的影像中,例如作为叠加物或者以其他方式来实现这一点。

然后在输出端口OUT处输出如此加标签的图像。然后可以通过合适的图形控制电路在显示设备DD上显示加标签的影像,以根据可能加标签的影像来构建视频馈送。

更具体地,仅当识别器在给定帧中实际识别出相应设备时,才会将给定标签包括在经处理的影像中。在一个帧中可能已经记录了该设备,但在另一帧中可能未记录该设备。因此,其标签被包括或者不被包括在相应帧中。

图像识别器ID的操作是事件驱动的。事件包括:FoV中的设备的数量的变化、所使用的GW的类型的变化,以及成像几何形状的变化。识别器ID针对所述事件动态且自适应地进行调整。可以响应于这些事件中的任何一件或多件事件而调整由识别器ID实施的算法。在实施例中,使用聚类算法。在给定一个或多个现有聚类的情况下,识别器ID优选保守地起作用以分配和定义新的聚类:尝试将探测到的覆盖痕迹分配给现有聚类中的一个聚类。仅在无法以(在最小化方案的背景中通过经适当配置的代价函数测量的)合理的代价实现这一点时,声明新的聚类。

任选地,图像处理系统可以包括被布置为探测何时成像几何形状发生变化的电路。

通常,识别器ID的探测器模块的操作可以包括由探测器模块对所记录的覆盖痕迹(如果有的话)进行分割。分割部分能够通过手动处理计算机视觉处理工具(例如,细长滤波器)和阈值化处理来解决。替代地,可以使用机器学习,例如,边缘空间学习(MLS),例如在Zheng Y等人的“Marginal Space Learning for Efficient Detection of 2D/3Danatomical structures in Medical Images”(Inf.Process Med.Imaging,第21卷,第411-422页,2009年)中对此进行了报告。还设想了深度学习架构神经网络(即,具有一个或多个隐藏层的神经网络)。优选地,神经网络是卷积神经网络。

能够通过将两个相继帧中的覆盖痕迹分割结果的相似度比较相关联来执行对结果得到的分割的聚类。比较可以基于来自不同帧的两个覆盖痕迹的图像中位置之间的空间距离,因为如果两个分割结果均对应于同一导丝,则预期该距离会很小。额外地或替代地,可以评价其他特征的相似性,例如,覆盖痕迹的几何形状。在使用相同的成像几何形状(在本文中不是必需的,如下面将更详细地解释的)的情况下,如果来自两个帧的覆盖痕迹确实对应于同一设备,则能够预期覆盖痕迹彼此相似。应当组合使用对形状和图像中位置的比较,以便解决在使用具有相同或相似形状特征的设备的情况下可能出现的不明确(因为预期任何两个设备很小可能驻留在完全相同的位置处)。能够利用优化方法(例如,动态编程)来确定哪些加标签操作提供了相关联的分割之间的最佳相似性。分割和识别应当优选准实时地执行以实现更好的用户体验。GPU可以用于实现这样的准实时处理。

现在将参考图4中的流程图,图4更详细地解释了用于支持基于图像的导航的方法。该方法可以被理解为下面提到的图像处理系统IPS的基础操作。然而,还将进一步理解,在图4、图5中说明的方法步骤不一定与上面关于图1-3所描述的图像处理系统IPS的架构相联系。更特别地,下面描述的方法可以被理解为根据它们本身进行教导。

在步骤S410中,接收在序列中的由X射线成像装置IA采集的帧。

在采集在序列中的这一个或多个帧时,在成像装置的视场中存在两个或更多个医学设备(例如,所提到的导丝、导管或其他工具)。然而,出于该目的,并不要求所有医学设备在任何给定时间都一起存在,而是可以在不同采集时间单独存在。换句话说,可以跨帧中的两个或更多个帧来记录医学设备,而不是在单个帧中记录所有设备(在实施例中当然设想了这种情况)。例如,在某个时间采集的一个帧可能已经记录了两个或更多个(特别是所有)当前正在使用的医学设备。然而,替代地,在一个帧中已经记录了设备中的一个或多个设备,同时在一个或多个不同帧中已经记录了其他设备中的一个或多个设备。设备的存在情况可能会改变,因为用户可能决定从视场移除设备中的一个或多个设备或者用户可能选取成像几何形状设置(例如,准直器设置或管XS成角/旋转),使得一个或多个设备不再存在于新的FoV中等。

在步骤S420中,尝试基于在接收到的帧中编码的图像信息来以计算方式识别医学设备。识别操作使得不同的医学设备能够被彼此区分。用于该识别操作的图像信息具体包括在帧中编码和记录的发射覆盖痕迹。

识别步骤S420本身可以包括两个子步骤。一个是在一个或多个帧中探测图像覆盖痕迹本身作为图像结构。该探测能够通过分割来完成。分割可以通过计算机视觉技术(例如,机器学习、滤波或强度值阈值化或其他手段)来完成。然而,分割不是必须的要求,就像在某些情况中一样,建立区(例如,边界框、圆形或其他形状)并针对区内的像素分析统计信息(例如,直方图、标准偏差、CV等)可能就足够了。在所有实施例中,不一定要求覆盖痕迹的边界的确切过程。在该子步骤中,尚未将覆盖痕迹与引起发射覆盖痕迹的相应医学设备相关联。

对探测到的覆盖痕迹与医学设备的关系的识别或关联是在识别步骤的第二子步骤中执行的。利用相应覆盖痕迹识别设备本身的第二子步骤可以通过聚类算法来实施。聚类算法将覆盖痕迹聚类成组,其中,每个组确切地表示医学设备中的单个医学设备。

下面将更详细地解释识别步骤S420的第二子步骤,并且该第二子步骤基于能与识别出的覆盖痕迹和/或背景信息相关地提取的某些图像特征。特别地,关于成像几何形状的变化的信息可以用于通知聚类操作。可以组合使用或单独使用其他特征,包括几何形状或大小、图像中位置或解剖位置。可以将这些特征与相应聚类相关联地存储在存储器MEM中。可以当在下一帧中执行聚类时检索一些或所有如此预先存储的特征。

在步骤S420处的识别操作中,仅识别覆盖痕迹的部分并仅计算与该部件相关的特征可能就足够了。在实施例中,考虑围绕覆盖痕迹终止处的邻域可以是有用的,因为该部分表示设备的尖端部分(例如,导丝尖端),并且该部分通常是临床相关的部分。可以与整个覆盖痕迹相关地计算其他特征。

在下面的步骤S430中,然后将相应的唯一标签与在步骤S420中识别的每个相应医学设备相关联。

可以将每个标签与其他标签在视觉上能区分开地表示,并且可以用如上面所提到的图形小部件来表示每个标签。可以在设置操作中由用户预先指定标签的类型、颜色编码等。例如,可以在图形用户接口中向用户呈现菜单结构以供用户选择标签样式。如前面所提到的,加标签可以是显式的,也可以是隐式的。隐式加标签可以包括颜色编码识别的覆盖痕迹和/或通过颜色或线条类型(虚线、点线等)编码而改变轮廓。

显式加标签可以包括将单独的离散的信息框、圆形、椭圆形或其他几何结构小部件与相应覆盖痕迹在空间关系中邻接。标签小部件可以包括或者不包括文本信息,该文本信息允许用户在标签被包括在图像中时更好地识别加标签的设备的身份。

在步骤S440处,在显示设备上显示接收到的帧作为视频馈送(运动图片),其中,标签被包括在所述视频馈送(运动图片)中。特别地,这可能需要将图形小部件叠加到图像中,该图像以与其相应发射覆盖痕迹相关联并因此与设备相关联的方式被适当定位在空间中。

识别操作S420可以基于可以在存储器中存储的图像特征,并且在以类似的方式处理后续帧时从存储器中检索所存储的图像特征。

本文设想与相应设备相关联的标签在整个成像流程中是持续的或延续的。特别地,一个特定标签在整个成像流程中保持与特定的独特成像设备相关联。更详细地,如果接收到后续帧,则如上所述地处理后续帧,但是如果在后续帧中肯定地识别出该设备,则针对给定医学设备的标签将仅被包括在该帧中。如果未识别出该设备,因为用户已经从FoV中移除了设备或者由于成像几何形状发生变化而引起FoV已经改变,则针对该设备的标签将不会被集成到该帧中。然而,如果在稍后的后续帧中稍后识别出该设备,则其标签将被包括在该稍后的后续帧中。

同样,如果引入了新的设备,则可以定义新的聚类以适应新引入的设备,并且将新的标签与新引入的设备相关联。新的标签与先前被分配给其他设备的所有其他标签都不同。例如,当用户将设备(例如,导丝)“拉动”到视场FoV之外(特别是从患者完全移除设备)时,会发生设备从FoV的移除。如果成像几何形状发生变化(例如,患者台TB被移动和/或准直器限制了视场)或者如果X射线源被用户重新定位来请求新的成角或旋转或平移或其组合,则某些给定设备可能未被记录在给定帧中。

总之,如果从当前FoV中移除了设备中的一个设备或者在FoV中引入了新的设备或者如果未在先前FoV中出现的已知设备被重新引入当前FoV,则针对对于该FoV所记录的给定帧相应地动态调整通过识别步骤定义的聚类的数量。换句话说,如将根据上面提到的用例所理解的,识别步骤和加标签步骤是事件驱动的操作,并且针对在任何给定帧中的实际图像内容进行动态调整。

可以在数值优化流程的背景中实施识别操作。特别地,可以将聚类操作制定为优化流程以优化(例如,最小化)与聚类相关联的代价函数。如果在帧中记录的设备的数量保持恒定,则预计代价(即,代价函数的标量值)将保持相对稳定;但是当从FoV中移除设备或者引入新的设备或者已知设备重新出现时,预计设备的数量明显改变。这种代价的突然变化可以提供对所考虑的聚类的数量需要增加或减少的指示。换句话说,可以完全自动地完成对聚类的数量的调整。这种事件此后可以被称为“数量干扰”并且指示医学设备已被移除或者被(重新)引入视场的事件。

针对数量干扰事件的另一指示是探测到的覆盖痕迹的数量的变化。聚类的数量通常对应于在帧中探测到的图像覆盖痕迹的数量。可以监视该数量,并且如果从一个帧到另一帧发生变化,则优化流程尝试相应地改变聚类的数量。可以执行局部分析。例如,如果在瞬时图像的某个区域中存在覆盖痕迹,然后在后续图像中的对应区处不再有任何覆盖痕迹,则可能需要调整聚类的数量。

任选地,用户可以例如通过按下按钮或者以其他方式向算法提供信号作为输入。可以用在识别步骤中使用该信号以调整聚类的数量。

因此,能够看出,识别操作步骤S420鲁棒地抵抗数量干扰事件。该步骤还鲁棒地抵抗成像几何形状的变化。

实现了识别步骤S420的鲁棒性,因为该操作具体基于与识别出的发射覆盖痕迹相关联的特征。本文考虑的特征包括在探测到的发射覆盖痕迹中呈现的几何形状中的一个或多个或组合。额外地或替代地,在覆盖痕迹的当前帧中的图像中位置构成了发射覆盖痕迹的另一特征。探测到的覆盖痕迹中的合适参考点可以用于定义给定帧的图像平面中的位置。替代地,可以针对发射覆盖痕迹计算重心坐标。在实施例中,识别覆盖痕迹的终端极限部分,然后使用覆盖痕迹的这个尖端来定义图像位置,因为这对应于导丝、导管或其他设备的物理尖端的位置。

给定帧中的给定发射覆盖痕迹的背景特征是与覆盖痕迹相关联并因此与相应医学设备相关联的解剖位置。例如,如下面将更详细地解释的,在成像几何形状变化的事件中,可以使用解剖位置来确保对给定成像设备的持续和一致的识别。

可以通过道路映射技术或者通过将当前帧配准到先前通过相同或不同的图像模态记录的感兴趣区域的3D图像来确定解剖位置。特别地,可以适当使用(分割)CT数据集,然后能够例如通过前向投影将该CT数据集与当前图像帧进行配准以识别图像位置。替代地,优选针对给定患者的感兴趣区域而个性化的人工模型可以用于计算解剖位置。

作为道路映射的补充或替代方案,可以使用(使用训练图像数据适当训练的)深度学习。在下面的许多不同实施例中,将描述如何通过基于深度架构神经网络的机器学习技术来导出解剖位置。然而,本文并不排除其他机器学习技术,例如,支持向量机(SVM)、基于其他内核的方法或决策树等。以输入和(期望的)输出的对来提供训练数据。

可以通过基于表示沿着不同投影方向的血管树的影像进行训练来使用机器学习。

在另一实施例中,可以使用共同配准,其中,将导丝位置投影在对应的血管造影图上(如果存在的话),并且能够将在血管造影图中呈现的如此得到的对比度增强的冠状动脉树进行分割并分成其子段,以便如此定义解剖部分。通过在以下训练数据对上进行训练,可以使用机器学习部件将成像几何形状变化考虑进去。输入:图像或图像中的血管的分割和成像几何形状变化规范(例如,成角);输出:加解剖标签的分支或子分支。

在一个实施例中,与设备GW位置相关联的解剖位置是仅从荧光透视图像获得的。可以基于以下输入/输出对来训练机器学习部件。输入:荧光透视图像和几何形状变化规范(例如,成角和当前设备GW位置。输出:解剖定位规范。

替代地,机器学习方法与早前提到的道路映射技术相结合。更具体地,在第一步骤中,通过道路映射在血管造影图中找到设备GW位置,在这种情况下,这等同于共同配准。然后利用下面的输入/输出对来应用机器学习方法:输入:通过道路映射从荧光透视图像获得的血管造影图和设备位置GW。输出:解剖位置。

在比先前描述的实施例更明确的另外的实施例中,在第一步骤中,使用道路映射来获得血管造影图上的设备GW位置。在第二步骤中,执行探测(例如,分割)。因此,通过机器学习对在血管造影图中如此发现的血管树中的分支加标签。最后,扫描加标签的血管树中的分支以找到设备覆盖痕迹GW所在的位置。

在另外的实施例中,给定设备GW覆盖痕迹被投影到冠状动脉树的3D模型中。该模型是通用的,个性化的,从诸如CT体积之类的3D图像获得的。该模型可以被预先加标签,或者通过机器学习完成加标签。投影可以直接获得或者经由血管造影来获得,例如按照以下序列获得:荧光透视图像->血管造影图->模型。

在PCI或类似的心脏相关的介入中,解剖位置由导丝尖端位于其中的相应子血管(例如,RCA中间或LDA远侧)来定义。实际上,给定一定的成像几何形状(例如,成角),人们将粗略知道投影的冠状动脉树看起来是什么样子。然后,人们可以识别在哪个血管分支中导丝正导航进入下一帧,并且近似识别导丝位于哪个远侧位置处。然后,人们可以将按照当前序列的当前帧的例如驻留在近侧符号(circumflex)中的导丝覆盖痕迹与按照下一序列中的帧的驻留在近侧符号中的导丝覆盖痕迹相关联。能够通过评估两个设备中的哪个处于更远侧来对可能碰巧驻留在相同血管子段中的设备消除歧义。这里,“远侧”是指血管下游的方向,该方向是设备推进的相反方向(“近侧”)。

可以将关于给定覆盖痕迹在图像位置和/或解剖位置中提取的一个或多个特征(例如,形状)与针对给定帧的给定覆盖痕迹相关联并且将其存储在存储器中。然后,聚类操作可以包括将一个帧中的发射覆盖痕迹的存储特征与后续帧中的发射覆盖痕迹的存储特征进行比较以执行聚类。该比较可以通过以下操作来执行:在后续帧中逐像素进行一个覆盖痕迹与另一覆盖痕迹的相减,并且进行适当量化或附上差异的代价。如果需要,能够利用图像中位置和/或解剖位置来完成类似的通过减法进行的比较。

代替比较图像域中的特征,而是可以优选比较覆盖痕迹的形状的描述符。在一个实施例中,这可以是通过配准将两个要被比较的覆盖痕迹进行重叠。然后,该比较可以基于它们的中心线之间的偏差的度量。合适的度量可以包括最大值/平均值/中位值的任一个。

替代地,覆盖痕迹的形状(例如,它们的边界)被表示为基函数(例如,样条)的集合的相应坐标(系数)。该比较然后基于所述坐标。可以使用绝对值减法或欧几里德距离或任何其他合适的距离措施。

关于解剖位置的比较可以是二元的。两个覆盖痕迹要么都在相同的解剖区段(例如,血管分支)中,要么都不在相同的解剖区段(例如,血管分支)中。也可以考虑相邻区段,假设设备在帧之间从一个区段的远端传递到另一相邻区段的近端。可以强加解剖约束以排除在解剖上不可能的移动:例如,不可能从左冠状动脉“跳跃”到右冠状动脉。

可以将针对特征中的一个或多个特征的特征比较进行归一化并且合并到单个代价值中以形成代价函数。例如,可以对在不同特征比较中产生的部分代价进行求和。

每个聚类都会吸引总代价。能够计算针对不同聚类的总代价,然后可以选取吸引最低代价或低于阈值的代价的聚类作为正确的聚类。通过将来自一对帧的所有覆盖痕迹分配给聚类来定义聚类。聚类的数量可以用作另外的特征,其被适当量化并被包括在代价函数中。

通常,对针对任何两对相继帧Fj、Fj+k(k=1)的所有探测到的发射覆盖痕迹执行聚类,但是可能会发生一些帧因为图像质量差或各种其他原因而被跳过的情况,然后所考虑的对是Fj、Fj+k(k>1)。然后基于在每个给定对Fj、Fj+k(k)中的覆盖痕迹的提取特征来执行聚类。表示某个设备的每个聚类通常包括至少两个覆盖痕迹,至少一个覆盖痕迹来自帧对Fj和Fj+k中的每个。然而,当该对中的帧中的一个帧包括新引入或重新引入的设备的覆盖痕迹时或者在设备在当前FoV之外时,也可以出现仅包括单个帧的单例聚类。

广义上说,聚类代价函数f(·)可以被定义如下:

其中:

是在帧Fi中探测到的覆盖痕迹,χ是在给定聚类C中的另一帧Fi+k的覆盖痕迹。给定聚类是根据关于早期帧的早期聚类而产生的;

C是来自给定帧对Fi、Fi+k的覆盖痕迹的给定聚类;

与给定聚类C的关联性;

p、s、a分别是图像中位置特征、形状特征和解剖特征,并且Δ是定义部分代价的比较器。Δ可以通过逐像素减法、绝对值减法、平方减法、欧几里德距离或其他合适的规范(例如,Lp,p>2)来实施;

w是相应特征权重;并且

G(·)是所使用的聚类的数量的部分代价,其可能被适当规范。

如果通过算法提出了在解剖上不可能的移动,则针对解剖项a(χC)的部分代价可以被设置为大值或无限大。以这种方式,可以强加解剖约束。

在优化中,聚类(即,将覆盖痕迹分配到聚类)被调整为使得可以改进代价函数。优选地,找到聚类,使得代价函数f取得全局或局部最小值。可以以迭代方式实现这种改进,其中,优化被配置为通过朝向局部或全局最小值进行一次或多次迭代而收敛。一旦满足了停止条件,它就足以中止迭代。停止条件可以被实施为阈值。如果代价函数的改变不超过阈值,则中止迭代并且当前聚类被输出为“最佳”聚类以达成优化。本文设想的求解(1)的优化方案可以包括基于梯度的方案,例如,共轭梯度、Nelder-Mead或其他方案。代价函数可能不一定是明确的。可以使用隐式优化方案(例如,k均值聚类)或其他机器学习方案(迭代的或非迭代的)。设想的其他机器学习方案包括神经网络或支持向量机等。如果所使用的设备的数量相对较小(例如,2-3个),则通过比较针对每个聚类的代价并通过选取使(1)最小化的一个代价来进行的对(1)的纯离散评估在某些情况下可能就足够了并且是足够快速的。聚类的数量可以从1递增到能够由用户设置的合理上限。覆盖以这种方式考虑的聚类的数量也可以在上述连续优化方案中的任一个中进行,以减少搜索空间并因此减少计算时间。虽然(1)、(2)已经被制定为对代价函数f的最小化,但是这不是要在本文中也设想使效用函数最大化方面限制“双重”制定。

当发生上述事件中的任一件时,可以调整代价函数。具体地,可以在发生事件时调整权重w函数的个体项中的一些的影响或贡献。

更具体地,如果从一个序列到下一序列发生成像几何形状变化,则需要修改代价函数以便考虑这种变化。然而,能够针对在给定序列中的帧维持代价函数的结构。

在成像几何形状变化的情况下需要修改代价函数f,因为现在不再期望形状和/或图像中位置之间的对应关系。这是因为:从不同的空间透视角度来看,非常相同的成像设备的覆盖痕迹会看起来完全不同,并且还会位于完全不同的图像中位置。为了考虑这一点,能够使用权重来对图像中特征和/或形状特征进行禁用或者作用打折扣,取而代之的是强调解剖位置的贡献。与其他特征相比,解剖位置是不变量,换句话说,即使发生成像几何形状变化,解剖位置也会保持持续性。应当理解,其他这样的不变量(不一定是解剖位置)可以有益地用于探测和处理不同成像几何形状的序列,例如,对比度规定或设备尖端的长度。图像中位置和形状是变化的特征,因为这些特征将在不同的成像几何形状下发生变化。例如,在成像几何形状发生变化之后,一个帧中的“右上”可以对应于下一帧中的“左下”。而且,针对不完全对称的设备,在例如旋转下,形状特征可能完全改变。

通过组合考虑特征,能够实现对所提到的事件的鲁棒性,这继而得到持续且一致的加标签。

现在参考图5中的流程图,图5更详细地解释了特别是识别步骤S420。特别地,所提出的方法的处理流程可以基于对任何给定帧的采集定时来调整。

具体地,在步骤S42010处,确定在步骤S410处接收到的给定帧是否是序列中的第一个这样的帧F1(在图5中通过询问“i=1?”来指示)或者该帧是否不是针对给定序列的第一帧(在图5中用询问“i>1?”来指示)。

现在转向在根据图5的处理流程中的第一分支“A”,其中,给定帧实际上是针对处于给定成像几何形状的给定序列的第一帧,然后确定该成像几何形状是否与先前序列中的成像几何形状相同。如果是,则可以针对聚类使用基于相同代价函数的相同识别操作,然后能够在步骤S42020A中进行识别,如在前一序列中的那样并且如上面关于在图4的一般流程图中的步骤S420所解释的那样。在实施例中,可以在序列之间放宽对图像中距离的代价约束,以考虑例如在X射线被关闭时设备可能出现的更大运动。

可以检索针对前一序列中的最后一帧所提取的预先存储的特征,以使用来自瞬时序列中的前一帧的特征来执行针对瞬时第一帧F1的聚类,并且对于序列中的所有其他帧也是类似的情况。值得注意的是,在步骤S4020A处,现在在针对处理的分支“A”中能够忽略解剖特征,并且可以仅基于形状相似性和/或图像中位置来完成聚类。特别地,解剖位置特征的权重w可以被设置为“零”,以便在优化代价函数(1)时使其对聚类的影响无效。

然而,如果确定已经发生了成像几何形状变化,则修改聚类算法并且根据分支“B”进行处理流程。

特别地,可以修改代价函数f,以便现在考虑针对给定帧中的(一个或多个)覆盖痕迹的解剖位置并且在识别操作S420中使用该解剖位置来将覆盖痕迹与相应设备相关联。换句话说,在步骤S42020B中,针对给定覆盖痕迹确定解剖位置,并且在步骤S42030B中,通过考虑给定当前帧和下一帧F2中的覆盖痕迹的解剖位置来执行识别。当在分支“B”中处理时,现在通过将一个或两个权重设置为零来禁用形状和/或图像中位置,因为现在不再期望形状和图像中位置是相关的。一旦确定了与帧F1、F2相关的初始聚类,当在分支“B”中处理后续帧时,现在解剖特征能够再次被“重新禁用”,并且剩余聚类能够再次如分支“A”中那样仅基于形状相似性和/或图像中位置来进行,直到发生下一几何形状变化为止,在发生下一几何形状变化的情况下,流程返回到步骤S42010。

在分支“B”中,对解剖位置的变化的确定可以基于接收从指示成像几何形状变化的成像装置接收到的指示信号。作为替代方案,指示信号不仅可以指示已经发生的成像几何形状变化,该信号还可以包括指定成像几何形状变化如何改变的富集信息。例如,指示信号可以指定以下各项中的任何一项或多项或所有项:成角、旋转角度、平移、患者台高度。替代地,可以直接从图像中探测到该事件,例如通过机器学习从图像中探测到该事件,其中,机器学习模型是基于以下输入-输出对来训练的:输入:两幅图像。输出:其中两幅图像是否处于相同的成像几何形状的布尔指示。

如果一些设备或每个设备的形状几何在3D中是已知的(例如作为预先存储的模型而是可用的),则可以通过沿着通过指示信号指定的方向的前向投影,根据旧的成像几何形状来预先计算按照新的成像几何形状的新的形状。然后可以通过更新形状信息来改变代价函数。以类似的方式,可以更新图像中位置。优选地,通过运动补偿技术来考虑患者运动,例如,心脏搏动或呼吸引起的运动。

现在转向分支“C”,其中,当前帧不是在步骤S4202C中的给定序列的第一帧,现在可以通过忽略解剖位置p(TF)并且纯粹基于从存储器MEM中检索的特征形状相似性和/或图像中位置f(TF)来继续进行利用覆盖痕迹的相应设备对覆盖痕迹的识别(即,聚类)。

如果在步骤S42030C处确定当前帧是给定序列中的最后一个帧,则仍然确定解剖位置与(一个或多个)相应覆盖痕迹相关联,并且将该解剖位置提交给存储器MEM。如果发生成像几何形状,则针对最后一帧中的覆盖痕迹的(一个或多个)解剖位置可以用于在后续序列中的聚类。然后可以根据上述分支A或B对新的序列继续进行聚类。

对于利用在其中识别的相应设备来如此处理的每个帧,能够在步骤S430中如上所述地以一致且持续的方式应用加标签以形成加标签的序列Fi′。

在给定序列内或者如果在两个序列之间不发生成像几何形状,则不需要解剖位置特征,并且优选仅需要将“内部”特征(即,形状和/或图像中位置)用于聚类。解剖特征对于成像几何形状变化是不变的。以这种方式,通过在需要时使用成像几何形状变化不变信息,能够鲁棒地调整所提出的动态聚类方案,以确保跨所采集的多个可能不同的序列产生一致且持续的加标签。动态地使用针对聚类的特征,其中,仅在需要时包括解剖位置特征,特别是对于在成像几何形状变化之后的新的序列中的第一帧,其中,优选忽略解剖位置特征以简化优化。

通过将代价G()附到聚类的数量来实现上述抵御正被添加的新的设备和正被移除的(一个或多个)设备的另外的鲁棒性。能够通过针对要考虑的聚类的数量添加隐式代价项或显式代价项来如上所述地实现这种情况。聚类算法以与开启新的聚类或减少聚类的数量相关的方式保守地起作用。此外,通过结合使用形状特征与针对聚类问题(1)、(2)的图像中位置特征,能够鲁棒地重新识别被移除FoV并在稍后又被引入FoV的先前识别的设备。在实施例中,本文假设:给定设备的移除和重新引入是由于成像几何形状变化,使得由于成像几何形状变化而使得设备不再处于新的FoV中,或者由于成像几何形状变化而使得较早的设备重新进入新的FoV。本文假设所提出的方法和系统的最佳性能,即,在成像几何形状变化之后重新进入FoV的受影响设备尚未移动。然后,该假设允许更鲁棒地重新识别设备,即,重新分配到正确的聚类和一致的重新加标签。这种假设也与临床实践相一致,其中,在放置FoV时不会移动导管、导丝或其他工具。

为了解决与医学设备的(重新)出现/消失相关的这种模糊性,处理可以基于例如由用户提供的指示信号,以便指导识别步骤来改变聚类的数量。然而,还设想了完全自动的实施例,其中,如上所述,观看到代价函数演进。代价上升可以用作对新的设备出现或者已知设备重新出现或者设备被移除的指示。如上所述,在实施例中假设,由于成像几何形状变化而引起FoV变化,已经发生设备的“移除”。如果无法以合理的代价匹配给定覆盖痕迹,则它必须属于不在所考虑的一对帧的早期帧中的设备。可以使用一组用户可定义的代价函数阈值化处理来确定是否改变聚类的数量。相反,如果现有聚类在相似度方面无法以合理的代价匹配任何分割,则对应的设备必须退出图像。

可能出现另一并发情况,因为在一些成像几何形状中,特别是沿着一些投影方向,覆盖痕迹能够充分或者至少部分重叠。具有重叠的覆盖痕迹的帧很可能不能完全消除歧义。

然而,一旦推进设备中的一个设备而使得这两个设备不再重叠,我们能够期望通过将设备的重叠前形状与设备的重叠后形状进行比较来重新识别设备,其中可能会考虑诸如长度、曲率等另外的几何特征。如果是不能以这种方式消除歧义的情况,则一个可能的策略是假设在重叠时段期间只移动了两根导丝中的一根导丝,使得应当保留在重叠发生之前分配的分别与静态设备和移动设备相关联的相应标签。

如果无法对与重叠有关的情况完全消除歧义,则所提出的系统可以通过指示与标签相关的不确定性来发出警告警报。可以通过颜色编码或线条类型编码来突出显示相关的重叠部分。另外,可以将问号或其他标记附到相关标签。任选地,系统IPS可以邀请用户通过合适的接口重新建立可靠的标签。例如,语音命令处理程序可以用于接收诸如“标签校正/切换标签1和3”之类的命令以请求重新加标签。

图6是根据一个实施例的本文设想的图形显示GD的示意图。图形显示GD被显示在设备DD上。GD包括三个发射覆盖痕迹TF(GW1)-TF(GW3),每个发射覆盖痕迹分别具有其自身的不同标签TG1-TG3。图6图示了显式加标签。一些或所有标签可以包括字母数字字符串(例如,文本)以提供进一步的信息。该信息可以按序号编码相应设备GW1-GW3被引入FoV的顺序。也就是说,加标签是按时间顺序进行的,并且按照各个设备出现并由识别器ID识别的顺序。时间顺序可以通过标签(包括递增的数字)和/或通过颜色或其他方式进行编码。

所提出的系统和方法的操作可以通过以下用例来进一步说明:假设在当前帧中记录了两个(或更多个)设备,每个设备都被加标签,例如用其覆盖痕迹的颜色编码而被加标签,一个设备被加标签为红色,并且一个设备被加标签为蓝色。假设具有蓝色覆盖痕迹的设备被移除,同时针对红色覆盖痕迹的设备针对后续帧得到保留。然后,在成像期间的一个时间点引入先前未看见的新的设备。然后,可以以除了蓝色和红色之外的其他颜色对这个新的设备加标签,因为蓝色和红色的标签已经被两个早前提到的设备所占用。新的设备的覆盖痕迹可以例如被加标签为绿色。如果存在两个初始设备中的一者或两者,则只有红色加标签和蓝色加标签将被示出。如本文在实施例中所设想的,一旦被加标签,该设备就保留其独特的标签,该独特的标签优选在整个成像过程中持续存在。其加标签方案不会被其他设备所使用。

本文公开的一个或多个特征可以被配置或实施为在计算机可读介质内编码的电路/利用在计算机可读介质内编码的电路进行配置或实施和/或其组合。电路可以包括分立电路和/或集成电路、专用集成电路(ASIC)、片上系统(SOC)以及其组合、机器、计算机系统、处理器和存储器、计算机程序。

在本发明的另一示例性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于,其适于在适当的系统上运行根据前述实施例中的一个实施例的方法的方法步骤。

因此,计算机程序单元可以被存储在计算机单元中,该计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引起对上述方法的步骤的执行。此外,该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,可以装备数据处理器来执行本发明的方法。

本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序,以及借助于将现有程序更新转换为使用本发明的程序的计算机程序这两者。

另外,计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。

根据本发明的另外的示例性实施例,提出了一种计算机可读介质,例如,CD-ROM,其中,该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元,所述计算机程序单元由前面的章节所描述。

计算机程序可以被存储和/或分布在合适的介质上(特别是但不一定是非瞬态介质),例如,与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以以其他形式分布,例如,经由互联网或其他有线或无线的电信系统分布。

然而,计算机程序也可以存在于网络(如万维网)上,并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例,提供了用于使计算机程序单元可用于下载的介质,所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个实施例的方法。

必须注意,本发明的实施例是参考不同主题来描述的。尤其地,一些实施例是参考方法型权利要求来描述的,而其他实施例是参考装置型权利要求来描述的。然而,除非另有说明,否则本领域技术人员将从以上和以下的描述中推断出,除了属于一种类型的主题的特征的任意组合之外,涉及不同主题的特征之间的任意组合也被认为在本申请中得到公开。然而,所有的特征都能够被组合来提供多于特征的简单加合的协同效应。

虽然已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示例性的,而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

27页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:心力衰竭管理的感测

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!