用于图像采集的自动视图规划的连续学习
阅读说明：本技术 用于图像采集的自动视图规划的连续学习 (Continuous learning for automatic view planning for image acquisition ) 是由 P.沙马 D.科马尼丘 于 2020-02-13 设计创作，主要内容包括：描述了用于根据与特定临床站点相关联的本地偏好自动识别医学图像中的解剖标志的系统和方法。接收用于执行医学过程的医学图像。使用预训练的机器学习算法在医学图像中识别解剖标志。从与特定临床站点相关联的用户接收与所识别的解剖标志有关的反馈。在用于执行医学过程的正常工作流程期间接收反馈。基于所接收的反馈来再训练所述预训练的机器学习算法,使得根据与所述特定临床站点相关联的本地偏好来训练经再训练的机器学习算法。(Systems and methods are described for automatically identifying anatomical landmarks in medical images based on local preferences associated with particular clinical sites. A medical image for performing a medical procedure is received. Anatomical landmarks are identified in medical images using a pre-trained machine learning algorithm. Feedback related to the identified anatomical landmark is received from a user associated with the particular clinical site. The feedback is received during a normal workflow for performing the medical procedure. Retraining the pre-trained machine learning algorithm based on the received feedback such that the retrained machine learning algorithm is trained according to local preferences associated with the particular clinical site.)
技术领域
本发明一般涉及用于图像采集的自动视图规划的连续学习，并且更特别地涉及用于自动视图规划的本地现场连续学习，以解决与特定临床站点相关联的本地偏好。
背景技术
在心脏磁共振成像(MRI)采集期间，通常采集定位器扫描以定位心脏，并规定（prescribe）心脏的长轴和短轴视图。基于定位器扫描，规划标准MRI图像。为了定位心脏并规定心脏的长轴和短轴视图，在从定位器扫描的3D体积中提取的二维(2D)切片中识别解剖标志。解剖标志可以由用户注释2D切片来手动识别，或者使用机器学习算法来自动识别。
用于识别解剖标志的传统机器学习算法在被部署到临床站点之前被预训练。这种预训练的机器学习算法一般是针对解剖标志在2D切片中应该如何出现的特定定义而训练的。离线执行训练，并且在多个不同临床中心处的成像扫描器上部署预训练的机器学习模型。仅当发布集中管理的软件版本时才更新预训练的机器学习算法。
用于自动识别解剖标志的这种传统的预训练的机器学习算法常规上不被许多临床中心使用。对于此的一个原因是关于如何在2D切片中识别解剖标志的定义的跨不同临床中心的多样性。这种传统算法根据与临床医生的全球群体相关联的偏好而被集中地和一般地训练，以便部署在多个不同的临床中心，并且不考虑医生在每个特定临床中心的本地偏好。
发明内容
根据一个或多个实施例，描述了用于根据与特定临床站点相关联的本地偏好自动识别医学图像中的解剖标志的系统和方法。接收用于执行医学过程的医学图像。使用预训练的机器学习算法在医学图像中识别解剖标志。从与特定临床站点相关联的用户处接收与所识别的解剖标志有关的反馈。在用于执行医学过程的正常工作流程期间接收反馈。基于所接收的反馈来再训练所述预训练的机器学习算法，使得可以根据与所述特定临床站点相关联的本地偏好来训练所述再训练的机器学习算法。
根据一个实施例，在不提示用户的情况下接收与所识别的解剖标志有关的反馈。
根据一个实施例，预训练的机器学习算法不是根据与特定临床站点相关联的本地偏好来训练的，而是根据与临床医生的一般群体相关联的偏好来训练的。
根据一个实施例，在特定临床站点本地再训练预训练的机器学习算法。
根据一个实施例，反馈包括来自用户的校正所识别的解剖标志的位置的输入和来自用户的拒绝所识别的解剖标志的输入。
根据一个实施例，接收用于执行另一医学过程的另一医学图像。使用再训练的机器学习算法在另一医学图像中识别某些解剖标志。基于所识别的某些解剖标志来执行另一医学过程。
通过参考以下详细描述和附图，本发明的这些和其它优点对于本领域的普通技术人员将是显而易见的。
附图说明
图1示出根据一个或多个实施例的临床站点；
图2示出根据一个或多个实施例的用于根据与特定临床站点相关联的本地偏好再训练用于自动识别医学图像中的解剖标志的预训练的机器学习算法的方法；
图3示出根据一个或多个实施例的用于使用经再训练的机器学习算法来识别医学图像中的解剖标志的方法；
图4示出根据一个或多个实施例的用于再训练机器学习算法以识别医学图像中的解剖标志的工作流程；以及
图5示出计算机的高级框图。
具体实施方式
本发明一般涉及用于图像采集的自动视图规划的连续学习的方法和系统。在此描述本发明的实施例，以给出对这样的方法和系统的视觉理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。对象的数字表示在本文中通常是在标识和操纵对象方面来描述的。这样的操纵是在计算机系统的存储器或其它电路/硬件中完成的虚拟操纵。因此，应当理解，本发明的实施例可以由计算机系统使用存储在计算机系统内的数据来执行。
图1示出了根据一个或多个实施例的临床站点100。临床站点100可以是例如医院、成像室、与成像设备相关联的站点、医疗诊所或任何其他临床站点。在一个实施例中，临床站点100可以包括多个地理上远离的站点，诸如例如，与同一医院或医疗实践附属的相关站点。临床站点100包括工作站102，用于辅助临床医生(例如，医生、护士、医学专业人员或任何其他用户)对患者106(或任何其他对象)执行医学过程。工作站102可以使用任何合适的计算设备（诸如例如图5的计算机502）来实现。
工作站102可以从一个或多个医学成像系统104接收患者106的医学图像以执行医学过程。医学成像系统104可以是任何模态的，诸如例如二维(2D)或三维(3D)计算机断层扫描(CT)、x射线、磁共振成像(MRI)、超声(US)、单光子发射计算机断层扫描(SPECT)、正电子发射断层扫描(PET)或任何其他合适的模态或模态的组合。在另一实施例中，工作站102可以通过加载使用医学成像系统104采集的患者的先前存储的图像来接收图像。
在一个示例性实施例中，要对患者106执行的医学过程是心脏电影MRI检查，并且医学成像系统104是MRI系统。心脏电影MRI检查通常需要患者106的心脏的长轴和短轴视图。在获取心脏的完整MRI图像之前，获取定位器扫描以识别心脏的位置，规定心脏的长轴和短轴视图，并执行其他视图规划任务。为了定位心脏并规定心脏的长轴和短轴视图，在从定位器扫描的3D体积中提取的2D切片中识别出解剖标志。从2D切片识别出的示例性解剖标志包括左和右心室尖、定义左心室基础平面的二尖瓣点、右心室插入点等。
可以使用一个或多个机器学习算法从2D切片或其他医学图像中识别出解剖标志。机器学习算法可以部署在临床站点100处，例如作为医学成像系统104或工作站102的一部分。机器学习算法在被部署在临床站点100之前在现场外(即，不在临床站点100处)被预训练。预训练的机器学习算法被集中训练以根据临床医生的一般群体的偏好来识别出医学图像中的解剖标志，并且不根据与特定临床站点相关联的本地偏好(例如，与临床站点100相关联的临床医生的本地偏好)来训练。临床医生的偏好反映在训练数据中，该训练数据定义应当如何在医学图像中识别解剖标志(即，医学图像中的哪些像素应当与解剖标志相关联)。在一个实施例中，预训练的机器学习算法可以是例如如本领域已知的被训练并被应用以识别医学图像中的解剖标志的常规机器学习算法。基于所识别的解剖标志，计算视图/切片处方（prescription）并将其呈送给临床医生。临床医生然后可以通过例如确认、拒绝或编辑自动规定的视图/切片来提供用户反馈。
为了计及与临床站点100相关联的本地偏好(例如，与临床站点100相关联的临床医生的偏好)，本发明的实施例提供了基于用户反馈的机器学习算法的本地现场(即，在临床站点100处)再训练。临床医生没有被明确地提示用户反馈，并且可能也不知道这样的用户反馈被用于再训练机器学习算法。代替地，在用于执行医学过程的正常临床工作流程的过程期间从临床医生接收用户反馈。本发明的实施例可以在不同的临床站点采用，以使得能够根据与该相应临床站点相关联的本地偏好自动识别解剖标志。本发明的实施例使得能够实现机器学习算法的更新的更快的发布周期，因为机器学习算法可以在任何时间在现场被本地再训练，而不必等待集中管理的软件更新。有利地，更多的临床站点将采用解剖标志的自动识别用于视图规划，从而标准化并加速图像采集工作流程。
应当理解，尽管这里讨论的实施例是关于根据与临床站点相关联的本地偏好自动识别医学图像中的解剖标志用于MRI图像采集的视图规划来讨论的，但是本发明并不局限于此。本发明的实施例可以用于根据与任何实体相关联的偏好自动识别感兴趣的任何对象。
图2示出了根据一个或多个实施例的用于根据与特定临床站点相关联的本地偏好再训练用于自动识别医学图像中的解剖标志的预训练的机器学习算法的方法200。方法200将参考图1的临床站点100来进行讨论。在一个实施例中，方法200的步骤可以由图1的工作站102或医学成像系统104执行。
在步骤202处，接收医学图像。医学图像可以用于在特定临床站点(例如，图1的临床站点100)处执行医学过程。特定临床站点可以是例如医院、成像室、与成像设备相关联的地点、医疗诊所或任何其他临床站点。
医学图像可以是任何合适模态的。在一个实施例中，医学图像是从定位器扫描的3D体积中提取的2D切片，该定位器扫描来自用于执行电影心脏MRI检查的MRI成像系统。可以直接从医学成像系统(例如，图1的医学成像系统104)接收医学图像。可替代地，可以通过从计算机系统的存储装置或存储器加载先前从医学成像系统采集的医学图像，或者接收已经从远程计算机系统发送的医学图像，来接收医学图像。在一个实施例中，医学成像系统与医学过程正在其中执行的特定临床站点相关联(例如，位于该特定临床站点处)。
在步骤204处，使用预训练的机器学习算法在医学图像中识别一个或多个解剖标志。解剖标志可以是医学图像中的任何感兴趣对象。例如，解剖标志可以包括左和右心室尖、定义左心室基础平面的二尖瓣点、以及右心室插入点。在步骤204处，预训练的机器学习算法还可以计算平面或视图的处方。预训练的机器学习算法可以是用于识别医学图像中的解剖标志的任何合适的机器学习算法，诸如，例如，卷积神经网络、深度强化学习、递归神经网络和其他深度学习算法。在一个实施例中，预训练的机器学习算法可以是本领域已知的用于识别医学图像中的解剖标志的常规机器学习算法。
预训练的机器学习算法通过将医学图像中的像素与一个或多个解剖结构相关联来识别一个或多个解剖标志。根据临床医生的广泛群体的一般偏好来训练预训练的机器学习算法，所述一般偏好定义应当如何在医学图像中识别解剖标志。预训练的机器学习算法不是根据与特定临床站点相关联的本地偏好来训练的。例如，与特定临床站点相关联的临床医生或其他用户可以具有与和其他临床站点相关联的那些不同的关于医学图像中的哪些像素应当与一个或多个标志相关联的偏好。然而，预训练的机器学习算法不是根据与特定临床站点相关联的那些本地偏好来训练的。
在步骤206处，从与特定临床站点相关联的用户(例如，临床医生)接收与所识别的解剖标志有关的反馈。反馈可以是任何合适形式的。在一个实施例中，反馈可以是明确的反馈，其中用户校正由预训练的机器学习算法识别的医学图像中的解剖标志的位置。例如，用户可以通过编辑医学图像中的哪些像素与解剖标志相关联或不与解剖标志相关联来校正医学图像中解剖标志的位置。在另一实施例中，反馈也可以是隐式反馈，其中用户不校正医学图像中解剖标志的位置，而是拒绝或利用手动识别的解剖标志推翻（overrule）由预训练的机器学习算法识别的医学图像中解剖标志的位置。
在步骤208处，可选地，基于所识别的解剖标志和所接收的反馈来执行医学过程。
步骤202-208可以针对另一医学图像或另一医学过程重复。在一个实施例中，在进行到步骤210之前，步骤202-208被重复预定的迭代次数。这将允许在步骤210获取足够量的反馈以用于再训练预训练的机器学习算法。在另一实施例中，如果预训练的机器学习算法不是频繁使用的(即，如果步骤202-208的迭代次数小于预定的迭代次数)，则在步骤210处自动再训练预训练的机器学习算法。
在步骤210处，基于所接收的反馈、由预训练的机器学习算法识别的所识别的解剖标志和医学图像，再训练预训练的机器学习算法。例如，在一个实施例中，其中反馈是对所识别的标志的位置的校正，由反馈修改的所识别的解剖标志被用作医学图像的基础事实。在另一示例中，其中反馈是对解剖标志的位置的拒绝，拒绝被用作用于再训练预训练的机器学习算法的否定示例。有利地，根据与特定临床站点相关联的本地偏好来训练经再训练的机器学习算法。
为了实现预训练的机器学习算法的本地现场再训练，利用训练框架在特定临床站点处(例如，在医学成像系统104或工作站102上)部署预训练的机器学习算法。训练框架可以包括用于再训练预训练的机器学习算法的训练代码。在一个实施例中，可以根据图4的工作流程400再训练预训练的机器学习算法。
在一个实施例中，在用于在特定临床站点执行医学过程的正常过程或工作流程期间执行步骤202-208。因此，在步骤206接收的反馈是在用于执行医学过程的正常工作流程期间从用户接收的。用户不被提示或要求来进行反馈，并且用户可能并不知道在步骤210处反馈将被用于再训练预训练的机器学习算法。在另一实施例中，在完全部署机器学习算法之前，在预部署阶段期间执行步骤202-208。
在一个实施例中，在步骤210，不仅可以使用来自与特定临床站点相关联的用户的反馈，而且还可以使用来自其他临床站点的反馈来再训练预训练的机器学习算法。例如，特定临床站点和其他临床站点可以是频繁地一起工作或彼此协作的相关临床站点。因此，在该实施例中，可以在步骤210使用从多个临床站点累积的反馈以分布式方式再训练预训练的机器学习算法。
在一个实施例中，在步骤204处，预训练的机器学习算法计算视图的多个不同的候选处方，并且用户选择候选处方之一。代替在步骤210再训练预训练的机器学习模型，与所选择的候选处方相关联的机器学习模型被用作从步骤210得到的再训练的机器学习模型。不同的候选处方可以基于利用解剖标志的识别的略微不同的定义来训练的多个机器学习算法，或者可以基于输出解剖标志的概率性位置的单个机器学习算法。可以按照特定临床站点定制的次序向用户呈现候选处方。在一个实施例中，可以采用深度强化学习(DRL)算法来确定向用户呈现候选处方的次序。基于用户的行为，DRL算法可以被训练以学习用户的偏好，其可以用于动态地改变呈现候选处方的次序。
在一个实施例中，在特定临床站点处(例如，在工作站102或医学成像系统104处)部署多个机器学习算法。利用解剖标志的识别的不同定义来训练多个机器学习算法中的每一个。多个机器学习算法中的一个可以用于识别医学图像中的解剖标志(例如，在图2的步骤204处)。基于从用户接收的与所识别的解剖标志有关的反馈(例如，在图2的步骤206处)，可以自动选择多个机器学习算法中的一个。因此，代替在步骤210处再训练预训练的机器学习算法，所选择的机器学习算法被用作从步骤210得到的经再训练的机器学习模型。
图3示出了根据一个或多个实施例的用于使用经再训练的机器学习算法来识别医学图像中的解剖标志的方法300。方法300将参考图1的临床站点100来讨论。在一个实施例中，方法300的步骤可以由图1的工作站102或医学成像系统104执行。
在步骤302处，接收医学图像。医学图像可以用于在特定临床站点(例如，图1的临床站点100)处执行医学过程。医学图像可以是任何合适模态的。例如，医学图像可以是从定位器扫描的3D体积中提取的2D切片，该定位器扫描来自用于执行电影心脏MRI检查的MRI成像系统。
在步骤304处，使用经再训练的机器学习算法在医学图像中识别解剖标志。根据与特定临床站点相关联的本地偏好来训练经再训练的机器学习算法。基于从与特定临床站点相关联的用户接收的反馈，从预训练的机器学习算法再训练所述经再训练的机器学习算法。该反馈涉及使用预训练的机器学习算法识别的并且在用于执行另一医学过程的正常工作流程期间接收的另一解剖标志。在一个实施例中，经再训练的机器学习算法是从图2的步骤210得到的经再训练的机器学习算法。
在步骤306处，基于所识别的标志执行医学过程。
图4示出了根据一个或多个实施例的用于再训练预训练的机器学习算法以识别医学图像中的解剖标志的工作流程400。工作流400可在离线或训练阶段期间执行。一旦根据工作流程400被再训练，则可以在在线或推断阶段期间应用经再训练的机器学习算法。例如，根据工作流程400再训练的机器学习算法可以在图3的步骤304处应用。
在步骤402处，接收训练图像。在一个实施例中，训练图像包括在图2的步骤202接收处的医学图像、在步骤204处通过预训练的机器学习算法识别的解剖标志、以及在步骤206处接收的反馈。所识别的解剖标志和所接收的反馈被用作识别在所接收的医学图像中的解剖标志的基础事实。
在步骤404处，从医学图像中提取感兴趣的特征。
在步骤406处，再训练预训练的机器学习算法，以基于感兴趣的特征识别解剖标志。
本文描述的系统、装置和方法可以使用数字电路，或使用一个或多个计算机来实现，所述计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移除盘、磁光盘、光盘等。
本文描述的系统、装置和方法可以使用以客户端-服务器关系操作的计算机来实现。通常，在这样的系统中，客户端计算机位于远离服务器计算机，并经由网络交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。
本文描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这样的基于网络的云计算系统中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。例如，客户端计算机可以经由驻留在客户端计算机上并在其上操作的网络浏览器应用程序与服务器通信。客户端计算机可以在服务器上存储数据并经由网络访问数据。客户端计算机可以经由网络向服务器发送对于数据的请求或对于在线服务的请求。服务器可执行所请求的服务并向（一个或多个）客户端计算机提供数据。服务器还可以发送适于使客户端计算机执行指定功能(例如，执行计算、在屏幕上显示指定数据等)的数据。例如，服务器可以发送适于使客户端计算机执行本文描述的方法和工作流程的步骤或功能中的一个或多个的请求，包括图2-4的步骤或功能中的一个或多个。包括图2-4的步骤或功能中的一个或多个的本文描述的方法和工作流的某些步骤或功能可以由服务器或由基于网络的云计算系统中的另一处理器来执行。包括图2-4的步骤中的一个或多个的本文描述的方法和工作流程的某些步骤或功能可以由基于网络的云计算系统中的客户端计算机执行。包括图2-4的步骤中的一个或多个的本文描述的方法和工作流程的步骤或功能可以由基于网络的云计算系统中的服务器和/或客户端计算机以任何组合来执行。
本文描述的系统、装置和方法可以使用有形地体现在信息载体上的计算机程序产品来实现，例如在非暂时性机器可读存储设备上，以便由可编程处理器执行；并且包括图2-4的步骤或功能中的一个或多个的本文描述的方法和工作流程步骤可以使用可由这样的处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，其可以在计算机中直接或间接地使用以执行某个活动或带来某个结果。计算机程序可以以任何形式的编程语言编写，包括编译或解释语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适于在计算环境中使用的其他单元。
图5中描绘了可以用于实现本文所述的系统、装置和方法的示例计算机502的高级框图。计算机502包括可操作地耦合到数据存储设备512和存储器510的处理器504。处理器504通过执行定义计算机502的总体操作的计算机程序指令来控制这样的操作。计算机程序指令可以存储在数据存储设备512或其他计算机可读介质中，并且当期望执行计算机程序指令时被加载到存储器510中。因此，图2-4的方法和工作流程步骤或功能可以由存储在存储器510和/或数据存储设备512中的计算机程序指令来定义，并且由执行计算机程序指令的处理器504来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行图2-4的方法和工作流程步骤或功能。因此，通过执行计算机程序指令，处理器504执行图2-4的方法和工作流程步骤或功能。计算机504还可以包括用于经由网络与其它设备通信的一个或多个网络接口506。计算机502还可以包括一个或多个输入/输出设备508，所述设备使得能够实现与计算机502的用户交互(例如，显示器、键盘、鼠标、扬声器、按钮等)。
处理器504可以包括通用和专用微处理器两者，并且可以是计算机502的单独处理器或多个处理器之一。处理器504可以包括例如一个或多个中央处理单元(CPU)。处理器504、数据存储设备512和/或存储器510可以包括一个或多个专用集成电路(ASIC)、和/或一个或多个现场可编程门阵列(FPGA)，或者由其补充，或者并入其中。
数据存储设备512和存储器510各自包括有形非暂时性计算机可读存储介质。数据存储设备512和存储器510可以各自包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双数据速率同步动态随机存取存储器(DDR RAM)或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备，诸如内部硬盘和可移除盘、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、压缩盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘或其他非易失性固态存储设备。
输入/输出设备508可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备508可以包括用于向用户显示信息的显示设备，诸如阴极射线管(CRT)或液晶显示器(LCD)监视器、键盘和诸如鼠标或跟踪球的定点设备，用户可以通过该定点设备向计算机502提供输入。
可以使用诸如计算机502的一个或多个计算机来实现本文讨论的任何或所有系统和装置，包括图1的医学成像系统104和工作站102的元素。
本领域的技术人员将认识到，实际计算机或计算机系统的实现可具有其它结构，并且也可包含其它组件，并且图5是出于说明性目的的这种计算机的某些组件的高级表示。
前述详细描述应被理解为在每个相应方面是说明性的和示例性的，而不是限制性的，并且本文所公开的本发明的范围不应由该详细描述来确定，而是由根据专利法所允许的全部宽度来解释的权利要求来确定。应当理解，本文示出和描述的实施例仅说明本发明原理，并且在不脱离本发明范围和精神的情况下，本领域技术人员可以实现各种修改。本领域技术人员可以在不背离本发明范围和精神的情况下实现各种其它特征组合。