具体实施方式

参考以下描述和附图可以进一步理解示例性实施例，其中，相似的元件用相同的附图标记表示。示例性实施例涉及用于选择当前和先前超声心动图研究的相关视图的图像序列以供用户视觉比较的系统和方法。从每个相关视图中选择的图像序列在交互式比较面板中呈现给用户，使得用户可以从当前和先前的研究中进一步选择用户希望在视觉上进行比较哪些序列。系统确定的最可能被用户选择用于视觉比较的那些序列可以在交互式比较面板中呈现给用户。但是，用户可以选择任何可用序列以进行视觉比较。这些用户选择然后可以被存储并用于改善序列选择过程，使得仅将最相关和/或最可能被选择的序列呈现给交互式比较面板的后续用户。

如将在下面更详细地描述的，示例性实施例以多种方式改善了系统的操作。在第一示例中，对用户选择的存储以改善了序列选择过程，从而提高了向用户显示相关序列的速度，并减少了相关序列的搜索时间。在另一个示例中，如下面将更详细描述的，上下文和其他信息与序列一起被存储，从而可以更有效地存储和搜索序列，从而提高系统性能。

如图1中所示，根据本公开的示例性实施例，系统100选择当前和先前的超声心动图研究的图像序列以供用户(例如，心脏病专家)视觉比较，从而在比较指示的上下文中向用户呈现最相关视图的序列。比较指示可以包括正被比较的状况或解剖结构，例如左心室性能或二尖瓣回流。系统100包括处理器102、用户接口104、显示器106和存储器108。处理器102可以包括序列选择引擎110，序列比较引擎112和机器学习引擎114。交互式比较面板116被显示在显示器106上，所述交互式比较面板116示出了可用于被视觉比较的所述当前研究和所述先前研究中的图像序列。使用用户接口104，用户可以从交互式比较面板116中选择图像序列以进行视觉比较。

序列选择引擎110从当前研究接收一系列超声心动图图像序列，并从当前研究中选择序列选择引擎110认为最可能被用户选择用于视觉比较的一个或多个序列。然后，用户可以选择由序列选择引擎110选择的图像序列，或者从当前研究中选择不同的图像序列以进行视觉比较。序列比较引擎112然后从先前研究中选择与用户选择的(一个或多个)图像序列最接近地匹配的(一个或多个)图像序列。再次，用户可以选择由序列比较引擎112选择的(一个或多个)图像序列，或者选择不同的图像序列以与当前研究的用户选择的(一个或多个)图像序列进行视觉比较。所有这些用户系统交互以及上下文信息都存储到存储器108的交互数据库118中。可以经由机器学习引擎114使用存储在交互数据库中的信息来基于先前的用户选择来创建用于改善序列选择引擎110和/或序列比较引擎112的序列选择过程的模型。

本领域技术人员将理解，尽管示例性实施例将序列选择引擎110示出并描述了从当前研究中选择(一个或多个)图像序列，但是序列选择引擎110可以类似地从先研究中选择(一个或多个)图像序列，其中，序列比较引擎112从当前研究中选择与从先前研究中选择的图像序列最接近地匹配的(一个或多个)图像序列。本领域技术人员还将理解，可以从患者的病历访问所述当前研究和所述先前研究的图像序列，所述患者的病历可以被存储到存储器108中。

交互式比较面板116可以示出所述当前研究和所述先前研究的所有可用图像序列，指示来自所述当前研究和所述先前研究的图像序列中的哪些图像序列最有可能被用户选择用于视觉比较。特别地，在涉及交互式比较面板116的一个实施例中，最可能由用户选择用于视觉比较的图像序列可以基于由用户指示和/或选择的比较指示。例如，可以在显示器106上突出显示由序列选择引擎110和序列比较引擎112选择的图像序列。替代地，随着更多的用户-系统交互数据被存储到交互数据库118，使得序列选择引擎110和序列比较引擎112能够运行由机器学习引擎114创建的模型，以更好地根据当前研究和所述先前研究预测将由用户选择用于视觉比较的图像序列，所述交互式比较模型116可以仅显示最有可能由用户选择的那些图像序列。

本领域技术人员将理解，引擎110-114可以由处理器102实现为例如由处理器102执行的代码行，实现为由处理器102执行的固件，实现为作为专用集成电路(ASIC)的处理器102的功能，等等。

图2示出了示例性方法200，所述示例性方法200用于选择要由用户视觉比较的当前和先前的超声心动图研究的图像序列，并且在比较指示的上下文中向用户呈现最相关视图的序列。在210中，序列选择引擎110从当前和先前的超声心动图研究接收图像序列以及来自用户的结构比较指示。可以从患者医学记录(例如，图片存档及通信系统)中检索来自超声心动图检查的序列。结构比较指示可以由用户经由用户接口104输入，并且可以包括诸如“比较LV性能”或“比较二尖瓣反流”的指示。在220中，序列选择引擎110确定超声心动图研究的相关视图，所述相关视图示出在210中由用户输入的比较指示。序列选择引擎110可以确定例如PLAX，SLAX，AP2和AP4视图示出LV性能。可以通过例如查询表来确定示出比较指示的超声心动图视图。

在230中，序列选择引擎110选择当前超声心动图研究的相关视图的一幅或多个图像序列，所述一幅或多个图像序列最有可能被用户选择用于视觉比较。序列选择引擎110处理包括上下文信息的相关视图的序列，所述上下文信息包括例如序列的顺序(基于采集时间戳)和指示，以针对相关视图中的每个序列生成输出，所述表示所述序列被用户选择以进行视觉比较的可能性。输出可以是二无的“是”或“否”，或者是预定范围内(例如0-1)的数字，其中，高的数字表示被选择的可能性很高，而低数字表示被选择的可能性很低。序列选择引擎110可以运行一个或多个基于数学、统计或基于规则的预测模型。序列选择引擎110可以利用已知的和专有的图像特征库。例如，基于规则的技术可以执行高级推理，例如：

-如果该序列是同一视图中多个视图中的第一个序列，则将其分

配为输出0。

-如果该序列是序列中的最后一个，则应用预测模型X。

在另一个示例中，特别是在方法200的较早迭代期间，基于规则的技术默认情况下可以选择每个视图中的最后一个序列作为最可能由用户选择以可视比较，因为在许多情况下，对序列进行成像直到已获得最佳序列。在又一个示例中，预测模型可以考虑图像序列的顺序。例如，预测模型可以认为序列在五个序列的序列中的第四个序列。当前研究中的所选择的(一个或多个)图像序列在交互式比较面板116中被显示给用户。

在240中，处理器102接收用户输入，该用户输入选择用户想要查看以进行比较的当前超声心动图研究的相关视图的一个或多个序列。用户可以选择与230中由序列选择引擎110选择的图像序列不同的序列。用户可以经由用户接口104输入用户选择。

在250中，序列比较引擎112从先前的研究中选择与由用户在240中选择的序列非常匹配的一个或多个序列。序列比较引擎112将来自先前研究的相同相关视图的每个图像序列与当前研究中的用户选择的图像序列进行比较，并为先前研究中的相同相关视图的每个图像序列分配得分(例如0-1之间)以标记其相似性。在一个示例性实施例中，序列比较引擎112可以对要比较的序列的帧执行差异操作，并在遍及所有帧产生加权的差异得分。在另一个示例性实施例中，序列比较引擎112可以在采集帧的差异之前首先配准序列的心跳，潜在地利用与专用DICOM字段中的序列图像数据一起记录的ECG信号。在又一示例性实施例中，序列比较引擎112可以在采集帧的差异之前首先降低分辨率。一旦确定了与用户选择的序列匹配的先前研究的图像序列，就经由交互式比较面板116将匹配的图像序列显示给用户。

在260中，处理器102接收用户输入，所述用户输入选择要在视觉上与240中当前研究的用户选择的序列进行视觉比较的先前研究的序列。可以经由用户接口104进行用户选择。如将在下面进一步详细描述的，在从先前研究中选择图像序列之后，用户可以提供进一步的输入，所述输入指示期望查看在240中的当前研究中的选择的图像序列以及以260中的先前的研究中选择的图像序列，并排地进行视觉比较。

尽管230和240描述了从当前研究中选择图像序列，并且250和260描述了从先前研究中选择图像序列，但是本领域技术人员将理解，序列选择器引擎110可以类似地从先前研究中选择图像序列使得序列比较引擎112从当前研究中选择匹配的图像序列。本领域技术人员还将理解的是，如果需要的话，可以根据需要重复230-260以从所述当前研究和所述先前研究中为每个不同的相关视图选择图像序列。

在270，从交互比较面板116接收所有用户-系统交互并将其存储到交互数据库118。例如，可以将由序列选择器引擎110和序列比较引擎112选择的序列、用户选择的序列以及任何上下文信息(例如，序列顺序、结构比较指示)存储到交互数据库118。尽管用户系统交互被示出并描述为在270中被存储，但是本领域技术人员将理解，用户-系统交互以及序列的任何上下文信息可以在他们发生时被存储到交互数据库118中。特别地，当从交互比较面板接收信息时，交互可以被存储到交互数据库118。

在280中，机器学习引擎114访问交互数据库118以创建机器学习、基于统计和/或基于规则的模型以包括在序列选择引擎110和序列比较引擎112中。为了创建用于序列选择模型的模型，例如，机器学习引擎114，可以使用诸如图像序列的系列，被选择的一个或多个序列(真实情况)，序列的顺序以及比较指示的信息。为了为序列比较引擎112创建模型，机器学习引擎114可以使用诸如被比较的两个序列系列(图像数据)，第一序列的系列中的一个或多个选择的序列(真实情况)，两个序列的顺序以及比较指示。

可以使用诸如卷积神经网络，随机森林，支持向量机，逻辑回归等技术，利用已知或新的图像处理特征库，针对序列选择器引擎110和序列比较引擎112中的每个创建模型，旨在最大化从其他序列中预测真实情况序列的性能。根据另一示例性实施例，模型创建引擎还可以利用视图检测引擎，所述视图检测引擎确定序列的视图(例如，PLAX，SLAX，AP2，AP3，AP4)，即探头相对位置对心脏。可以根据预定时间表来调用机器学习引擎114，或者替代地，经由系统管理员来手动调用机器学习引擎。例如，可以每晚或每月调用机器学习引擎114以改善序列选择引擎110和序列比较引擎112的模型。在另一个实施例中，可以使用一组固定的带注释的实例来跟踪新创建的实例的性能，以确定新模型的性能是否优于当前使用的模型。如果确定性能优异，则可以将当前使用的模型替换为新创建的模型。

图3-5示出了根据系统100和方法200的示例性交互式比较面板。如图3中所示，交互式比较面板116根据在210中由序列选择器引擎110接收到的结构比较指示，在当前超声心动图检查和先前超声心动图检查的每个相关视图中示出了序列。例如，对于其中220中相关视图被确定为PLAX，SLAX，AP2和AP4视图的LV性能指示，交互式比较面板116在每个相关视图中显示来自所述当前研究和所述先前研究的序列，禁用被认为不相关的其他视图。然而，如果需要的话，交互式比较面板116允许用户容易地启用其他视图。同样，如果需要，交互式比较面板允许轻松禁用已启用的视图。

图3的交互式比较面板116在所述当前研究和所述先前研究的每个相关视图中示出了所有可用序列，由序列选择器引擎110在230中选择的当前研究中的序列在显示器106上突出显示。突出显示向用户指示哪个序列被确定为最可能被用户选择用于视觉比较。尽管示例性实施例将所选序列显示为突出显示，但是本领域技术人员将理解，交互式比较面板116可以使用其他方法来指示对序列选择器引擎110的选择。另外，尽管图3仅示出了由序列选择器引擎110选择的当前研究的序列，但是交互式比较面板116也可以被标记为突出显示来自先前研究或所述当前研究和所述先前研究两者的序列选择。

尽管图3的交互式比较面板116示出了每个相关视图的所有可用序列，但是在另一个实施例中，交互式比较模型116可以仅示出由序列选择器引擎110选择为最可能在230中由用户选择进行视觉比较的那些序列。在该实施例中，不需要交互式比较面板116突出显示(或提供选择的任何其他指示)任何序列，因为仅示出了已被选择的那些序列。替代地，交互式比较模型可以示出产生高于预定阈值的输出的任何序列，突出显示具有最高生成的输出的序列。

如上所述，用户可以选择由序列选择器引擎110选择的序列，或者替代地，选择来选择不同的序列。在图4所示的示例中，用户在相关视图之一(例如，PLAX)中选择突出显示的当前研究的序列(即，由序列选择器引擎110选择)。选择序列使先前研究的同一视图中的序列突出显示。该突出显示的序列将序列比较引擎112确定的序列显示为与2650中用户选择的序列最匹配。如图5所示，用户然后可以从先前的研究中选择用户想要在视觉上与当前研究的用户选择的序列进行比较的序列。在选择了用户想要比较的两个序列之后，用户可以按下例如交互式比较面板的比较按钮以生成两个所选序列的并排视觉比较。

本领域技术人员将理解，可以以多种方式来实现上述示例性实施例，包括作为单独的软件模块，作为硬件和软件的组合等。例如，序列选择引擎110，序列比较引擎112和机器学习引擎114是包含代码行的程序，这些代码行在编译时可以在处理器102上执行。

对于本领域技术人员将显而易见的是，在不脱离本公开的精神或范围的情况下，可以对所公开的示例性实施例、方法和替代方案进行各种修改。因此，本公开旨在覆盖落入所附权利要求及其等价方案的范围内的修改和变型。