阅读说明：本技术 用于医学图像的图像分析的方法和系统 (Method and system for image analysis of medical images ) 是由 B·查克拉巴蒂 P·拉古塔姆文卡特 R·巴特 于 2018-06-21 设计创作，主要内容包括：本发明涉及用于医学图像的图像分析的方法和系统。所述方法包括接收医学图像、所述医学图像的第一注释和第一ROI信息,并且接收所述医学图像的第二注释、第二ROI信息和查看数据,已经基于所述查看数据做出所述第二注释。随后,所述方法包括通过比较所述第二ROI与所述第一ROI信息并且通过检查所述查看数据来检查所述第二注释的质量。(The invention relates to a method and a system for image analysis of medical images. The method includes receiving a medical image, a first annotation and first ROI information of the medical image, and receiving a second annotation, second ROI information and viewing data of the medical image, the second annotation having been made based on the viewing data. Subsequently, the method includes checking the quality of the second annotation by comparing the second ROI with the first ROI information and by checking the viewing data.)

用于医学图像的图像分析的方法和系统

技术领域

本发明涉及用于医学图像的图像分析的方法和系统、用于提供医学图像的注释的计算机程序以及方法和设备。

背景技术

在现代医学中，医学成像已经经历重大改进。它是用来收集身体的内部的视觉表示用于临床分析和医学介入的无创技术。医学成像还被用来收集关于器官和组织的功能的视觉表示。它设法揭示被皮肤和骨头遮挡的内部结构，以及诊断和处置疾病。

医学成像涉及常规图像以及涉及移动的图像(即视频)两者，涉及二维图像，而且还涉及三维图像。医学成像技术包括例如X射线成像(尤其是计算机断层摄影成像)、超声成像和磁共振成像。

在临床背景下，医学成像一般相当于放射学，并且负责采集并解读图像的医生是放射科医生。

可靠的成像对于放射科医生的决策具有最高的重要性，并且能够减少不必要的流程。总的来说，如果诸如X射线成像的诊断成像服务可用的话，外科手术介入例如可以被避免。

然而，适当的决策以高质量医学图像为前提。虽然所述图像本身可以具有高质量，但是仍然可能存在放射科医生或其他医学专业人员不能访问充分显示的问题。这种情况可以例如发生在远程发射学或代理服务设置中，其中多个读者试图使用移动设备或平板电脑等上的它们的相应显示来彼此独立地解读特定医学图像。相同的情况适于移动中的忙碌的放射科医生，其查阅他/她的智能手机得到图像以便提供关于医学诊断的第二意见。

在这些情况下，可能不再确保医学诊断的应有注意。因此，可能引起医学疏忽并且在最坏的情况下错误的处置。此外，紧迫的医学处置可能必须被延迟。

发明内容

本发明的目标是提供用于医学图像的图像分析的方法和系统，其确保对应医学诊断的严格评估。

本发明的又一目的是提供一种用于提供医学图像的注释的方法和设备。

在本发明的第一方面中，提出了一种用于医学图像的图像分析的方法，所述方法包括：

-接收医学图像、所述医学图像的第一注释和第一感兴趣区域ROI信息，所述第一感兴趣区域ROI信息指示所述医学图像内的第一ROI，

-接收所述医学图像的第二注释、第二ROI信息和查看数据，所述第二ROI信息指示所述医学图像内的第二ROI，所述查看数据包括显示数据和/或查看时间，已经在显示器上与所述显示数据和/或查看时间一起显示所述第二ROI，并且已经基于所述显示数据和/或查看时间做出所述第二注释，以及

-通过比较所述第二ROI信息与所述第一ROI信息并且通过检查所述查看数据来检查所述第二注释的质量。

在本发明的又一方面中，提出了一种用于医学图像的图像分析的系统，所述系统包括：

-第一输入单元，其被配置为接收医学图像、所述医学图像的第一注释和第一感兴趣区域ROI信息，所述第一感兴趣区域ROI信息指示所述医学图像内的第一ROI，

-第二输入单元，其被配置为接收所述医学图像的第二注释、第二ROI信息和查看数据，所述第二ROI信息指示所述医学图像内的第二ROI，所述查看数据包括显示数据和/或查看时间，已经在显示器上与所述显示数据和/或查看时间一起显示所述第二ROI，并且已经基于所述显示数据和/或查看时间做出所述第二注释，以及

-质量检查单元，其被配置为通过比较所述第二ROI信息与所述第一ROI信息来检查所述第二注释的质量，并且检查所述查看数据。

在本发明的又一方面中，提供了一种包括程序代码单元的计算机程序，当所述计算机程序在计算机上执行时，程序代码单元执行所述用于图像分析的所述方法的步骤，以及非瞬态计算机可读记录介质，所述非瞬态计算机可读记录介质在其中存储计算机程序产品，所述计算机程序产品当被处理器执行时使本文中公开的方法被执行。

在从属权利要求中限定了本发明的优选实施例。应当理解，要求保护的用于图像分析的系统以及计算机程序和介质具有与要求保护的方法(具体地与在从属权利要求中限定的和与在本文中公开的)类似和/或相同的优选实施例。应当进一步理解，要求保护的用于提供医学图像的注释的设备具有与要求保护的方法类似和/或相同的优选实施例。

本发明基于以下构思，基于对医学图像的分析来确保对医学诊断的严格评估。

在医学图像的分析期间，读者不总是能访问充分的显示。在这种情况下，医学专业人员通常被迫使其医学诊断仅仅基于较差地显示的图像，例如仅以低分辨率和/或在小屏幕上显示的图像。

这种问题尤其是在远程放射学或代理服务设置中和当需要关于诊断的第二意见时(即，在临床诊断或处置已经很困难的情况下)出现。因此，错误诊断或甚至错误处置和处置延迟的风险被极大地增加。

根据本发明的用于图像分析的方法可以解决这些问题。具体地，所述方法确保基于显示器上的医学图像的分析的放射科医生的诊断已经被仔细地且正确地评价。例如在病变已经被之前读者检测到的情况，有必要将正确的图像区域ROI带到当前读者的显示设备的视窗中。只有这样，之前读者的注释才能够被正确地理解。此外，为了满意的检查，医学图像可以需要根据从之前读者传输的查看数据来显示。否则，检测病变或其他医学异常的可能性至多是次佳的。

通过引入其中第二读者的诊断的质量被检查的用于医学图像的图像分析的方法，错误诊断能够被降至最低程度，并且错误处置或处置延迟能够被避免。

在用于图像分析的所述方法的一个实施例中，检查所述查看数据包括检查所述查看数据是否满足查看数据要求。为了检查读者的诊断的质量，不仅必须检查他/她是否已经选择如由之前或并行读者找到的ROI，而且检查他/她的查看数据是否满足查看数据要求。所述要求通常由之前或并行读者指定。然而，查看数据要求也可以由分析图像的计算机程序自动确定。

在用于图像分析的所述方法的另一实施例中，所述查看数据可以还包括缩放水平和/或平移水平。在又一实施例中，所述显示数据可以还包括所述屏幕中和/或所述第二ROI中的分辨率和/或显示尺寸和/或像素的数量。即，精确地监测放射科医生如何将医学图像显示在他/她的显示设备上。此外，所使用的显示器的种类被分析。例如可以记录，对于显示的第一个5秒，仅观察图像的上半部，并且所使用的显示器具有13英寸的对角线和1280x800分辨率以及覆盖1000个像素的ROI。

在用于图像分析的所述方法的一个实施例中，查看数据要求包括查看时间阈值和/或缩放水平阈值和/或平移水平阈值和/或分辨率阈值和/或像素数量阈值和/或显示尺寸阈值。仅肤浅地观察图像的放射科医生确认可靠的诊断是不太可能的。因此，必须确保放射科医生观察医学图像达足够的时间量。针对复杂病变的时间阈值可以高于针对简单病变的时间阈值。诸如小块癌症组织的小异常的位置可能是仅在某些缩放水平下可检测且可评价的。为了避免忽略此类区域，遵从某一缩放阈值是重要的。对于二维以及三维图像，可能需要最小平移。否则，ROI可能不被适当地显示。例如，心脏的功能障碍不能从心脏被肋骨覆盖的视角来诊断。同样地，视网膜疾病仅可以从某一视角发现。此外，可能存在根本不能观察图像使得病变或疾病可以被适当地诊断的显示。如果得到的分辨率太低以致于不能以足够的质量观察ROI，所有缩放例如都不会有帮助。如果显示的像素的数量太低或显示尺寸太小，相同的内容适用。

在又一实施例中，用于图像分析的所述方法的所述ROI信息包括指示ROI的位置和/或尺寸的位置信息和/或尺寸信息。存在各种形式的ROI信息。ROI信息可以例如通过医学图像中的标记(例如被认为骨折周围的红色圆圈)来直接给出。ROI信息也可以以坐标的形式被给出。ROI信息包括关于患者的损伤或疾病的重要信息。首先，患者的痛苦源于的区域的位置和尺寸为医生提供不可或缺的信息。

在用于图像分析的所述方法的另一实施例中，所述第一注释由一个或多个用户提供和/或由自动化图像分析生成。它们可以被事先或与另一读者的第二注释并行地提供。

在又一实施例中，用于医学图像的图像分析的所述方法还包括发出质量检查的结果，和/或根据所述质量检查来调整所述图像。第一和第二ROI是否匹配和查看数据是否满足特定要求对于患者的随后处置是关键的。为了保证检查时完全通过的，质量检查的结果可以被发送给读者。例如，结果可以被显示在显示器上或经由音频消息被发送。在有缺陷的情况下，读者可以调整图像或甚至切换到另一显示器。然而，所需的调整也可以通过自动化来支持或甚至被完全自动执行。

在又一实施例中，用于医学图像的图像分析的所述方法还包括接收所述医学图像的另外的注释、另外的ROI信息和另外的查看数据，所述另外的ROI信息指示所述医学图像内的一个或多个另外的ROI，所述另外的查看数据包括显示数据和/或查看时间，已经在显示器上与所述显示数据和/或查看时间一起显示所述另外的ROI，并且已经基于所述显示数据和/或查看时间做出所述另外的注释，以及通过比较所述另外的ROI信息与所述第一和/或第二ROI信息并且通过检查所述另外的查看数据来检查所述另外的注释的质量。在评价医学图像中，可能必须涉及可能位于全世界的较大组的医学专业人员。每个医生然后将会确定相应的ROI并且做出相应的注释。为了然后判断哪个诊断是正确的，所有ROI都需要被比较，并且相应的查看数据需要被相应地检查。例如，被显示的所有图像部分的位置都将会被记录，并且彼此进行比较。此外，对应于每个视口视图的时间可以被记录并且对照预定的时间阈值进行匹配。

在所述图像分析方法的一实施例中，所述第一注释和所述第一ROI信息是基于已经在高分辨率显示器上查看所述医学图像，并且其中所述第二ROI已经被显示在低分辨率显示器上。即，第二注释是基于以低分辨率显示的医学图像。由于处置决定可以是仅仅基于这些第二注释，第二注释的质量检查是特别重要的。

在用于医学图像的图像分析的系统的一实施例中，所述系统还包括：输出单元，所述输出单元被配置为发出质量检查的结果，和/或调整单元，其被配置为根据所述质量检查来调整所述图像。所述输出单元可以被包括在显示中，使得质量检查的结果可以被直接显示在图像上。同样地，输出单元可以被配置为经由音频信号或消息发出结果。所述调整单元可以被配置为调整被观察的图像的部分。除了滚动或旋转之外，所述调整单元还可以被配置为改变缩放水平。为了显示三维图像，所述调整单元也可以具有平移功能。

在所述系统的另一实施例中，所述第二输入单元还被配置为接收所述医学图像的另外的注释、另外的ROI信息和另外的查看数据，所述另外的ROI信息指示所述医学图像内的一个或多个另外的ROI，所述另外的查看数据包括显示数据和/或查看时间，已经在显示器上与所述显示数据和/或查看时间一起显示所述另外的ROI，并且已经基于所述显示数据和/或查看时间做出所述另外的注释，并且通过比较所述另外的ROI信息与所述第一和/或第二ROI信息来检查所述另外的注释的质量，并且检查所述另外的查看数据。所述系统可以是远程放射学系统或代理服务系统，其中三个或更多个放射科医生或其他医生利用其相应的显示设备评价医学图像。

在又一方面中，提出了一种用于记录与医学图像相关的图像相关的信息的方法，所述方法包括：

-接收所述医学图像，

-在显示器上显示所述医学图像，

-记录针对所述医学图像做出的注释，

-检测并记录感兴趣区域ROI信息，所述感兴趣区域ROI信息指示所述医学图像内的ROI，与所述感兴趣区域ROI信息一起显示所述医学图像，并且基于所述感兴趣区域ROI信息做出所述注释，以及

-检测并记录查看数据，所述查看数据包括查看时间，与所述查看数据一起显示所述ROI，并且基于所述查看数据做出所述注释。

在又一方面中，提出了一种用于记录与医学图像相关的图像相关的信息的设备，所述设备包括：

-接收器，其被配置为接收所述医学图像，

-显示器，其被配置为显示所述医学图像，以及

-检测和记录单元，其被配置为：

-记录针对所述医学图像做出的注释，

-检测并记录感兴趣区域ROI信息，所述感兴趣区域ROI信息指示所述医学图像内的ROI，与所述感兴趣区域ROI信息一起显示所述医学图像，并且基于所述感兴趣区域ROI信息做出所述注释，以及

-检测并记录查看数据，所述查看数据包括查看时间，与所述查看数据一起显示所述ROI，并且基于所述查看数据做出所述注释。

借助于用于记录图像相关的信息的方法和设备，观看医学图像的用户的查看模式能够被监测。除了ROI信息之外，显示数据和查看时间数据缩放水平和/或平移水平数据也可以被记录。所做出的注释然后可以鉴于所监测的观察模式被评估。所述设备可以具体地用作用于医学图像的图像分析的系统的第二输入单元。

附图说明

本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例得以阐述。在以下附图中：

图1示出了根据本发明的用于医学图像的图像分析的方法的第一实施例的流程图，

图2示出了根据本发明的用于医学图像的图像分析的方法的第二实施例的流程图，

图3示出了根据本发明的用于医学图像的图像分析的系统的第一实施例的示意图，

图4示出了根据本发明的用于医学图像的图像分析的系统的第二实施例的示意图，

图5A、5B和5C示出了如在不同显示器上在不同缩放水平下观察的医学图像，

图6A、6B和6C示出了具有用于适当显示的缩放引导的医学图像，并且

图7示出了用于记录与医学图像相关的图像相关的信息的设备的实施例的示意图。

具体实施方式

图1示出了根据本发明的用于医学图像的图像分析的方法的第一实施例的流程图。假设医学图像100，第一读者1做出医学图像100的第一注释11并且记录第一ROI信息12。例如，第一注释11可以表示初步诊断、患者信息或时间和数据信息。所述医学图像100也被发送给的第二读者2做出医学图像1的第二注释21并且记录第二ROI信息22。此外，查看数据23被第二读者2创建。在该实施例中，查看数据23包括缩放水平数据231、平移水平数据232和显示分辨率数据233。来自第一读者1和第二读者2的数据然后用于第二注释21的质量检查4，其中，第二ROI信息22与第一ROI信息12进行比较。如果两个ROI的信息不匹配，质量检查4将不会通过。此外，控制查看数据23是否满足预定的查看数据要求40，即预定的查看数据阈值。在该实施例中，查看数据要求40包括缩放水平要求41、平移水平要求42和显示分辨率要求43。

图2示出了根据本发明的用于医学图像的图像分析的方法的第二实施例的流程图。假设二维医学图像100，第一读者1做出对医学图像100的第一注释11并且记录第一ROI信息12。考虑到远程放射学设置，第二读者2同时做出对医学图像100的第二注释21。除此之外，第二读者2也记录第二ROI信息22和第二查看数据23，其中第二查看数据23包括第二查看时间数据234、第二数量的像素数据235和对应于他/她的显示器的第二显示尺寸数据236。在该实施例中，也作为设置的一部分的第三读者3记录第三注释31、第三ROI信息32和第三查看数据33，第三查看数据33包括第三查看时间数据334、第三数量的像素数据335和对应于第三读者的显示器的第三显示尺寸数据336。来自第一读者1、第二读者2和第三读者3的数据随后用于第三注释31和第二注释21的质量检查4，其中，将第三ROI信息32与第二ROI信息22和第一ROI信息12进行比较。还检查查看数据23和33是否满足预定的查看数据要求40和/或数据23和33是否匹配。具体地，所述查看数据要求40包括查看时间阈值44。例如，可能需要放射科医生观察医学图像至少五分钟。在该实施例中，查看数据要求40还包括像素数量阈值45和显示尺寸阈值46。实际上，像素数量阈值45和显示尺寸阈值46可以被组合为显示分辨率阈值。质量检查4的结果然后被发送给所有读者1、2和3，使得他们能够在质量检查4还未通过的情况下调整其视窗。

图3示出了根据本发明的用于医学图像的图像分析的系统5的第一实施例的示意图。系统5包括第一输入单元6、第二输入单元7和质量检查单元8。在该实施例中，质量检查单元8为第一输入单元6并且为第二输入单元7提供医学图像100。第一输入单元6然后使用自动化图像处理在医学图像上做出第一注释61。这些注释和第一ROI信息62然后被发送给质量检查单元8，在该实施例中这些注释和第一ROI信息62也被自动收集。质量检查单元8存储这些数据，并且将它们传递到第二输入单元7上。放射科医生然后可以使用第二输入单元7来得到他自己的想法，并且评价第一输入单元的图像分析。为了这样，他/她接收来自质量检查单元8的图像100、第一注释61和第一ROI信息62。在研究了图像、第一注释61和第一ROI信息62之后，放射科医生指出他/她认为哪个病变以及所怀疑的病变的尺寸和位置。即，放射科医生将第二注释71和第二ROI信息72键入第二输入单元7中。第二输入单元7也记录放射科医生的查看数据73。这些数据以及第二注释71和第二ROI信息72然后被发送回到质量检查单元8，质量检查单元8对第二注释71执行质量检查。如果第二注释71被认为是基于有缺陷的复查，则可能需要第三输入单元。

图4示出了根据本发明的用于医学图像的图像分析的系统5的第二实施例的示意图。系统5包括第一输入单元6、第二输入单元7、质量检查单元8、输出单元9和调整单元10。在该实施例中，第二输入单元7、质量检查单元8、输出单元9和调整单元10被包括在单个设备内，其中所述设备是智能手机。第二输入单元7接收来自第一输入单元6的医学图像加上相关的数据，并且将该图像发送给输出单元9，即智能手机的显示器。同时，第二输入单元7收集第二注释、第二ROI信息和查看数据，并且将这些发送给质量检查单元8，质量检查单元8随后使用来自第一输入单元6的数据检查第二注释的质量。该质量检查4的结果然后借助于显示器9被直接显示给用户。根据所显示的信息，即根据质量检查4，用户然后可以通过使用调整单元10来调整医学图像。在调整之后，质量检查单元8根据预定的要求控制图像是否现在被显示。这些预定的要求可以源于质量检查单元8本身，而且也可以由第一输入单元6来提供。在调整之后检查的结果也可以在显示器9上被呈现给用户。

图5A、5B和5C示出了如在不同显示器上在不同缩放水平下观察的医学图像。具体地，该图示出了包括临床异常的人类胸部。虽然图5A示出了如在具有大约25英寸的屏幕对角线的第一设备上观察的图像，但是用来显示图5B和5C的移动设备具有大约8英寸的显示器对角线。即，如在图5A中观察的异常可以被容易地识别，而如在图5B中示出的更小视窗太小以致于不能识别任何异常。因此，接收如在图5B中描绘的图像的放射科医生不能得到合格的意见。然而，如果缩放水平如在图5C中示出地那样被相应地调整，所述小显示尺寸就足够了。即，如果放射科医生在8英寸显示器上观察胸部图像，如果缩放水平是适当的，则他/她可以仅访问异常。为了确保放射科医生使用足够的缩放水平，所使用的缩放水平可以被移动设备记录并且被发送给质量检查单元。

图6A、6B和6C示出了具有用于适当显示的缩放引导的医学图像。具体地，示出了具有***病的人类胸部。图6A示出了不适于诊断的形式的医学图像。然而，如果ROI信息连同根据本发明的图像一起被提供，则可以做出适当的诊断。图6B描绘了所述ROI信息可以如何被传输，即通过在图像中的异常周围进行标记。该标记表示用于缩放的引导。使用ROI标记来找到适当的缩放水平，***病可以以最佳方式被显示。在图6C中描绘了对应的图像。

图7示出了用于记录与医学图像100相关的图像相关的信息的设备70的实施例的示意图。设备70包括接收器75、显示器76以及检测和记录单元77。在图像100被接收器75接收之后，显示器76显示图像100。在图像100的基础上，放射科医生随后做出注释。这些通过检测和记录单元77来记录。检测和记录单元77此外检查可能的感兴趣区域，并且记录诸如坐标和尺寸的相关信息。除此之外，监测放射科医生的查看数据。例如，记录已经在显示器76上观察到图像的哪个区域有多长并且在什么缩放水平下。具体地，所述设备可以表示根据本发明的系统5的第二输入单元7。

尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示范性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施是在互不相同的从属权利要求中记载的，但是这并不指示不能有利地使用这些措施的组合。

计算机程序可以被存储/分布在合适的非瞬态介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的电信系统。

权利要求中的任何附图标记都不应被解释为对范围的限制。