具体实施方式

出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的训练神经网络的方法、神经网络、成像方法、存储介质、医学图像处理设备以及医学检测设备，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本专利申请的真实精神和范围。

根据本发明的一方面，提供一种训练神经网络的方法。图1示出了根据本发明的一个实施例的训练神经网络的方法，如图所示，该方法包括如下步骤：在步骤102中采集关于受检对象的基准医学图像以作为Ground Truth数据集；在步骤104中获取关于受检对象的2D投影图像；在步骤106中根据2D投影图像形成所述神经网络的输入；以及在步骤108中将其作为神经网络的输入输入到神经网络中，并以Ground Truth数据集作为目标来训练神经网络。

在该方法的步骤102中，采集关于受检对象的基准医学图像以作为Ground Truth数据集。此处的受检对象可以为TOMO检查所适用的任何对象，可以为肌肉、血管，也可以为骨骼、关节等，还可以为其他非有机体。本发明的一些示例不限制受检对象的类型，选取受检对象的标准之一在于是否能够有效地或者在一定程度上有效地训练神经网络。另一方面，经过训练的神经网络最终可能是用于诸如人体组织的，因而选取与最终作用对象相关联的对象可能是更好的，此处的“关联”是指它们在成像中具有相同或者相近的性质。

本发明的一些示例中所描述的基准医学图像是指可以作为标准来参考的医学图像，这些图像可以是经过专业人士评估的，也可以是采用相较于TOMO成像在经验上更优秀的成像手段所获取的。以成像效果更佳的数据作为Ground Truth数据集来训练神经网络可以提升TOMO成像的质量。在一些示例中，基准医学图像来源于同一种形成方式，在其他一些示例中，基准医学图像也可能来源于多种形成方式。若采用同源的基准医学图像，GroundTruth数据集的规模可能较小，因而对训练神经网络的软硬件等物理要求也会降低，这对实时训练神经网络并实时应用训练好的神经网络是有益的。而采用多源的基准医学图像可以根据不同来源的性质来训练神经网络，因而在一些情况下可以预期更好的训练效果。

在该方法的步骤104中，获取关于受检对象的2D投影图像。获取2D投影图像（projection image）是TOMO成像的关键步骤，该方法的步骤104可以仿照现有的TOMO成像步骤中的获取2D投影图像的方法展开。所获取到的2D投影图像一般表现为有限角度正弦图（limited-angel sinogram），所获取的2D投影图像与TOMO成像设备的可扫描角度相关联。

在该方法的步骤106中，根据2D投影图像形成神经网络的输入。本发明在此不限制产生的输入数据的形态，以其能够参与神经网络训练即可，并且经训练的神经网络可以用于后续图像出。在一些示例中，参与训练的输入数据类型是与神经网络在实际运用中的输入数据类型是对应的，或者说是属于同种类的，以下不再赘述。例如，在本发明的一个示例中，可以将2D投影图像作为神经网络的输入。在本发明的另一些示例中，可以基于所述2D投影图像进行重建以获得3D TOMO图像，并且将3D TOMO 图像和/或2D投影图像作为神经网络的输入。获得3D TOMO图像也是TOMO成像的重要步骤，根据以上示例，该方法的步骤106可以仿照现有的TOMO成像步骤中的获得3D TOMO图像的方法展开。此时获得的3D TOMO图像在现有方法中是最终成品，这些图像具有在背景技术中所描述的缺陷。在本发明的方法中此处的3D TOMO图像是作为中间素材存在的，并且将用于神经网络的训练。

在该方法的步骤108中，将上文产生的输入数据（例如，2D投影图像或者3D TOMO图像，以下不再赘述）作为神经网络的输入，并以Ground Truth数据集作为目标来训练神经网络。在此，我们为神经网络选定了输入数据和目标输出数据，神经网络的训练可以按照现有的手段开展。本发明在此也不限制神经网络的组织形式，本领域技术人员在阅读本发明后可以根据实际需要配置神经网络的形式。在训练数据合理且神经网络形式合理的情况下，经过本发明的方法所训练的神经网络将具有较好的泛化能力。

根据本发明的一些实施例，基准医学图像包括CT重建图像、CBCT重建图像、MR重建图像、受检对象的解剖图像中的一种或者多种。CT重建图像、CBCT重建图像以及MR重建图像一般而言相对于TOMO成像都具有更好的质量，因而这些重建图像可以作为训练神经网络的标准。若受检对象是可层切的，亦可对此受检对象层切（例如，以微米或毫米为单位），再对层切的各层分别成像并据此拟合（例如通过插值算法等）为解剖图像。本发明中的解剖图像与CT重建图像、CBCT重建图像、MR重建图像以及TOMO重建图像一样，其具有3D可视性，并且可以再次层析，此处的“层析”的“层”不一定与上文中的“层切”的“层”一一对应。解剖图像由于是直接层切成像而成的，因而可能会更准确地反映对象的结构。

根据本发明的一些实施例，受检对象为生物组织。以生物组织作为对象参与神经网络训练更好地考虑了神经网络的适用场合，因而所生成的网络将具有较好的泛化能力。此处的生物组织是指自然生长形成的组织。例如，可以使用人体组织作为受检对象。更具体地，可以例如使用胸部组织作为受检对象。值得一提的是，若作为受检对象的组织为主体的组成部分，作为受检对象的组织并不一定需要脱离主体参与神经网络训练。

根据本发明的一些实施例，受检对象为预制仿生组织。由于实际组织上存在个体差异，有时候也可以预制一个标准的组织来体现个体的共性。例如，预制的胸腔组织可以体现人种差异、族群差异、年龄差异（比如可以为亚洲裔预制体态合适的仿生胸腔组织），这样训练处理的神经网络可能更有针对性。在一些示例中，还可以根据肿瘤在胸腔组织中大概率出现的位置来预制仿生组织，例如，可以在仿生胸腔组织中的此类位置“放置”仿生肿瘤或者“放置”实际切除出的肿瘤。仿生组织的材料可以使用在TOMO成像中与人体组织类似的材料，例如，仿生组织的材料的X射线透过性可以与人体组织类似。另一方面，预制的仿生组织的形态是预先确定的，因而可以直接生成基准医学图像，而无需借助外部手段。例如，若预制仿生组织是通过3D打印制作的，可以根据工程图直接生成基准医学图像。

根据本发明的一些实施例，获取关于受检对象的2D投影图像的步骤包括：采用前向投影算法（forward projection algorithm）获取2D投影图像。以此方式，可以获得增强的2D图像。

根据本发明的一些实施例，获得3D TOMO图像的步骤包括：通过解析重建算法（例如，FDK算法）或者迭代重建算法（例如，SART算法）重建以获得3D TOMO图像。FDK算法是一种常见的3D重建算法，其将锥束射线视为沿Z轴（垂直于检测器）方向不同倾斜角度的扇束射线堆积而成，中心平面上的数据重建属于扇束扫描精确重建，对于非中心平面的重建，通过对扇束重建公式进行修正，得到近似的重建公式。此外，SART算法基于ART算法，与ART算法不同的是SART算法并不是一种根据每条射线更新的算法，而是根据每个投影角度下的所有射线同时更新的算法。

根据本发明的一些实施例，神经网络为U-net或双域网络（例如，DuDoNet）。U-net的有以下优点：支持少量的数据训练模型、分割准确率高、速度快。U-net的整个网络有19次卷积操作、4次池化操作、4次上采样操作、4次裁剪和复制操作，它的产生促进了医学图像分割的研究。DuDoNet也是不久前提出的可以用于处理医学图像的网络，其具有较好的去伪影效果。

根据本发明的另一方面，提供一种神经网络，神经网络通过如上文的任意一种训练神经网络的方法进行训练。经由以上训练方法训练的神经网络可以用于处理医学图像，更具体地，此处的神经网络可以为诸如上文提及的U-net或双域网络。

根据本发明的另一方面，提供一种TOMO成像方法，如图2所示，该方法包括如下步骤：在步骤202中利用如上文的任意一种训练神经网络的方法训练神经网络；在步骤204中获取关于受检对象的2D投影图像；在步骤206中根据2D投影图像形成神经网络的输入；在步骤208中将以上产生的输入数据输入到神经网络；以及在步骤210中将神经网络的输出作为关于受检对象的3D TOMO图像。在本发明的一些示例中，在步骤206中根据2D投影图像形成神经网络的输入即为2D投影图像本身，并且在步骤208中将其输入到神经网络。在本发明的另一些示例中，在步骤206中可以进一步基于2D投影图像进行重建，以获得过程3D TOMO图像，并且在步骤208中将过程3D TOMO图像输入到神经网络。输入数据的类型可能是根据训练神经网络时的神经网络数据相对应的。在该TOMO成像方法中，先训练出该方法要使用的神经网络，再将该网络投入到后续处理步骤。根据该方法，可以在依照传统方法获得的过程2D投影图像或3D TOMO图像的基础上进一步处理，具体而言是投入到在步骤202中训练出的神经网络中，从而可以改善过程3D TOMO图像的质量。该方法适用于需要现场训练/更新神经网络的成像机制。

根据本发明的另一方面，提供一种TOMO成像方法，如图2所示，该方法包括如下步骤：在步骤302中获取关于受检对象的2D投影图像；在步骤304中根据2D投影图像形成神经网络的输入；在步骤306中将以上产生的输入数据输入到如上文的（经过训练的）神经网络；以及在步骤308中将神经网络的输出作为关于受检对象的3D TOMO图像。在本发明的一些示例中，在步骤304中根据2D投影图像形成神经网络的输入即为2D投影图像本身，并且在步骤306中将其输入到神经网络。在本发明的另一些示例中，在步骤304中可以进一步基于2D投影图像进行重建，以获得过程3D TOMO图像，并且在步骤306中将过程3D TOMO图像输入到神经网络。输入数据的类型可能是根据训练神经网络时的神经网络数据相对应的。在该TOMO成像方法中，与上一个实施例相比不需要先训练出该方法要使用的神经网络。根据该方法，可以在依照传统方法获得的过程2D投影图像或3D TOMO图像的基础上进一步处理，具体而言是投入到如上文的神经网络（例如，U-net或双域网络）中，从而可以改善过程3D TOMO图像的质量。该方法适用于不需要现场训练/更新神经网络的成像机制。

根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种训练神经网络的方法。此外，根据本发明的另一方面，还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种TOMO成像方法。本发明中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括RAM、ROM、EPROM、E²PROM、寄存器、硬盘、可移动盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或特定用途计算机、或者通用或特定用途处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的，盘（disk）和碟（disc）包括紧致碟（CD）、激光碟、光碟、数字多用途光碟（DVD）、软盘和蓝光碟，其中盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

根据本发明的另一方面，提供一种医学图像处理设备，如图4所示，医学图像处理设备40包括输入模块402、处理模块404以及输出模块406。其中，输入模块402被配置成接收关于受检对象的2D投影图像，并且根据所述2D投影图像形成神经网络的输入数据（例如，输入数据可以为2D投影图像本身，或者可以对其进行处理以获得3D TOMO图像并将其作为神经网络的输入），2D投影图像可以是利用现有的X射线成像设备生成的。处理模块404包括如上文的（经过训练的）神经网络（例如，U-net或双域网络），并且处理模块404被配置成利用神经网络（例如，U-net或双域网络）处理输入数据以生成经过处理的3D TOMO图像，这些经过处理的3D TOMO图像至少在一定程度上消除了在背景技术中介绍的原始3D TOMO图像的一些缺陷。输出模块406被配置成输出经过处理的3D TOMO图像。根据本发明的一些示例的医学图像处理设备可以与现有的TOMO成像设备协同工作，可以用于对现有的TOMO成像设备进行升级，这种升级不需要对现有的TOMO成像设备进行改动；此外，根据本发明的一些示例的医学图像处理设备适用于不需要现场训练/更新神经网络的成像机制。

根据本发明的另一方面，提供一种医学图像处理设备，如图5所示，医学图像处理设备50包括输入模块502、如上文的计算机可读存储介质504、处理模块506以及输出模块508。其中，输入模块502被配置成接收关于受检对象的2D投影图像，并且根据所述2D投影图像形成神经网络的输入数据（例如，输入数据可以为2D投影图像本身，或者可以对其进行处理以获得3D TOMO图像并将其作为神经网络的输入），2D投影图像可以是利用现有的X射线成像设备生成的。处理模块506中包括神经网络（例如，U-net或双域网络），并处理模块506被配置成执行计算机可读存储介质中存储的指令来训练该神经网络，并且还配置成利用训练后的神经网络（例如，U-net或双域网络）处理输入数据以生成经过处理的3D TOMO图像，这些经过处理的3D TOMO图像至少在一定程度上消除了在背景技术中介绍的原始3D TOMO图像的一些缺陷。输出模块508被配置成输出经过处理的3D TOMO图像。根据本发明的一些示例的医学图像处理设备可以与现有的TOMO成像设备协同工作，可以用于对现有的TOMO成像设备进行升级，这种升级不需要对现有的TOMO成像设备进行改动；此外，根据本发明的一些示例的医学图像处理适用于需要现场训练/更新神经网络的成像机制。

根据本发明的另一方面，提供一种医学检查设备，如图6所示，医学图像处理设备60包括成像模块602、处理模块604以及输出模块606。其中，成像模块602被配置成获取关于受检对象的2D投影图像，并且根据所述2D投影图像形成神经网络的输入数据。处理模块604包括如上文的（经过训练的）神经网络（例如，U-net或双域网络），并且处理模块604被配置成利用神经网络（例如，U-net或双域网络）处理输入数据以生成关于受检对象的经过处理的3D TOMO图像，这些经过处理的3D TOMO图像至少在一定程度上消除了在背景技术中介绍的原始3D TOMO图像的一些缺陷。输出模块606被配置成输出经过处理的3D TOMO图像。根据本发明的一些示例的医学检查设备是对现有的TOMO成像设备的全新升级；此外，根据本发明的一些示例的医学检查设备适用于不需要现场训练/更新神经网络的成像机制。

根据本发明的一些实施例，输入数据可以为2D投影图像本身。

根据本发明的一些实施例，成像模块602包括第一模块和第二模块。其中，第一模块被配置成获取关于受检对象的2D投影图像；第二模块被配置成基于2D投影图像通过解析重建算法（例如，FDK算法）或者迭代重建算法（例如，SART算法）重建以获得关于受检对象的原始3D TOMO图像，所述原始3D TOMO图像为所述输入数据。

根据本发明的另一方面，提供一种医学检查设备，如图7所示，医学图像处理设备70包括成像模块702、如上文的计算机可读存储介质704、处理模块706以及输出模块708。其中，成像模块702被配置成获取关于受检对象的2D投影图像，并且根据所述2D投影图像形成神经网络的输入数据。处理模块706包括神经网络（例如，U-net或双域网络），并且处理模块706被配置成执行计算机可读存储介质中存储的指令来训练神经网络，以及还配置成利用训练后的神经网络（例如，U-net或双域网络）处理输入数据以生成经过处理的3D TOMO图像，这些经过处理的3D TOMO图像至少在一定程度上消除了在背景技术中介绍的原始3DTOMO图像的一些缺陷。输出模块708被配置成输出经过处理的3D TOMO图像。根据本发明的一些示例的医学检查设备是对现有的TOMO成像设备的全新升级；此外，根据本发明的一些示例的医学图像处理适用于需要现场训练/更新神经网络的成像机制。

根据本发明的一些实施例，输入数据可以为2D投影图像本身。

根据本发明的一些实施例，成像模块702包括第一模块和第二模块。其中，第一模块，其配置成采用前向投影算法获取关于受检对象的2D投影图像；以及第二模块，其配置成基于2D投影图像通过解析重建算法（例如，FDK算法）或者迭代重建算法（例如，SART算法）重建以获得关于受检对象的原始3D TOMO图像，所述原始3D TOMO图像为所述输入数据。

综上所述，本申请的训练神经网络的方法、神经网络、成像方法、存储介质、医学图像处理设备以及医学检测设备提出了一种对现有手段生成的TOMO图像进行AI处理的机制，可以有效提升TOMO成像的质量。需要说明的是，附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或者在一个或多个硬件模块或集成电路中实现这些功能实体，或者在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

以上例子主要说明了本发明的训练神经网络的方法、神经网络、成像方法、存储介质、医学图像处理设备以及医学检测设备。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。