具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种三维图像的重建方法的流程图，本实施例可适用于对CT扫描定位像的进行三维重建的情况，该方法可以由三维图像的重建装置来执行，如图1所示，该方法具体包括如下步骤：

步骤110、获取待重建定位像。

其中，待重建定位像是一种CT扫描的二维定位像，可以是正位定位像或者侧位定位像，如可以是头部、胸部或者颈部的二维定位像。

步骤120、提取所述待重建定位像中目标区域的待重建目标图像。

其中，目标区域可以是包括设定部位的区域，如眼睛、乳腺、甲状腺等。目标区域也可以是用户设定的区域。待重建目标图像指的是包括目标区域的图像。

具体的，该步骤是对待重建定位图像进行分割或者定位，以得到包括目标区域的待重建目标图像。可以是根据待重建定位像的灰度值分布以及目标区域的属性，对待重建定位像进行图像分割，以得到所述待重建目标图像。

进一步地，可以预先建立目标区域的类型与图像分割算法的对应关系，首先确定目标区域的类型，进而，根据目标区域的类型及对应关系确定图像分割算法，根据该图像分割算法提取所述待重建定位像中目标区域的待重建目标图像。

可选的，在提取待重建目标图像之后，还可以对待重建目标图像进行重采样。

步骤130、基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像。

其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块，上采样模块接收该三维特征，并输出三维重建图像。

其中，下采样模块、维度扩展模块和上采样模块的各自的数量可以是多个，如3个、5个或者其他数值。下采样模块主要包括卷积层和激活函数，以对输入的待重建目标图像进行卷积操作。上采样模块主要包括转置卷积层(反卷积层)和激活函数，用于对维度扩展模块输出的数据进行转置卷积操作，最终输出三维重建图像。激活函数可以是Sigmoid函数、Tanh函数、ReLU(Rectified Linear Unit，整流线性单元)函数、Swish函数或者其他函数。维度扩展模块与上采样模块和下采样模块的连接方式为skip connection(跨层连接)，以增加特征图的维度，同时加快收敛速度。

具体的，该网络模型具有类U-Net结构，其训练过程可以是：

由各个历史CT扫描数据库中获取训练所需的包括各个目标区域的二维样本图像，通常该二维样本图像是完整的定位像(正位或侧位)，需要对样本进行目标区域提取，即步骤120的操作，将原始的二维样本图像进行图像分割，得到包括目标区域的二维样本图像，以形成网络模型训练所需的训练集；同时，可以由人工或者预设算法得到二维样本图像对应的三维重建图像的金标准，以作为模型输出的验证集。首先，初始化网络模型的各个参数，将训练集的数据输入网络模型中进行迭代计算，通过损失函数得到损失值，通过反向传播更新网络模型中的各个参数，直至损失函数的损失值满足预设条件。通过验证集对训练后的网络模型进行验证，当误差小于设定值时，则表示网络训练成功。

其中，损失函数可以是现有的任意一种损失函数，如可以是平均绝对误差(MeanAbsolute Error，MAE)函数，也称为L1损失函数，可以是均方误差(Mean Square Error，MSE)函数，也称为L2损失函数，也可以是平均偏差误差(Mean Bias Error，MBE)函数，当然也可以选用其他损失函数或者自定义损失函数。

可选的，所述网络模型包括侧位网络模型和正位网络模型，其中，所述侧位网络模型对应的待重建定位像为侧位定位像，正位网络模型对应的待重建定位像为正位定位像。

对于不同类型的定位像，采用不同的网络模型进行三维重建，提高了重建的精度。

本发明实施例的技术方案，通过对待重建定位像进行目标区域提取，减少待处理的数据量，提高了重建效率；通过预先训练的网络模型，对定位像进行三维图像重建，提高了三维重建的精度，且对定位像的成像部位未进行限定，提高了三维重建的应用范围；且该网络模型具有维度扩展模块，以跨层连接的方式连接，加快了网络训练过程同时进一步提高了重建的精度。本发明实施例所提供的三维图像的重建方法，重建适用范围广、精度高。

实施例二

图2A为本发明实施例二提供的一种三维图像的重建方法的流程图，本实施例是对上一实施例的进一步细化和补充，本实施例所提供的三维图像的重建方法还包括：识别所述待重建定位像的类型，其中，所述待重建定位图像包括侧位定位像和正位定位像两类。

如图2A所示，该三维图像的重建方法包括如下步骤：

步骤210、获取待重建定位像；

步骤220、识别所述待重建定位像的类型，其中，所述待重建定位图像包括侧位定位像或正位定位像。

具体的，识别所述待重建定位像的类型，指的是识别所述待重建定位像为侧位定位像还是正位定位像。

可选的，所述识别所述待重建定位像的类型，包括：

基于预先训练的神经网络模型确定所述待重建定位像的类型，或，识别所述待重建定位像的轮廓信息，并根据所述轮廓信息确定所述待重建定位像的类型，或，获取所述待重建定位像的采集设备的摆位信息，并根据所述摆位信息确定所述待重建定位像的类型。

具体的，神经网络模型主要是用来进行正位或侧位二分类的网络模型，可以是VGG(Visual Geometry Group)卷积神经网络模型、ResNet分类网络或者其他二分类神经网络模型。轮廓信息指的是目标区域的外轮廓的形状和尺寸信息，如头部的轮廓信息可以是周长为20～60cm的椭圆。采集设备可以是CT成像设备，通常在进行正位定位像的采集和侧位定位像的采集时，设备的摆位信息是不同的，通过在获取该待重建定位像的同时，获取其采集设备的摆位信息，从而可以根据摆位信息确定待重建定位像是正位定位像还是侧位定位像。

步骤230、根据目标区域的属性，确定所述待重建目标图像对应的定位框的尺寸和预设识别算法。

其中，定位框是用来确定重建目标图像范围的。目标区域可以是头部、胸部、颈部等部位。目标区域的属性可以是目标区域的类型，也可以是目标区域的轮廓信息。定位框的尺寸具体可以是定位框的长度和宽度，也可以是定位框的轮廓。预设识别算法是用于识别目标区域的算法。

具体的，可以预先建立各个目标区域及其预设识别算法的对应关系，根据目标区域的类型以及对应关系确定预设识别算法。

进一步地，可以根据目标区域的灰度分布规律，确定预设识别算法的具体内容。

步骤240、基于预设识别算法确定所述待重建目标图像对应的定位框的初始位置。

示例性的，预设识别算法确定初始位置的步骤为：

从上之下遍历待重建目标图像的各个行，判断当前行各个像素对应的灰度值是否满足预设灰度条件，若是，则确定当前行为定位框的初始位置，其中，预设灰度条件为：当前行的像素的灰度值处于预设灰度阈值范围内的个数达到预设个数，其中，预设灰度阈值范围为(Tv1，Tv2)，预设灰度阈值范围具体由目标区域的灰度分布决定。以目标区域为头部为例，Tv1可以是-900、-950、-1000或者其他值，Tv2可以是-800、-850、-900或者其他值，预设个数可以是80～700之间。

步骤250、基于所述定位框的尺寸和初始位置，提取所述待重建定位像中的所述目标区域的待重建目标图像。

具体的，当确定了定位框的初始位置和尺寸之后，相当于确定了定位框的位置，从而，提取定位框所包围的区域，即为所述目标区域的待重建目标图像。

步骤260、基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像。

其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将下采样模块和上采样模块进行跨层连接，所述维度扩展模块包括通道生成单元和第二卷积单元，所述通道生成单元用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。所述下采样模块包括第一卷积单元和第一残差单元，所述上采样模块包括转置卷积单元和第二残差单元，所述第一卷积单元包括二维卷积层、批归一化层和激活层，该二维卷积层跨步为2；所述第一残差单元为二维残差模块；所述第二卷积层包括三维卷积层、批归一化层和激活层；所述转置卷积单元包括三维转置卷积层、批归一化层和激活层；所述第二残差单元为三维残差模块。

具体的，二维残差模块将输入图像或特征图x，经过两个或多个二维卷积层生成卷积层输出F(x)，该输出与模块输入图像x进行加操作，并经过一个激活层ReLU作为残差模块的输出。三维残差模块与二维残差模块的区别在于卷积层的维度不同，三维残差模块对应的卷积层为三维卷积。

示例性的，图2B是本发明实施例二提供的一种网络模型的结构示意图，如图2B所示，该网络模型包括4个下采样模块(Down)、4个维度扩展模块(Expand)和4个上采样模块(Up)，其中，In表示网络模型的输入，即上述待重建目标图像，Out表示网络模型的输出，即上述三维重建图像。其中，下采样模块(Down)由一个二维卷积层、批归一化层、ReLU激活层和二维残差模块组成，维度扩展模块(Expand)由通道重组模块、三维卷积层、批归一化层和ReLU激活层组成，上采样模块(Up)由一个三维转置卷积层、批归一化层、ReLU激活层和三维残差模块组成。

具体的，该网络模型以目标区域提取后的二维样本图像为输入，以三维图像的金标准为输出，进行网络参数训练。

可选的，所述三维重建图像的金标准的生成过程为：

获取三维样本图像以及对应的二维样本图像；确定所述二维样本图像中二维样本图像中目标区域的中心；根据所述目标区域的中心以及目标区域的尺寸，确定所述三维样本图像对应的金标准的三维中心；基于所述金标准的三维中心以及目标区域的尺寸，对所述三维样本图像进行目标区域截取，以生成所述二维样本图像的三维重建图像的金标准，以根据所述金标准对网络模型进行验证。

具体的，在确定金标准的三维中心之后，根据所述金标准的三维中心的位置，对所述三维样本图像的分割标记进行移动，以得到以所述三维中心为中心的金标准。

具体的，二维样本图像可以是CT扫描的历史定位像数据通过目标区域提取后的图像。具体的，可以根据定位框的初始位置以及目标区域的属性确定目标区域的中心。

具体的，所述目标区域的尺寸包括目标区域的重心或深度，基于投影算法生成所述二维样本图像的投影图，根据所述目标区域的中心计算所述投影图的重心，根据所述投影图的重心确定所述目标区域的深度，根据目标区域的中心和深度确定目标区域的重心。进而可以根据所述目标区域的中心和深度，确定所述维样本图像对应的金标准的三维中心。

具体的，还可以在确定目标区域的中心之后，在中心位置的轴向方向上下预设范围内计算目标区域的重心，并记录其深度方向的坐标值，从而得到目标区域的深度，并基于所述目标区域的中心、重心以及深度生成所述二维样本图像的三维图像的金标准。

进一步地，在得到三维图像的金标准之后，还可以对三维图像的金标准进行重采样。

可选的，该三维图像的重建方法，还包括：

根据判别模型判断所述三维重建图像是否合格；若是，则输出所述三维重建图像。

具体的，以上述生成的网络模型为生成器，并构建该生成器对应的判别器(判别器又称为判别模型)，从而形成生成对抗网络，以提高输出的质量，即提高三维重建的精度。

可选的，该判别模型可以是3D PatchGAN判别器，其中，3D PatchGAN判别器又称为马尔科夫判别器。

本发明实施例的技术方案，通过自动识别定位像的类型，并根据不同的类型设置相应的网络模型进行三维重建，提高了三维重建的精准度；基于重心定位方法确定用于网络验证的金标准，实现了金标准与输入的定位像的对齐，提高了网络验证的准确度；同时，该网络模型引入的批归一化层和残差层，提高了网络的深度和收敛速度，进而提高了三维重建的效率；同时，引入生成对抗网络，以网络模型为生成器，同时建立对应的判别器对输出的三维重建图像进行判别，进一步提高了输出的三维重建图像的质量和精度。

实施例三

图3是本发明实施例三提供的一种三维图像的重建装置的结构示意图，如图3所示，该装置包括：定位图像获取模块310、待重建图像提取模块320和图像三维重建模块330。

其中，定位图像获取模块310，用于获取待重建定位像；待重建图像提取模块320，用于提取所述待重建定位像中目标区域的待重建目标图像；图像三维重建模块330，用于基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。

本发明实施例的技术方案，通过对待重建定位像进行目标区域提取，减少待处理的数据量，提高了重建效率；通过预先训练的网络模型，对定位像进行三维图像重建，提高了三维重建的精度，且对定位像的成像部位未进行限定，提高了三维重建的应用范围；且该网络模型具有维度扩展模块，以跨层连接的方式连接，加快了网络训练过程同时进一步提高了重建的精度。本发明实施例所提供的三维图像的重建方法，重建适用范围广、精度高。

可选的，所述网络模型包括侧位网络模型和正位网络模型，其中，所述侧位网络模型对应的待重建定位像为侧位定位像，正位网络模型对应的待重建定位像为正位定位像。

可选的，该三维图像的重建装置，还包括：

类型识别模块，用于识别所述待重建定位像的类型。

其中，所述待重建定位图像包括侧位定位像和正位定位像两类。

可选的，所述类型识别模块，具体用于：

基于预先训练的神经网络模型确定所述待重建定位像的类型，或，识别所述待重建定位像的轮廓信息，并根据所述轮廓信息确定所述待重建定位像的类型，或，获取所述待重建定位像的采集设备的摆位信息，并根据所述摆位信息确定所述待重建定位像的类型。

可选的，所述三维重建图像的金标准的生成过程为：

获取三维样本图像以及对应的二维样本图像；确定所述二维样本图像中目标区域的中心；根据所述二维样本图像中目标区域的中心以及目标区域的尺寸，确定所述二维样本图像对应的金标准的三维中心；基于所述金标准的三维中心对所述三维样本图像进行目标区域截取，以生成所述二维样本图像的三维重建图像的金标准，以根据所述金标准对网络模型进行验证。

可选的，待重建图像提取模块320，具体用于：

根据目标区域的属性，确定所述待重建目标图像对应的定位框的尺寸和预设识别算法；基于预设识别算法确定所述待重建目标图像对应的定位框的初始位置；基于所述定位框的尺寸和初始位置，提取所述待重建定位像中的所述目标区域的待重建目标图像。

可选的，所述下采样模块包括第一卷积单元和第一残差单元，所述上采样模块包括转置卷积单元和第二残差单元，所述第一卷积单元包括二维卷积层、批归一化层和激活层；所述第一残差单元为二维残差模块；所述转置卷积单元包括三维转置卷积层、批归一化层和激活层；所述第二残差单元为三维残差模块。

可选的，该三维图像的重建装置，还包括：

输出判别模块，用于根据判别模型判断所述三维重建图像是否合格；若是，则输出所述三维重建图像。

本发明实施例所提供的三维图像的重建装置可执行本发明任意实施例所提供的三维图像的重建方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种三维图像的重建设备的结构示意图，如图4所示，该设备包括处理器410、存储器420、输入装置430和输出装置440；设备处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维图像的重建方法对应的程序指令/模块(例如，三维图像的重建装置中的定位图像获取模块310、待重建图像提取模块320和图像三维重建模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的三维图像的重建方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种三维图像的重建方法，该方法包括：

获取待重建定位像；

提取所述待重建定位像中目标区域的待重建目标图像；

基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的三维图像的重建方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述三维图像的重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。