具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些示例或实施例，各个实施例的技术特征之间可以相互组合，构成实现发明目的的实际方案，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本发明应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“单元”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。并且，“系统”、“单元”可以由软件或者硬件实施，可以是实体或虚拟的具有该功能部分的称呼。

本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。各个实施例中的技术方案可以相互组合实现本发明的目的。

实施例一：如图1所示，本发明采用的技术方案是：一种利用光学体表运动信号合成实时图像的系统，包含：获取单元，获取实时体表信号；图像转化单元，根据体表信号与4D医学图像显示的内部解剖结构信息的映射关系，通过获取体表信号，得到对应时间的4D医学图像显示的内部解剖结构信息。

4D(四维)医学图像包括4DCT(Four-dimensional Computed Tomography四维X射线计算机断层成像)、4DMR(四维核磁共振)、4DPET(Four-Dimensional positron emissiontomography四维正电子发射计算机断层扫描)、4DCBCT(Four-Dimensional Cone beamComputed Tomography四维锥形束X射线计算机断层成像)等。

体表信号包括光学体表4D信号，或基于其它方式从4DCBCT中提取的体表数据，如通过体表反光块，体内标记如膈肌运动、植入标记等方式获得运动信号。

利用光学体表运动信号合成实时图像的系统可以在治疗过程中实时显示患者内部解剖结构信息，降低放疗过程中射线的脱靶风险。

实施例二：如图2所示，在实施例一的基础上，利用光学体表运动信号合成实时图像的系统，4D医学图像包括直接拍摄获取的4D图像，或者重建合成的4D图像。

直接拍摄获取的4D图像具体包括，在放疗前直接拍摄4D图像，比如4DCT、4DMR、4DPET、4DCBCT等。

在放疗前利用同时相光学体表数据与直接拍摄获取的4D图像的映射关系，或从基于其它方式(如体表反光块，体内标记如膈肌运动、植入标记等)提取的直接拍摄的4DCBCT中的体表数据与直接拍摄的4DCBCT图像的映射关系，用于和放疗过程中实施获取的光学体表信号数据进行关联，实现从体表到体内结构的映射和展示。

重建合成的4D图像，进一步地，还包括4D图像重建合成单元，获取治疗前的包括不限于用于摆位的CBCT图像。用于摆位的CBCT图像指得是每一天治疗前拍摄的CBCT图像。

同时采集同步体表数据，将CBCT的各角度投影划分为不同的时相，利用4DCT中得到的先验呼吸运动模型得到解剖结构的形变场，将同步光学体表数据与呼吸时相相关联，对CBCT各时相投影进行基于稀疏投影数据的重建,将体表数据与同一呼吸时相的体内解剖结构图像相关联。

进一步地，4D图像重建合成单元重建4D图像的具体过程如下：(1)先验呼吸运动模型的生成：对四维CT的各个时相与以某一时刻四维CT为参考进行配准，将得到的形变场(deformation vector field)分解为主成分的加权和；

采用3D-CBCT的瞬时kV二维投影原始数据与4D-CT的运动信号进行关联。利用患者4D-CT先验解剖结构弥补瞬时kV二维投影的数量不足的问题，同时保留kV二维投影所反映的治疗当天或者最接近治疗当天的解剖信息。具体做法是：

首先以4D-CT某一时相为基准(I0)，则新的图像可表示为：

I(I,j,k)＝F(I0,D)＝I0(i+Dx(I,j,k),j+Dy(I,j,k),k+Dz(I,j,k))

其中，(I,j,k)为体素位置，D为新图像Ⅰ相对于I₀的形变，Dx、Dy、Dz分别为形变场D在x,y,z方向上的分量。计算4D-CT各时相与I₀间的形变，计算其平均形变并进行主成分分析得到这些形变的前三个主成分D₁、D₂和D₃，则Ⅰ相对于I₀的形变场D可简化为：

其中，W1、W2和W3为各主成分的权重。搜寻某一时相的kV二维投影(P)，则该时相的4D图像相对于I₀的形变应满足DRR(F(I₀,D))＝P

其中，DRR表示Ⅰ的数字重建投影。可通过梯度下降求解上式得到各形变主成分的权重，得到4D影像的估计。后续可进一步采用B-样条基底对形变场进行微调使Ⅰ与同时相kV二维投影有更好的一致性。

(2)体表数据的排序：从四维CT的各个时相中分割出体表轮廓，以某一时刻(包括不限于呼气末或吸气末)的体表为参考体表，计算其他时相体表与参考体表之差及其梯度，再对同一时相体表差及梯度统计平均值，将其与呼吸时相相关联，包括不限于采用简单的回归模型实现，回归模型包括多项式回归、逻辑回归、岭回归、Lasso回归等，根据瞬时体表推断呼吸时相的方法。

(3)基于CBCT稀疏投影数据的重建：根据CBCT扫描过程中同步采集的光学体表数据，按呼吸时相对CBCT二维投影进行排序；根据CBCT形变后计算出的二维数字重建图像与实际采集的CBCT二维投影趋近一致，计算先验呼吸运动模型中各主成分的权重；根据权重确定形变场D，根据该形变场D与参考图像获得重建合成的4D图像。

稀疏投影指的是少量的投影。由于属于一个时相的投影数量较少，重建效果较差。可采用优化算法，如梯度下降等，计算先验呼吸运动模型中各主成分的最优权重，使得CBCT形变后计算出的二维数字重建图像与实际采集的CBCT二维投影趋近一致；趋近一致指的是误差在设定的可容忍的阈值范围内，阈值可以调整。

根据该形变场与参考图得到的CBCT图像即代表了患者当天解剖结构，从而保证患者治疗时解剖结构不“失真”的同时，提高重建图像的质量。本方法需要的周期短，只需要一个周期即可重建合成4D图像。

进一步地，在应用阶段，治疗时采集实时光学体表信号，与获取的治疗前的体表数据相关联，通过体表数据与同一呼吸时相的体内解剖结构图像的映射关系，进一步得到体内解剖结构的4D图像。即治疗时采集实时光学体表信号与上述重建的患者治疗时4D图像的体表数据进行关联和映射，展示其对应的内部动态解剖结构信息，实现“虚拟透视”。

进一步地，在治疗过程中，可以通过X线成像的方式，得到患者的二维投影图，并根据同步采集的光学体表确定对应的呼吸时相，采用上述4D图像重建合成的方法预测出四维图像，从而生成同一时相、同一角度的数字重建投影图像；重建投影图像与通过X线成像的方式得到的患者的二维投影图进行比较，验证上述方法的准确性。

进一步地，在治疗过程中，通过X线成像的方式，得到患者的二维投影图，采集到的投影图作为修正数据，对后续结果进行改进和优化，通过同步采集的光学体表确定呼吸时相，再通过4D图像重建合成单元重建4D图像得到患者当天解剖结构4D图像的具体过程更新当天的合成图像，此时体内解剖结构的形变场，应当满足将该形变场作用在参考图像上后计算出的二维数字重建投影与真实采集的二维投影图趋近一致，如偏差较大，则计算满足该条件的形变场，然后重新训练模型。

实施例三：如图2所示，在实施例一的基础上，利用光学体表运动信号合成实时图像的系统，进一步地，还包括4D图像重建合成单元，体内解剖结构的形变(DVF)对应体内解剖结构的边界变化，体内解剖结构的边界对应体表的变化，从体表的形变中推断体内相应的形变场。

进一步地，从历史数据中挖掘体表形变与体内形变的关系，避免了较为复杂的物理建模。具体训练过程如下：搜集患者历史四维CT图像，分割出体表轮廓，以体表形变或四维CT图像或体表轮廓作为模型的输入，以某一时相的CT作为参考图像，将参考图像配准到其他时相的CT上，得到输出为体内解剖结构形变场的时间序列的模型，即体内解剖结构形变场为模型的预测目标。模型可采用经典的卷积神经网络及具有相似功能的函数；治疗时将实时光学体表数据输入模型中预测体内解剖结构的形变场，作用在参考图像上即可得到该时刻的四维图像。

形变场的参数较多，对其进行降维有利于模型的快速训练，如采用PCA(主成分分析)、ICA(independent component analysis)、IsoMap方法，将形变场分解为主成分的加权和，包括不限于使用先验呼吸运动模型，模型的预测目标转为不同主成分的权重，计算权重即可获得形变。

模型应用阶段：采集治疗过程中患者的光学体表数据，将其转化与训练阶段CT图像中分割出的体表数据相关联的形式，输入到模型中，预测体内解剖结构的形变场，作用在参考图像上即可得到该时刻的图像。该模型已经得到实验数据验证，体表形变见图3，预测的主成分权重示例见图4，模型训练过程中的损失函数见图5。

模型的验证结果，在十个样本上测试模型的效果，以肺部的DICE(戴斯相似系数)相似系数、靶区的DICE相似系数、肿瘤中心点的距离为评价指标，均得到与采用模型预测前更好且具有统计性差异的结果。

进一步地，在治疗过程中，可以通过X线成像的方式，得到患者的二维投影图，并根据同步采集的光学体表确定对应的呼吸时相，通过上述模型预测四维图像，从而生成同一时相、同一角度的数字重建投影图像；重建投影图像与通过X线成像的方式，得到患者的二维投影图进行比较，验证上述方法的准确性。

进一步地，在治疗过程中，通过X线成像的方式，得到患者的二维投影图，采集到的投影图作为修正数据，对后续结果进行改进和优化，通过同步采集的光学体表确定呼吸时相，通过上述模型获得体内解剖结构的形变场，应当满足将该形变场作用在参考图像上后计算出的二维数字重建投影与真实采集的二维投影图趋近一致，计算满足该条件的形变场权重，然后重新训练模型。趋近一致指的是误差在设定的可容忍的阈值范围内，阈值可以调整。

实施例四：一种利用光学体表运动信号合成实时图像的方法，与上述实施例一至三相对应，解释说明部分具体见上文。获取实时体表信号；根据体表信号与4D医学图像显示的内部解剖结构信息的映射关系，通过获取体表信号，得到对应的时间4D医学图像显示的内部解剖结构信息。

进一步地，4D医学图像包括直接拍摄获取的4D图像，或者重建合成的4D图像。

进一步地，获取治疗前的CBCT同时采集同步体表数据，将CBCT的各角度投影划分为不同的时相，将同步光学体表数据与呼吸时相相关联，对CBCT各时相投影进行基于稀疏投影数据的重建,将体表数据与同一呼吸时相的体内解剖结构图像相关联。

进一步地，4D图像重建合成单元重建4D图像的具体过程如下：(1)先验呼吸运动模型的生成：对四维CT的各个时相与以某一时刻四维CT为参考进行配准，将得到的形变场分解为主成分的加权和；(2)体表数据的排序：从四维CT的各个时相中分割出体表轮廓，将其与呼吸时相相关联，从而得到根据瞬时体表推断呼吸时相的方法；(3)基于CBCT稀疏投影数据的重建：根据CBCT扫描过程中同步采集的光学体表数据，按呼吸时相对CBCT二维投影进行排序；根据CBCT形变后计算出的二维数字重建图像与实际采集的CBCT二维投影趋近一致，计算先验呼吸运动模型中各主成分的权重；根据权重确定形变场，根据该形变场与参考图像获得重建合成的4D图像。

进一步地，治疗时采集实时光学体表信号，与获取的治疗前的体表数据相关联，再通过体表数据与同一呼吸时相的体内解剖结构图像的映射关系，进一步得到体内解剖结构的4D图像。

进一步地，在治疗过程中，通过X线成像的方式，得到患者的二维投影图，采集到的投影图作为修正数据，对后续结果进行改进和优化，通过同步采集的光学体表确定呼吸时相，再通过4D图像重建合成单元重建4D图像，此时体内解剖结构的形变场，应当满足将该形变场作用在参考图像上后计算出的二维数字重建投影与真实采集的二维投影图趋近一致，如偏差较大，则计算满足该条件的形变场，然后重新训练模型。

进一步地，体内解剖结构的边界对应体表的变化，从体表的形变中推断体内解剖结构的形变。

进一步地，从历史数据中挖掘体表形变与体内形变的关系，具体过程如下：搜集患者四维CT图像，分割出体表轮廓，以体表形变或四维CT图像或体表轮廓作为模型的输入，以某一时相的CT作为参考图像，将参考图像配准到其他时相的CT上，得到输出为体内解剖结构形变场的时间序列的模型；治疗时将实时光学体表数据输入模型中预测体内解剖结构的形变场，作用在参考图像上即可得到该时刻的图像。

进一步地，在治疗过程中，通过X线成像的方式，得到患者的二维投影图，采集到的投影图作为修正数据，对后续结果进行改进和优化，通过同步采集的光学体表确定呼吸时相，此时体内解剖结构的形变场，应当满足将该形变场作用在参考图像上后计算出的二维数字重建投影与真实采集的二维投影图趋近一致，计算满足该条件的形变场权重，然后重新训练模型。

进一步地，在治疗过程中，通过X线成像的方式，得到患者的二维投影图，并根据同步采集的光学体表确定对应的呼吸时相，预测出四维图像，从而生成同一时相、同一角度的数字重建投影图像；重建投影图像与通过X线成像的方式，得到患者的二维投影图进行比较，验证上述方法的准确性。

需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本发明的限定。

此外，除非权利要求中明确说明，本发明所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本发明流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本发明实施例实质和范围的修正和等价组合。

同理，应当注意的是，为了简化本发明披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则。其他的变形也可能属于本发明的范围。因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致。相应地，本发明的实施例不仅限于本发明明确介绍和描述的实施例。