用于基于连续深度学习的放射疗法治疗规划的方法和系统

文档序号:491521 发布日期:2022-01-04 浏览:7次 >En<

阅读说明:本技术 用于基于连续深度学习的放射疗法治疗规划的方法和系统 (Method and system for continuous deep learning based radiotherapy treatment planning ) 是由 J·施雷伊尔 H·拉克索南 H·海沃南 于 2020-06-04 设计创作,主要内容包括:提供了用于基于连续深度学习的放射疗法治疗规划的示例方法和系统。一种示例方法可以包括:获取(210)深度学习引擎,该深度学习引擎被训练以基于与第一规划规则相关联的第一训练数据来执行放射疗法治疗规划任务。该方法还可以包括:基于与特定患者相关联的输入数据,使用深度学习引擎来执行(220)放射疗法治疗规划任务,以生成与特定患者相关联的输出数据;以及获取(230)经修改的输出数据,该经修改的输出数据包括对由深度学习引擎生成的输出数据的一个或多个修改。该方法还可以包括:基于经修改的输出数据,生成(240)与第二规划规则相关联的第二训练数据;并且通过使用第一训练数据和第二训练数据的组合重新训练深度学习引擎来生成(250)经修改的深度学习引擎。(Example methods and systems for continuous depth learning based radiation therapy treatment planning are provided. An example method may include: a deep learning engine trained to perform a radiation therapy treatment planning task based on first training data associated with a first planning rule is acquired (210). The method may further comprise: performing (220) a radiation therapy treatment planning task using a deep learning engine based on input data associated with a particular patient to generate output data associated with the particular patient; and obtaining (230) modified output data, the modified output data comprising one or more modifications to the output data generated by the deep learning engine. The method may further comprise: generating (240) second training data associated with a second planning rule based on the modified output data; and generating (250) a modified deep learning engine by retraining the deep learning engine using a combination of the first training data and the second training data.)

用于基于连续深度学习的放射疗法治疗规划的方法和系统

背景技术

除非本文中另有说明,否则本节中描述的方法不是本申请中的权利要求的现有技术,并且不能因为包括在本节中而被承认为现有技术。

放射疗法是用于减少或消除患者的不想要的肿瘤的治疗的重要部分。不幸的是,所施加的放射本身并不能区分不想要的肿瘤与诸如器官等任何近端的健康结构。这需要小心管理以限制对肿瘤(即,目标)的放射。理想情况下,目标是向肿瘤递送致命或治愈的放射剂量,同时在近端健康结构中维持可接受的剂量水平。然而,为了实现这一目标,传统的放射疗法治疗规划可能是时间和劳动密集的。

发明内容

在一个方面,本发明提供了一种如权利要求1中限定的用于计算机系统执行放射疗法治疗规划的方法。可选特征在其从属权利要求中限定。

在另一方面,本发明提供了一种如权利要求8中限定的非瞬态计算机可读存储介质,该介质包括一组指令,该组指令响应于由计算机系统的处理器的执行而使该处理器执行放射疗法治疗规划方法。可选特征在其从属权利要求中限定。

在又一方面,本发明提供了一种如权利要求15中限定的计算机系统,该计算机系统被配置为执行放射疗法治疗规划。可选特征在其从属权利要求中限定。

根据本公开的示例,提供了用于基于连续深度学习(continuous deep learning)的放射疗法治疗规划的方法和系统。在这种情况下,一种示例方法可以包括:获取深度学习引擎,该深度学习引擎被训练以基于与第一规划规则相关联的第一训练数据来执行放射疗法治疗规划任务。该方法还可以包括:基于与特定患者相关联的输入数据,使用深度学习引擎来执行放射疗法治疗规划任务以生成与特定患者相关联的输出数据;以及获取经修改的输出数据,该经修改的输出数据包括对由深度学习引擎生成的输出数据的一个或多个修改。该方法还可以包括:基于经修改的输出数据,生成与第二规划规则相关联的第二训练数据;以及通过使用第一训练数据和第二训练数据的组合重新训练深度学习引擎来生成经修改的深度学习引擎。

附图说明

图1是示出用于放射疗法治疗的示例过程流程的示意图;

图2是用于计算机系统基于连续深度学习来执行放射疗法治疗规划的示例过程的流程图;

图3是示出根据图2中的示例的基于连续深度学习的示例放射疗法治疗规划的示意图;

图4是示出基于连续深度学习的示例自动分割的示意图;

图5是示出基于连续深度学习的示例剂量预测的示意图;

图6是示出可以在其中实现基于连续深度学习的放射疗法治疗规划的示例网络环境的示意图;

图7是用于治疗递送的示例治疗计划的示意图;以及

图8是用于基于连续深度学习执行放射疗法治疗规划的示例计算机系统的示意图。

具体实施方式

以下描述中阐述的技术细节使得本领域技术人员能够实现本公开的一个或多个实施例。

图1是示出用于放射疗法治疗的示例过程流程100的示意图。示例过程100可以包括由一个或多个框示出的一个或多个操作、功能或动作。基于期望实现,各种框可以组合成更少的框、划分成更多的框、和/或被消除。在图1的示例中,放射疗法治疗通常包括各个阶段,诸如成像系统针对患者执行图像数据采集(参见110);放射疗法治疗规划系统(参见130)针对患者生成合适的治疗计划(参见156);以及治疗递送系统根据治疗计划递送治疗(参见160)。

更详细地,在图1中的110处,可以使用成像系统执行图像数据采集以捕获与患者(特别是患者的解剖结构)相关联的图像数据120。可以使用任何合适的一个或多个医学图像模态,诸如计算机断层扫描(CT)、锥形束计算机断层扫描(CBCT)、正电子发射断层扫描(PET)、磁共振成像(MRI)和/或单光子发射计算机断层扫描(SPECT)、前述项的任何组合等。例如,当使用CT或MRI时,图像数据120可以包括一系列二维(2D)图像或切片,每个图像或切片表示患者解剖结构的横截面视图,或者可以包括患者的体积或三维(3D)图像,或者可以包括患者的2D或3D图像的时间序列(例如,四维(4D)CT或4D CBCT)。

在图1中的130处,可以在规划阶段期间执行放射疗法治疗规划以基于图像数据120来生成治疗计划156。可以执行任何合适数目的治疗规划任务或步骤,诸如分割、剂量预测、投影数据预测、和/或治疗计划生成等。例如,可以执行分割以生成标识来自图像数据120的各种分段或结构的结构数据140。在实践种,可以从图像数据120重构患者的解剖结构的三维(3D)体积。将会经受放射的3D体积被称为治疗或照射体积,治疗或照射体积可以被划分为多个更小体积像素(体素)142。每个体素142表示与治疗体积内的位置(i,j,k)相关联的3D元素。结构数据140可以包括与患者的解剖结构144、目标146、风险器官(OAR)148或任何其他感兴趣结构(例如,组织、骨骼)的轮廓、形状、大小和位置有关的任何合适的数据。例如,使用图像分割,可以在图像的一部分周围画线并且将其标记为目标146(例如,标记有标签=“前列腺”)。线内的所有内容都将被视为目标146,而线外的所有内容都不会被视为目标146。

在另一示例中,可以执行剂量预测以生成剂量数据150,该剂量数据150指定要递送到目标146的放射剂量(在152处表示为“DTAR”)和用于OAR 148的放射剂量(在154处表示为“DOAR”)。在实践中,目标146可以表示需要放射疗法治疗的恶性肿瘤(例如,前列腺肿瘤等),而OAR 148表示可能受到治疗的不利影响的近端健康结构或非目标结构(例如,直肠、膀胱等)。目标146也称为规划目标体积(PTV)。尽管在图1中示出了一个示例,但是治疗体积可以包括具有复杂形状和尺寸的多个目标146和OAR 148。此外,虽然示出为具有规则形状(例如,立方体),但是体素142可以具有任何合适的形状(例如,非规则的)。取决于期望实现,框130处的放射疗法治疗规划可以基于任何附加和/或备选数据来执行,诸如处方、疾病分期、生物学或放射学数据、遗传数据、化验数据、活检数据、过去的治疗或病史、前述项的任何组合等。

基于结构数据140和剂量数据150,可以生成治疗计划156以包括用于一组射束取向或角度的2D注量图数据。每个注量图指定在特定射束取向和特定时间从放射源发射的放射束的强度和形状(例如,如由多叶准直仪(MLC)确定的)。例如,在实践中,调强放射疗法治疗(IMRT)或任何其他(多种)治疗技术可以涉及改变放射束的形状和强度,同时机架和病床角度保持恒定。附加地或备选地,治疗计划156可以包括机器控制点数据(例如,钳口和叶片位置)、用于控制治疗递送系统的体积调制弧光疗法(VMAT)轨迹数据等。在实践中,框130可以基于由临床医生(例如,肿瘤学家、剂量师、规划师等)规定的目标剂量来执行,诸如基于临床医生的经验、肿瘤的类型和范围、患者的几何形状和状况等。

在图1中的160处,在治疗阶段期间执行治疗递送以根据治疗计划156向患者递送放射。例如,放射疗法治疗递送系统160可以包括可旋转机架164,放射源166附接到该机架164。在治疗递送期间,机架164围绕被支撑在结构172(例如,台)上的患者170进行旋转以根据治疗计划156以各种射束取向发射放射束168。控制器162可以用于检索治疗计划156并且控制机架164、放射源166和放射束168以根据治疗计划156递送放射疗法治疗。

应当理解,可以使用任何合适的(多个)放射疗法治疗递送系统,诸如基于机械臂的系统、断层放疗类型系统、近距离和/或西雷克斯球体、前述项的任何组合等。此外,本公开的示例可以适用于粒子递送系统(例如,质子和/或碳离子等)。这样的系统可以采用散射粒子束,散射粒子束然后由类似于MLC的设备进行整形,或者这样的系统可以使用可调整能量、光斑大小和停留时间的扫描束。

通常,图1中的框130处的放射疗法治疗规划是时间和劳动密集的。例如,它通常要求由高技能和经训练的肿瘤学家和剂量学家组成的团队通过在图像数据120上绘制轮廓或分割来手动描绘感兴趣的结构。这些结构由医生手动审阅,可能要求调整或重新绘制。在很多情况下,关键器官的分割可能是放射疗法治疗规划中最耗时的部分。在对结构达成一致之后,还有附加的劳动密集步骤来处理结构以生成临床最佳治疗计划,以指定诸如射束取向和轨迹等治疗递送数据、以及对应的2D注量图。由于不同医生和/或临床区域之中对于什么构成“良好”轮廓或分割缺乏共识,这些步骤通常变得复杂。在实践中,不同临床专家绘制结构或分段的方式可能存在巨大变化。这种变化可能导致目标体积大小和形状、以及应当接受最小放射剂量的OAR的确切接近度、大小和形状的不确定性。即使对于特定专家,在不同日期绘制分段的方式也可能有变化。

根据本公开的示例,可以应用人工智能(A1)技术来改善与放射疗法治疗规划相关联的各种挑战。特别地,(多个)深度学习引擎可以用于自动化(多个)放射疗法治疗规划步骤。贯穿本公开,术语“深度学习”通常可以是指利用非线性数据处理的很多层或阶段进行特征学习以及模式分析和/或分类的一类方法。“深度学习模型”可以是指非线性数据处理的“层”的层次结构,包括输入层、输出层、以及在输入层与输出层之间的多个(即,两个或更多个)“隐藏”层。这些层可以从端到端(例如,从输入层到输出层)被训练以从输入提取(多个)特征并且将(多个)特征分类以产生输出(例如,分类标签或类)。

因此,术语“深度学习引擎”可以是指能够根据任何合适的(多个)深度学习模型来执行算法的计算机系统的任何合适的(多个)硬件和/或软件组件。取决于期望实现,可以使用任何合适的(多个)深度学习模型,诸如卷积神经网络、循环神经网络和/或深度信念网络、或者前述项的任何组合等。在实践中,神经网络通常是使用经由连接(称为“突触”、“权重”等)被互连的处理元素(称为“神经元”、“节点”等)的网络而形成的。例如,卷积神经网络可以使用任何合适的(多个)架构来实现,诸如U-net、LeNet、AlexNet、ResNet和/或V-net、DenseNet等。在这种情况下,卷积神经网络的“层”可以是卷积层、池化层、整流线性单元(ReLU)层、全连接层和/或损失层等。在实践中,U-net架构包括收缩路径(左侧)和扩展路径(右侧)。收缩路径包括卷积的重复应用,是跟随着ReLU层和最大池化层。扩展路径中的每个步骤可以包括特征图的上采样,跟随着卷积等。

深度学习方法应当与已经应用于例如自动分割的机器学习方法进行对比。通常,这些方法涉及从图像提取(手工设计的)特征向量,诸如针对每个体素等。然后,特征向量可以用作对机器学习模型的输入,该机器学习模型对每个体素属于哪个类进行分类。然而,这样的机器学习方法通常不使用完整的图像数据,并且可能需要附加约束。另一挑战是,这些方法依赖于高维度的手工设计特征以便准确预测每个体素的类标签。解决高维分类问题的计算成本很高,并且要求大量存储器。一些方法使用低维特征(例如,使用降维技术),但它们可能会降低预测精度。

传统上,存在与训练用于放射疗法治疗规划的深度学习引擎相关联的很多挑战。例如,不同的规划方(例如,个人、团体、临床站点或机构、网络等)通常在放射疗法治疗规划中具有不同的临床实践。为了根据特定的临床实践来训练深度学习引擎,一种选择是开发特定的内部模型。但是,在不收集大量精选的训练数据的情况下,可能很难获取期望的训练结果。此外,虽然概念上简单,但训练深度学习引擎通常要求与(多个)模型架构、优化、收敛分析、正则化等相关的重要技术专长。这些挑战可能会导致次优结果,或者更糟糕的是,导致无法创建任何足够用于工作的深度学习引擎。这样的复杂性可能会阻止用户训练和使用深度学习引擎进行放射疗法治疗规划,这是不期望的。

此外,可能存在与深度学习引擎相关的(多个)内在问题。例如,虽然经训练的深度学习引擎可以与其训练数据一致地操作,但不能保证该引擎可以泛化到其他数据集。关于自动分割,这可能导致次优轮廓绘制。例如,使用来自欧洲和美国诊所的数据所训练的乳房分割模型可能不适用于来自其他地理区域的患者数据。差异可能包括患者群体的平均大小、体重和体型。另外,不同的规划方具有不同的轮廓绘制实践,这些实践可能由不同的模态和策略(例如,VMAT与IMRT)驱动。因此,在一个诊所表现良好的深度学习引擎可能不会被另一诊所接受。

连续深度学习

根据本公开的示例,可以基于连续深度学习来实现放射疗法治疗规划以改进深度学习引擎的性能。如本文中使用的,术语“连续深度学习”(也称为“终身学习”、“增量学习”和“顺序学习”)通常可以是指深度学习引擎在贯穿其整个操作而基于附加训练数据被修改或被改进的(多种)技术。这样,已训练的深度学习引擎可以随时间被修改以适应期望的临床实践和/或患者群体。通过改进深度学习引擎的可适应性,还可以改进患者的治疗规划结果,诸如提高肿瘤控制概率和/或降低健康结构中因放射过量导致健康并发症或死亡的可能性等。

更详细地,图2是示出用于计算机系统基于连续深度学习来执行放射疗法治疗规划的示例过程200的流程图。示例过程200可以包括由一个或多个框(诸如210至250)示出的一个或多个操作、功能或动作。基于期望实现,各种框可以组合成更少的框、划分成更多的框和/或被消除。示例过程200可以使用任何合适的(多个)计算机系统来实现,其示例将使用图9来讨论。将使用图3来解释一些示例,图3是根据图2的示例的基于连续深度学习的示例放射疗法治疗规划的示意图。

在图2中的210处,被训练以执行放射疗法治疗规划任务的深度学习引擎(参见图3中的320)可以被获取。在此,术语“获取”通常可以是指计算机系统从任何合适的源(例如,另一计算机系统)、存储器或数据存储库(例如,本地或远程)等访问或检索与深度学习引擎320相关联的数据和/或计算机可读指令。深度学习引擎320可以在训练阶段301期间基于与第一规划规则相关联的第一训练数据(参见图3中的310)而被训练。如本文中使用的,术语“规划规则”通常可以是指与特定放射疗法治疗规划任务和/或解剖部位相关的任何合适的(多个)临床指南、规划策略和/或(多个)规划实践。

在图2中的220处,深度学习引擎320可以在推理阶段302期间被用来执行放射疗法治疗规划任务。例如,基于与特定患者相关联的输入数据(参见图3中的330),深度学习引擎320可以执行放射疗法治疗规划任务以生成与患者相关联的输出数据(参见图3中的340)。在实践中,深度学习引擎320可以被训练以执行任何合适的放射疗法治疗规划任务,诸如自动分割、剂量预测、治疗递送数据估计、异常器官检测和/或治疗结果预测、或者前述项的任何组合。

在自动分割的情况下,深度学习引擎320可以被训练以基于输入=图像数据(例如,图1中的120)来生成输出=结构数据(例如,图1中的140)。在剂量预测的情况下,引擎320可以被训练以基于输入=结构数据和射束几何数据来生成输出=剂量数据(例如,图1中的150)。在治疗递送数据估计的情况下,引擎320可以被训练以基于输入=结构数据和/或剂量数据等来生成输出=治疗递送数据(例如,注量图数据和/或结构投影数据等)。

在图2中的230处,包括对输出数据340的(多个)修改的经修改的输出数据(参见图3中的350)可以被获取。这样,在图2中的240处,与第二规划规则相关联的第二训练数据(参见图3中的360)可以被生成。在实践中,经修改的输出数据350可以由规划方根据第二规划规则来生成以达成更好的治疗规划结果。

术语“修改”通常可以是指对输出数据进行的添加、删除、校正、改变或变更。例如,在自动分割的情况下(将使用图4进行讨论),经修改的输出数据350可以包括以下(多个)修改:围绕结构的经修改的分割边距;结构在特定方向上的延伸;结构的一个部分的剖切;结构的经修改的剖切面;和/或结构的不同侧的经修改的边距等。关于剂量预测(将使用图5进行讨论),经修改的输出数据350可以包括以下(多个)修改:经修改的器官保留、经修改的目标覆盖、经修改的目标剂量处方、和/或经修改的正常组织剂量处方等。可以使用任何备选和/或附加的(多个)修改。

在图2中的250处,可以通过使用第一训练数据310和第二训练数据360的组合(参见图3中的370)重新训练或修改深度学习引擎320来生成经修改的深度学习引擎(参见图3中的380)。框250处的连续深度学习可以被执行以促进从第一规划规则到第二规划规则的适应。在图3的示例中,使用第一训练数据310(data(A))所训练的深度学习引擎320可以包括与权重数据(w(A))相关联的多个处理层。在这种情况下,使用组合的训练数据370(data(A,B))所训练的经修改的深度学习引擎380可以包括与经修改的权重数据(w(A,B))相关联的多个处理层。

在实践中,第二训练数据360可以表示本地的用户生成的训练数据。相对地,第一训练数据310可以表示与可能已经针对不同患者群体而设计的不同规划规则相关联的更一般的数据集。例如,深度学习引擎320可以根据更适合特定患者群体(例如,欧洲和美国的患者)的规划规则被训练。在连续深度学习阶段303期间,可以做出改进以使深度学习引擎320适应针对不同患者群体(例如,东亚患者)的不同规划规则。

第一训练数据310与第二训练数据360之间的组合或混合比率可以随时间调整。最初,与第二训练数据360相比,第一训练数据310可以更多。随着更多本地训练数据变得可用,第二训练数据360的比率增加。应当注意,第一训练数据310可以完全或部分地被包括在组合的训练数据370中。如将使用6和图7进一步讨论的,第二训练数据360可以使用由规划方操作的本地规划系统来生成。在这种情况下,第二训练数据360可以表示由规划方根据优选的第二规划规则而生成的附加训练数据。

本公开的示例可以被实现以改善与训练用于放射疗法治疗规划的深度学习引擎相关联的各种挑战。在实践中,训练阶段301可以由中央规划系统(将使用图6和图7进行讨论)实现。推理阶段302可以在临床站点处“本地”实现,其中深度学习引擎320的输出数据340可以通过用户校正来改进。每次规划方生成经修改的输出数据350时,附加的第二训练数据360可以用于深度学习引擎的连续训练。随着更多校正或修改变得可用,深度学习引擎320/380可以适应本地需要。

此外,用户不必须具有关于(多个)深度学习模型架构等的广泛知识。使用已经稳定的深度学习引擎320作为起点,用户将不必太担心技术问题,诸如收敛、本地最小值或权重初始化不佳。因此,没有必要从头开始训练深度学习引擎320,尤其是当只有有限数量的本地训练数据时(例如,与第一训练数据310相比量或变化有限)。代替地,用户可以利用用于在训练阶段301期间训练深度学习引擎320的质量更好的第一训练数据310(例如,更多数据、专家精选数据的可用性和/或更多变化等)。这样,还可以降低在训练阶段301期间达成次优训练结果的风险。

下面将使用图4至图9讨论各种示例。特别地,将使用图4讨论示例自动分割,使用图5讨论示例剂量预测,使用图6讨论示例部署,使用图7讨论示例治疗计划,使用图8讨论示例计算机系统。

自动分割

图4是示出基于连续深度学习的示例自动分割的示意图。在图4的示例中,深度学习引擎420(以下也称为“分割引擎”)可以在训练阶段401期间使用第一训练数据410被训练;在推理阶段402期间被应用以执行自动分割;并且在连续深度学习阶段403期间重新被训练或者被改进。在实践中,自动分割的输出可以用于异常器官检测、剂量预测和/或治疗递送数据估计等。

(a)训练阶段(参见图4中的401)

在训练阶段401期间,分割引擎420可以被训练以将训练图像数据411(即,输入)映射到训练结构数据412(即,输出)。在实践中,图像数据411可以包括患者的解剖部位的2D或3D图像,并且可以使用任何合适的(多个)成像模态来捕获。结构数据412可以从图像数据411标识(多个)结构的任何合适的轮廓、形状、尺寸和/或位置。示例结构可以包括解剖部位的(多个)目标、(多个)OAR或者任何其他感兴趣结构(例如,组织、骨)。取决于期望实现,结构数据412可以标识具有任何合适形状和大小的多个目标和OAR。

例如,关于前列腺癌,图像数据411可以包括部位=前列腺区域的图像。在这种情况下,结构数据412可以标识表示每个患者的前列腺的目标、以及表示诸如直肠和膀胱等近端健康结构的OAR。关于肺癌治疗,图像数据411可以包括肺区域的图像。在这种情况下,结构数据412可以标识表示癌性肺组织的目标、以及表示近端健康肺组织、食道和/或心脏等的OAR。关于脑癌,图像数据411可以包括大脑区域的图像。结构数据412可以标识表示脑肿瘤的目标、以及表示近端视神经和/或脑干等的OAR。

第一训练数据410可以从根据任何期望的规划规则针对多个过去的患者而开发的过去的治疗计划中提取,和/或从任何合适的(多个)源(例如,系统提供方、医院、患者数据库等)获取。第一训练数据410可以使用任何合适的数据增强方法(例如,旋转、翻转、平移、缩放、噪声添加和/或裁剪、或者前述项的任何组合等)被预处理以产生具有经修改的属性的新数据集来使用基准真相改进模型泛化。在实践中,将经受放射的患者的3D体积被称为治疗体积,治疗体积可以被划分成多个更小的体积像素(体素)。在这种情况下,结构数据412可以指定与3D体积中的每个体素相关联的类标签(例如,“目标”、“OAR”等)。

可以使用任何合适的(多个)深度学习模型。例如,在图4中,分割引擎420包括多个(N>1)处理块或层,每个处理块或层标记为Li,其中i=1,...,N(参见421-42N)。在这种情况下,训练阶段401可以涉及找到能够最小化训练结构数据412与由分割引擎420生成的估计结构数据(为了简单起见未示出)之间的训练误差的权重数据(对于Li表示为wi)。训练阶段401还可以涉及找到其他参数或超参数,诸如与激活函数相关的参数等。训练过程可以通过估计与分类误差相关联的损失来指导。损失函数的一个简单示例是真实结果和预测结果之间的均方误差,但是损失函数可以具有更复杂的公式。例如,损失函数本身可能是一个深度神经网络。这种损失可以从模型的输出或者从模型内的任何离散点来估计。

第i层的权重数据wi可以是标量或多维向量。在卷积神经网络的情况下,第i层(Li)可以是卷积层,该卷积层被配置为使用卷积运算从训练数据410或第(i-l)层(Li-1)的输出中提取特征数据(Fi)。例如,第一层(L1)处理输入图像数据411以生成第一特征数据(F1)。第二层(L2)处理第一特征数据(F1)以生成第二特征数据(F2),等等。第i层(Li)处的特征提取可以涉及将(多个)卷积滤波器或(多个)内核应用于其输入的重叠位置以学习对应权重数据(wi)。

由第i层生成的特征数据(Fi)可以包括针对2D图像数据的2D特征图、或者针对3D图像数据的3D特征图。特征数据(Fi)可以指定任何合适的(多个)解剖特征,诸如边界、到质心的距离、到中线的距离、到皮肤的距离、到骨骼的距离、侧向性、垂直和/或水平线的存在、(多个)形状相关参数、和/或纹理类型、或者前述项的任何组合等。这种自动特征提取方法应当与依赖于手工设计特征的传统方法区别开来。

(b)推理阶段(参见图4中的402)

在图4中的430和440处,规划方可以访问经训练的分割引擎420以针对特定患者执行自动分割。与该患者相关联的输入图像数据430使用分割引擎420的多个层421-42N被处理以提取特征数据(针对层Li是Fi)。目的是生成基于特征数据的输出结构数据440。输出结构数据440可以标识从输入图像数据430中可检测到的(多个)结构的任何合适的轮廓、形状、大小和/或位置。

在图4中的450处,可以基于用户所期望的任何合适的(多个)分割规则来修改输出结构数据440以达成优选的分割结果。关于自动分割,经修改的输出结构数据450可以包括(多个)以下修改:围绕轮廓结构的经修改的分割边距(例如,2mm至4mm);结构在一个方向上的延伸;结构的一个部分的剖切;结构(例如,脊髓)的经修改的剖切面;和/或结构的不同侧的经修改的边距(例如,与器官的上侧相比,下侧的边距更多)、或者前述项的任何组合等。

在图4中的460处,可以生成第二训练数据460以促进分割引擎420的后续改进。例如,第二训练数据460可以包括输入图像数据430和对应的经修改的结构数据450、以及任何附加训练数据(为了简单起见未示出)。与第一训练数据410相比,第二训练数据460可以表示用户生成的训练数据,该用户生成的训练数据被设计为训练分割引擎420以达成更理想的分割结果。

(c)连续深度学习阶段(参见图4中的403)

在图4中的470处,可以使用第一训练数据410和第二训练数据460的组合来生成组合的训练数据470。这样,可以通过基于组合的训练数据470重新训练或修改分割引擎420来生成经修改的分割引擎480。在图4中的示例中,经修改的分割引擎480可以包括具有相关联的经修改的权重数据的多个(N>1)处理层(Li),其中i=1,...,N(参见481-48N)。在实践中,任何合适的混合或组合比率可以用于组合的训练数据470。混合比率是可以随着更多本地(用户生成的)训练数据变得可用而随时间演变的参数。

可以使用任何合适的连续深度学习方法。在一个示例中,每次用户生成的分割被添加到第二训练数据460时,分割引擎420可以被训练多个时期(epoch)。在另一示例中,诸如使用在临床站点本地可用的计算资源等,分割引擎420可以间隔地(例如,每天一次,每周一次或任何其他时间间隔)从头开始被重新训练。此外,可以将病例权重分配给组合的训练数据470中的每个病例。使用等权重方法,所有训练病例被同等对待。例如,如果第一训练数据410中有1000个病例,并且第二训练数据460中有200个病例,则所有训练病例都可以分配有相同的病例权重。备选地,一些训练病例可以被分配更高的病例权重,诸如被认为质量更好的病例。

在图4中的490处,可以基于任何合适的验证参数数据490和任何用户提供的验证集来评估经修改的分割引擎480。验证参数数据490可以包括任何合适的(多个)参数,诸如骰子得分、平均表面差异(测量轮廓表面位置相对于基准真相的误差)、Hausdorff距离、准确度、特异性、重叠体积(例如,如果允许体积重叠)、图像集中集合平面上方的额外切片数、和/或Jaccard指数(例如,用于比较样本集的相似性和多样性)、或者前述项的任何组合等。在实践中,可以执行验证以确保经修改的分割引擎480的质量优于分割引擎420或者至少与分割引擎420相同。一旦被验证,经修改的分割引擎480就可以用于在推理阶段402的下一迭代期间执行针对患者的自动分割。如果对由经修改的分割引擎480生成的输出数据做出修改,则可以为了进一步改进而重复连续深度学习阶段403。

取决于期望实现,验证过程可以是无监督的、有监督的或者这两者的组合。根据无监督方法,经修改的引擎480的验证可以基于以下各项而被执行:(a)由系统提供方(例如,瓦里安医疗系统)提供的验证数据集,或者(b)由用户(例如,诊所)提供的验证数据集。在这两个选项中,目标是确保经修改的引擎480的质量优于(或至少不显著低于)初始引擎420。此外,可以使用任何合适的验证参数数据490来评估经修改的引擎480的质量,诸如验证集上度量的平均值或中位数。

对于无监督学习选项(a),当用户(例如,诊所)能够提供足够的训练数据时,可以放松验证标准。对于选项(b),验证集可以是随机患者选择;基于(针对离群值被验证的)来自初始引擎420的度量的选择或者由用户执行的选择。当针对离群值验证时,一般的思路是关注特定于用户但是可能不存在于第一训练数据410中的病例。在连续深度学习阶段403期间,这些离群值的权重可以更大。备选地,根据有监督学习方法,可以响应于确定验证过程没有产生清楚的结果(即,经修改的引擎480使用上面的选项(a)或(b)验证失败)而通知用户。在这种情况下,用户可以审阅第二训练数据460,诸如模型质量下降的病例;所选或离群病例;和/或被评估患者的度量。

在执行验证之后,可以存在几种可能的场景。在经修改的引擎480优于初始引擎420的第一场景中,经修改的引擎480可以被自动部署并且用户被通知。备选地,在第二场景中,可以通知用户并且要求用户基于在验证期间所使用的验证参数数据490来手动审阅经修改的引擎480执行较差的病例。用户然后可以做出关于是否针对推理阶段的下一迭代部署经修改的引擎480的决定。

在经修改的引擎480没有优于初始引擎420的第三场景中,经修改的引擎480将不会被自动部署。代替地,可以向用户提供接口以检查任何新的训练数据460。该检查可以标识数据质量是否足够,或者它是否与不同患者解剖结构、计划类型等有关。一旦被检查,用户就可以选择完全或部分拒绝训练数据460。另一选项是可以自动修改训练过程以创建新的经修改的引擎,诸如通过增加训练持续时间、使用对模型参数的超级搜索或者不同样本策略。在训练之后,经修改的引擎可以进入验证管线。代替于这里讨论的选项,数据收集和重新训练过程也可以被维持,因为一旦收集到足够的新数据,新的训练过程就被发起。一旦有新的训练数据可用,引擎就有机会改进。

剂量预测和其他规划任务

图5是示出基于连续深度学习的示例剂量预测的示意图。在该示例中,深度学习引擎520(即,下面的“剂量预测引擎”)可以在训练阶段501期间使用第一训练数据510而被训练;在推理阶段502期间被应用以执行剂量预测;并且在连续深度学习阶段503期间被修改。

在训练阶段(参见图5中的501)期间,第一训练数据510可以被用来训练剂量预测引擎520。第一训练数据510可以包括与多个过去的患者相关联的图像和结构数据511(即,训练输入)以及剂量数据512(即,训练输出)。剂量数据512(例如,3D剂量数据)可以指定目标的剂量分布(表示为“DTAR”)和OAR的剂量分布(表示为“DOAR”)。例如,关于前列腺癌,剂量数据512可以指定表示患者前列腺的目标的剂量分布、以及表示诸如直肠或膀胱等近端健康结构的OAR。在实践中,剂量数据512可以指定整个3D体积的剂量分布,而不仅仅是目标和OAR体积的剂量分布。剂量数据512可以包括空间生物效应数据(例如,分割校正剂量)和/或仅覆盖治疗体积的一部分。任何附加的输入数据可以用于训练剂量预测引擎520,诸如与治疗递送系统相关联的射束几何数据、在治疗期间使用的光子能量、治疗类型(例如,立体定向、光子、质子和/或电子等)。

在推理阶段(参见图5中的502)期间,剂量预测引擎520可以被用来基于与特定患者相关联的输入图像和结构数据530生成输出剂量数据540。输出剂量数据540可以通过使用多个(K>1)处理层来处理输入数据530而被估计,每个处理层被标记为Li,并且具有相关联的权重数据wi,其中i=1,...,K(参见541-54K)。剂量数据540可以指定OAR的剂量分布(表示为“DOAR”)和多个目标的剂量分布(例如,DTAR1和DTAR2)。剂量数据540可以指定整个3D体积的剂量分布,而不仅仅是目标和OAR体积的剂量分布。然后可以基于规划方优选的任何合适的(多个)剂量预测规则做出(多个)修改以生成经修改的输出剂量数据550。(多个)修改可以包括经修改的器官保留(例如,相比其他器官更强调一些器官的重要性)、经修改的目标覆盖、经修改的目标剂量处方和/或经修改的正常组织剂量。附加地或备选地,(多个)修改可以与治疗技术(例如,IMRT和/或VMAT等)、场几何形状、机器规格(例如,能量和场形状、和/或场放置的临床实践)等有关。

在连续深度学习阶段(参见图5中的503)期间,第一训练数据510(即,在训练阶段501期间使用的)和第二训练数据560(即,基于经修改的剂量数据550而生成的)的组合可以用于改进剂量预测引擎520。经修改的剂量预测引擎580可以包括具有相关联的经修改的权重数据的多个(K>1)处理层(Li),其中i=1,...,K(参见581-58K)。接下来,可以基于任何合适的验证参数数据590和验证数据集来验证经修改的剂量预测引擎580。这是为了确保在连续深度学习之后剂量预测质量被改进(或至少被维持)。关于图4中的自动分割所讨论的示例验证参数数据和各种验证方法(例如,有监督的、无监督的、自动部署和/或用户的手动检查等)在这里也适用,并且为简洁起见不再重复。

一旦被验证和被批准,经修改的剂量预测引擎580就可以被部署用于推理阶段502的下一迭代。如果对由修改引擎580生成的输出剂量数据做出修改,则连续深度学习阶段503可以被重复用于实现进一步的改进。除了图4中的自动分割和图5中的剂量预测,还可以针对其他放射疗法治疗规划任务实现连续深度学习,诸如治疗递送数据估计和/或治疗结果预测等。所估计的治疗递送数据(即,输出数据)可以包括结构投影数据和/或注量图数据等。例如,深度学习引擎可以被训练以执行结构投影数据,诸如基于图像数据和/或结构数据、剂量数据、或者前述项的任何组合。结构投影数据可以包括与治疗递送系统的射束取向和机器轨迹有关的数据。

在另一示例中,深度学习引擎可以被训练以执行注量图估计,诸如针对一组射束取向或轨迹的2D注量图、和/或机器控制点数据(例如,钳口和叶位置、机架和病床位置)等。将使用图8进一步解释注量图。可以使用任何附加和/或备选的训练数据,诸如场几何数据、监测单位(由机器计数的放射量)、计划估计的质量(可接受与否)、每日剂量处方(输出)、场大小或其他机器参数、病床位置参数或患者体内的等中心位置、治疗策略(是否使用运动控制机制、提升或不提升)、和/或具有治疗或没有治疗决策等。

示例部署

本公开的示例可以以任何合适的方式部署,诸如独立系统和/或基于web的规划即服务(PaaS)系统等。下面将使用图6解释示例。图6是示出可以在其中实现基于连续深度学习的放射疗法治疗规划的示例网络环境600的示意图。

网络环境600包括经由任何合适的物理网络与多个本地规划系统(参见611-614)通信的中央规划系统(参见图6中的610)。本地规划系统每个可以由特定规划站点的规划方操作。在图6中使用M=4个规划方,第一规划方(“P1”)操作第一本地规划系统611,第二规划方(“P2”)操作第二本地规划系统612,第三规划方(“P3”)操作第三本地规划系统613,并且第四规划方(“P4”)操作第四本地规划系统614。

这里,术语“本地”通常可以是指与特定规划方和/或本地规划系统相关联的客户端数据和/或(多个)元素。术语“全局”通常可以是指与中央规划系统610相关联的数据和/或(多个)元素,中央规划系统610由多个规划方通过相应本地规划系统611-614可访问。在实践中,本地规划系统611-614的各种功能可以在相应规划站点处使用独立系统来实现。附加地或备选地,本地规划系统611-614的各种功能性可以由中央规划系统610支持。

根据图1至图5中的示例,训练数据620(表示为全局data(A))可以用于在训练阶段301/401/501期间训练初始治疗规划引擎630。包括与权重数据(表示为w(A))相关联的多个处理层的治疗规划引擎630然后可以使用相应本地规划系统611-614进一步被改进。治疗规划引擎630也可以与任何附加引擎参数数据相关联,诸如激活函数的参数等。在第一本地规划系统611处,治疗规划引擎630可以通过基于全局或公共训练数据620(即,data(A))和本地或私人训练数据621(即,data(B1))的组合执行连续深度学习而被改进。改进产生与表示为w(A,B1)的经修改的权重数据相关联的经修改的治疗规划引擎631。

在第二本地规划系统612处,治疗规划引擎630可以使用data(A)620和由第二规划方根据(多个)优选规划规则而生成的data(B2)622的组合而被修改。连续深度学习产生经修改的引擎632。在第三本地规划系统613处,data(A)620和与第三规划方相关联的data(B3)623的组合可以被用来生成经修改的引擎633。最后,在第四本地规划系统613处,data(A)620和与第四规划方相关联的data(B4)624的组合可以被用来生成经修改的引擎634。应当理解,可以在连续深度学习阶段期间完全或部分地使用data(A)。

与具有权重数据w(A)的治疗规划引擎630相比,经修改的治疗规划引擎631-634分别与表示为w(A,B1)、w(A,B2)、w(A,B3)和w(A,B4)的经修改的权重数据相关联。这样,每个规划方可以利用基于训练数据620的治疗规划引擎630的初始训练,然后对其进行调整以更好地满足他们的本地需要、风格和要求。这在规划方不具有所要求的技术专长和/或足够的本地训练数据621-624来训练他们自己的内部引擎或模型时尤其有益。随着更多的本地训练数据621-624变得可用,经修改的治疗规划引擎631-634可以随时间逐渐被改进,以便达成针对相应规划方的更好的治疗规划结果。

在实践中,深度迁移学习技术可以用于促进由图6中的相应本地规划系统611-614进行的治疗规划引擎630的连续学习。这里,术语“深度迁移学习”通常可以是指其中一个深度学习引擎(参见630)(完全或部分地)被调整或被改变用途作为另一深度学习引擎(参见631-634)的起点的(多种)技术。在一个示例中,深度迁移学习表示可以在训练过程期间促进更快的进步或经改进的性能的优化策略。这样,由(全局)治疗规划引擎630学习的知识可以被本地规划系统611-614利用并且被迁移到相应(本地)引擎631-634。作为图6中的示例的变体,本地规划系统611-614可以访问治疗规划引擎630,但不能访问在训练期间使用的全局data(A)。在这种情况下,可以通过使用相应本地data(B1)到data(B4)重新训练治疗规划引擎630来执行连续深度学习以生成相应的经修改的引擎631-634。

示例治疗计划

在放射疗法治疗规划期间,可以基于使用以上所讨论的治疗规划引擎生成的结构数据和/或剂量数据来生成治疗计划156/700。例如,图7是基于图1至图7的示例中的输出数据所生成或改进的示例治疗计划156/700的示意图。可以使用任何合适的治疗递送系统来递送治疗计划156,该治疗递送系统包括放射源710,放射源710用于将放射束720投射到治疗体积760上,治疗体积760以各种射束角730表示患者的解剖结构。

虽然图7中为简单起见未示出,但是放射源710可以包括用于加速放射束720的线性加速器和用于修改或调制放射束720的准直器(例如,MLC)。在另一示例中,通过使用特定模式以各种能量和停留时间在目标患者上扫描过放射束720,放射束720可以被调制(例如,如在质子疗法中)。控制器(例如,计算机系统)可以用于根据治疗计划156控制放射源720的操作。

在治疗递送期间,放射源710可以使用围绕患者的机架可旋转,或者患者可以被旋转(如在一些质子放射疗法解决方案中)以相对于患者以各种射束取向或角度来发射放射束720。例如,可以使用被配置为执行治疗递送数据估计的深度学习引擎来选择五个等距射束角730A-E(也标记为“A”、“B”、“C”、“D”和“′E”)。在实践中,可以选择任何合适数目的射束和/或台或椅子角度730(例如,五个、七个等)。在每个射束角处,放射束720沿着从放射源710延伸到治疗体积760的射束轴与位于患者包络外部的注量平面740(也称为相交平面)相关联,。如图7所示,注量平面740通常在离等中心点的已知距离处。

除了射束角730A-E以外,针对治疗递送还要求放射束720的注量参数。术语“注量参数”通常可以是指放射束720的特性,诸如使用注量图(例如,针对对应射束角730A-E的750A-E)所表示的其强度分布。每个注量图(例如,750A)表示在特定射束角(例如,730A)处的注量平面740上的每个点处的放射束720的强度。然后可以根据注量图750A-E执行治疗递送,诸如使用IMRT等。根据注量图750A-E沉积的放射剂量应当尽可能多地与根据本公开的示素生成的治疗计划对应。

计算机系统

上述示例可以由硬件、软件或固件或者其组合来实现。图8是用于基于连续学习的放射疗法治疗规划的示例计算机系统800的示意图。在该示例中,计算机系统805(也称为治疗规划系统)可以包括处理器810、计算机可读存储介质820、用于与放射疗法治疗递送系统160接口对接的接口840、以及促进这些所示组件和其他组件之间的通信的总线830。

处理器810将执行本文中参考图1至图7描述的过程。计算机可读存储介质820可以存储任何合适的信息822,诸如与训练数据、深度学习引擎、权重数据、输入数据和/或输出数据等有关的信息。计算机可读存储介质820还可以存储计算机可读指令824,计算机可读指令824响应于由处理器810的执行而使处理器810执行本文中描述的过程。可以使用使用图1所解释的治疗规划系统160根据治疗计划156递送治疗,为简洁起见,其描述在此不再赘述。在实践中,计算机系统800可以是包括多个计算机系统的计算集群的一部分。计算机系统800可以包括任何备选和/或附加的(多个)组件,诸如图形处理单元(GPU)、用于通信的消息队列、二进制大型物件存储装置或数据库、(多个)负载平衡器和/或专用电路等。计算机系统800可以以任何合适的方式部署,包括在驻地云基础设施、和/或公共云基础设施、或者其组合中的服务类型部署等。

前述详细描述已经通过使用框图、流程图和/或示例阐述了设备和/或过程的各种实施例。就这样的框图、流程图和/或示例包含一个或多个功能和/或操作而言,本领域技术人员将理解,这样的框图、流程图或示例中的每个功能和/或操作都可以由各种硬件、软件、固件或其几乎任何组合单独地和/或共同地实现。贯穿本公开,术语“第一”、“第二”、“第三”等不表示任何重要性顺序,而是用于将一个元素与另一元素区分开来。

本领域技术人员将认识到,本文中公开的实施例的一些方面整体或部分地可以等效地在集成电路中实现,实现为在一个或多个计算机上运行的一个或多个计算机程序(例如,作为在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如,在一个或多个微处理器上运行的一个或多个程序)、固件或其几乎任何组合,并且鉴于本公开,设计电路系统和/或编写针对软件或固件的代码将很好地在本领域技术人员的技能范围内。

尽管已经参考特定示例实施例描述了本公开,但是应当认识到,本公开不限于所描述的实施例,而是可以在所附权利要求的精神和范围内利用修改和改变来实践。因此,说明书和附图被认为是说明性的而不是限制性的。

25页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:抗菌性组合物

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!