具体实施方式

提出了一种用于获取机器学习模型的置信度度量的概念。进一步地，置信度度量可以与提供给机器学习模型的特定输入数据相关联。因此，实施例可以使得能够提供对于评估模型输出可能有用的信息。

具体地，可以通过修改(或扩充)输入数据并且分析由ML模型针对修改(或扩充)的输入数据提供的结果来确定置信度度量。比如，输入数据可能会自动进行若干个不同的修改(或扩充)，其随后由ML模型进行处理。然后，可以分析经修改的(或经扩充的)数据的ML模型输出(即，结果)以评估结果的稳健性或可变性。这可以使得能够确定ML模型的置信度度量。

例如，可以确定与ML模型的输入数据相关联的置信度度量，并且这可以基于经修改的(或经扩充的)输入数据的ML模型输出(即，结果)的方差。

将这样的置信度度量与ML模型的输入数据相关联可以使得指示(例如，带有相关置信度度量的文本描述的图形叠加)与输入数据的ML模型输出相关联。这可能有助于简单快速地评估ML模型结果(例如，通过标识模型不太置信的输出)。

实施例可以提供关于ML模型输出的不确定性的估计。因此，所提出的实施例例如可以用于标识(例如，通过处理特定输入数据提供的)客户端侧ML模型的输出是否可靠。

例如，实施例可以用于改进受试者的医疗数据分析。因此，说明性实施例可以用于许多不同类型的医疗评估装置和/或医疗评估设施，诸如医院、病房、研究设施等。

通过示例，ML模型输出置信度评估可用于理解和/或评估由ML模型做出的决策。使用所提出的实施例，用户可以例如标识更不可靠或更可靠的模型输出/结果。

此外，实施例可以集成在数据分析系统或ML决策系统中以向用户(例如，技术人员、数据分析师)提供关于结果的实时信息。使用这种信息，技术人员可以检查模型输出和/或决策，并且必要时，调整或修改输出和/或决策。

所提出的实施例可以从ML模型中标识不确定决策或输出。然后，可以关注和/或(例如，经由从更多信息源中学习)改进这种决策/输出。

为了向说明性实施例的元件和功能的描述提供上下文，以下提供附图作为说明性实施例的各方面可以如何实现的示例。因此，应当领会，附图仅是示例并不旨在断言或暗示关于可以在其中实现本发明的方面或实施例的环境、系统或方法的任何限制。

本发明的实施例可以针对使得能够对ML模型结果进行潜在分级。这对于例如通过标识不确定决策或输出评估已部署(例如，客户端侧)ML模型可能很有用。这可能有助于减少错误决策或不准确决策的影响，从而提供改进的数据分析。因此，实施例可以用于实时数据评估目的，例如，评估医疗图像分析模型是否适合特定对象和/或医疗扫描过程。

图1示出了根据实施例的用于获取ML模型105的置信度度量的系统100的实施例。本文中，ML模型105部署到客户端，因此已经被训练和完成。因此，ML模型105的客户端侧重新训练并不可行或不可能。

系统100包括接口部件110，该接口部件110适于获取输入数据10。本文中，接口部件110适于从医疗成像装置115(诸如例如，MRI设备)接收形式为医疗图像10的输入数据10。

医疗图像10经由有线连接或无线连接传达到接口部件110。通过示例，无线连接可以包括中短距离通信链路。为避免歧义，中短距离通信链路可以被认为意指具有高达约一百(100)米的范围的短距离或中距离通信链路。在被设计为用于极短通信距离的短距离通信链路中，信号的行进距离通常从几厘米到几米不等，而在被设计为中短距离通信的中距离通信链路中，信号的行进距离通常多达一百(100)米。短距离无线通信链路的示例包括ANT+、蓝牙、蓝牙低功耗、IEEE802.15.4、ISA 100a、红外(IrDA)、近场通信(NFC)、RFID、6LoWPAN、UWB、无线HART、无线HD、无线USB、ZigBee。中距离通信链路的示例包括Wi-Fi、ISM频段、Z-Wave。本文中，输出信号没有加密用于以安全方式经由有线连接或无线连接进行通信。然而，应当领会，在其他实施例中，可以采用一种或多种加密技术和/或一种或多种安全通信链路用于系统中信号/数据的通信。

系统100还包括数据修改部件120，该数据修改部件120被配置为生成输入数据的多个修改实例。具体地，本实施例的数据修改部件120被配置为对医疗图像10应用多个不同的空间弯曲变换以生成医疗图像10的相应多个修改实例。这样，数据修改部件120对医疗图像10进行小的/较小的修改以生成医疗图像的多个经修改的(或经扩充的)版本。

系统100还包括ML模型接口122，该ML模型接口122被配置为将医疗图像10和医疗图像的多个修改实例传达到ML模型105。为此，系统100的机器学习模型接口122可以经由互联网或“云”50传达机器学习模型105。

响应于接收到医疗图像10和医疗图像的多个修改实例，ML模型处理所接收的数据以生成相应结果。更具体地，医疗图像10由ML模型105处理以生成初步结果，并且输入数据的修改实例由ML模型105处理以生成相应多个二次结果。

由ML模型105生成的这些结果然后传达回到系统100。因此，机器学习模型接口122还被配置为接收(由处理医疗图像10的ML模型105生成的)初步结果并且接收(由处理医疗图像10的相应多个修改实例的ML模型105生成的)多个二次结果。

在该实施例中，因为数据修改部件120对医疗图像10应用了多个不同的空间弯曲变换(以生成医疗图像10的相应多个修改实例)，所以数据修改部件120还被配置为将相应逆空间弯曲变换应用于所接收的多个二次结果。这样，对二次结果进行变换回或归一化，以供参考初步结果。

本文中，应当指出，为了该目的，应用变换和/或逆变换，数据修改部件120可以与互联网或“云”50中可用的一个或多个数据处理资源通信。这样的数据处理资源可以承担实现变换所需的部分或所有处理。因此，应当领会，该实施例可以采用分布式处理原理。

系统100还包括分析部件124，该分析部件124被配置为基于二次结果来确定置信度度量。本文中，分析部件124被配置为基于二次结果的逆方差来确定置信度度量。因此，当二次结果的方差较低时，置信度度量的值就较高。相反，当二次结果的方差高时，置信度度量的值就低。然后，置信度度量与输入医疗图像10及其由ML模型105处理的初步结果相关联。

再者，应当指出，为了基于二次结果来确定置信度度量，分析部件124可以与互联网或“云”50中可用的一个或多个数据处理资源通信。这样的数据处理资源可以进行确定置信度度量所需的部分或全部处理。因此，应当领会，该实施例可以采用分布式处理原理。

分析部件124还适于生成代表初步结果和所确定的置信度的输出信号130。换言之，在确定初步结果的可靠性水平之后，生成代表初步结果的可靠性水平的输出信号130。

该系统还包括图形用户接口(GUI)160，该GUI 160用于向一个或多个用户提供信息。输出信号130经由有线连接或无线连接提供给GUI 160。通过示例，无线连接可以包括中短距离通信链路。如图1所指示的，输出信号130从数据处理单元110提供给GUI 160。然而，在系统已经经由互联网或云50使用数据处理资源的情况下，输出信号GUI 160可以经由互联网或云50供GUI 160使用。

基于输出信号130，GUI 160适于通过在GUI 160的显示区域中显示一个或多个图形元素来传达信息。这样，系统可以使用可以用于指示与处理结果相关联的确定性或置信度水平的ML模型105传达关于处理医疗图像10的结果的信息。例如，GUI 160可以用于向医疗从业人员、数据分析师、工程师、医疗成像装置操作员、技术人员等显示图形元素。

尽管上文所详述的图1的示例实施例关于医疗成像进行描述，但是应当领会，所提出的概念可以扩展到其他形式的输入数据，诸如医疗案例笔记、工程图像等。

此外，根据上文描述，应当理解ML模型可以采用任何合适的形式。例如，ML模型可以包括人工神经网络、生成对抗网络(GAN)、贝叶斯网络、或其组合。

根据图1的上述描述，应当领会，实施例可以提供对从ML模型返回的结果的置信度的估计。置信度的估计可以借助于输入数据扩充/修改导出，并且针对客户端侧处的已部署ML模型获取。

实施例可以以以下提议为前提：准确或可靠/值得信赖的ML模型应当具有“良好表现”，即，对输入数据的小扰动应当对输出数据具有小的对应影响。为了分析ML模型，要处理的输入数据(例如，新案例)经受多次扩充/修改，然后这些全部由ML模型处理。然后，来自对经扩充的/经修改输入进行处理的结果的方差可以用于确定置信度的度量(其可以代表ML模型的准确性、稳健性或可靠性)。这样，实施例可以提供输入特定(例如，案例特定)置信度度量，并且这可能与由ML模型的提供者做出的任何声明或建议无关。

因此，所提出的实施例可以概括为基于将ML模型的泛化能力解释为连续性属性的提议。换言之，如果ML模型(诸如神经网络)很好地泛化到不可见输入数据(例如，案例C₀)，则对输入数据(C₀)的小扰动应当只会对ML模型输出产生很小的对应影响.

实施例可以应用于深度学习模块的客户端侧部署阶段(而非训练阶段)。

还通过示例，根据实施例的用于获取ML模型的置信度度量的方法可以概括如下：

(i)新案例C₀输入到ML模型，从而产生特定初步结果R₀；在经由体素标记进行语义分割的情况下，C₀对应于输入图像体积，而R₀对应于相同大小的体积，其中每个体素包含标签信息，例如，将级别指定为C₀中对应图像体素的单个整数值。可替代地，对于来自C₀的每个体素，R₀可以包含其条目对应于相关级别概率的概率向量。例如，对于可以在n个不同级别之间做出决定的ML模型，与某个图像体素相关联的向量由总计为1的n个条目组成。

(ii)案例C0以多种方式修改(‘扩充’)，例如，通过与其他患者的空间配准、通过任意局部变形(弯曲)、通过添加噪声等、或这些方法的组合。在语义分割的情况下，当应用空间变换时，对于弯曲图像中的每个体素，存储原始图像中的坐标。

(iii)C0的每个扩充版本Ci也传递到ML模型，各自得出一个对应结果Ri；对于语义分割，常用ML模型为U-Net架构。

(iv)初步结果R0提供给用户，辅以集合{Ri}的可变性，该可变性指示与初步结果R0相关联的置信度水平(其中置信度水平与集合{Ri}的可变性成反比)。对于语义分割，单独计算每个体素的置信度水平。

对于C0中的每个体素，我们查找每个Ci中的对应位置，并且从Ri收集ML算法的输出。与所考虑的体素相关联的所有输出都使用直方图(级别频率汇总)进行汇总。基于对直方图和相关经验分布的分析，诸如香农熵(即，其中pi为给定符号的概率)或基尼系数(其等于绝对平等线以下的面积)(定义为0.5)之类的各种确定性度量减去洛伦兹曲线下方的面积，除以绝对平等线以下的面积。换言之，可以计算出洛伦兹曲线与绝对平等线之间的面积的两倍)。

对于体素标记(例如，语义分割)和定位任务，通过微分同胚空间变换(例如，刚性、仿射、微分同胚弯曲)使用扩充可以允许实施例将所得标签图像或定位坐标唯一变换回到原始体素网格(通过应用逆变换)。因此，在标记任务中，对于原始体素网格中的每个体素，都会生成整个标签群。除了上文所提及的香农熵或基尼系数之外，然后可以使用该标签群的样本方差来导出定量逐体素置信度。更精确地，置信度与样本方差或香农熵成反比。

对于可视化，置信度可以使用级别标签的颜色色调在显示器中被编码为颜色饱和度或不透明度。在定位任务中，可以生成一整套点位置，它们的分布同样可以叠加为单独点或经由拟合点密度函数(例如，使用正态分布)叠加。

对于分类任务，偏离级别R₀(其由网络指派给C₀)的级别指派{R_i}的比例可以提供关于用于扩充的变换的稳健性度量(即，置信度度量)。

现在，参考图2，描绘了用于获取ML模型的置信度度量的方法200的流程图。出于本示例的目的，ML模型包括以下各项中的至少一项：人工神经网络、生成对抗网络(GAN)、以及贝叶斯网络。

在图2中，步骤210包括：使用ML模型处理输入数据d₀以生成初步结果R₀。

步骤220包括：生成输入数据d₀的多个修改实例(d_i、d_ii、d_iii)。更具体地，生成输入数据的多个修改实例的步骤220包括多个步骤，即，步骤222、224、226。步骤222包括对输入数据d₀应用第一空间弯曲变换(例如，刚性或仿射变换)以生成输入数据的第一修改实例d_i。步骤224包括：向输入数据d₀添加噪声以生成输入数据的第二修改实例d_ii。步骤226包括：对输入数据d₀应用局部变形变换以生成输入数据的第三修改实例d_iii。

步骤230包括：使用ML模型处理输入数据的多个修改实例(d_i、d_ii、d_iii)以生成相应多个二次结果(R_i、R_ii、R_iii)。本文中应当指出，在适当的情况下，还可以使用相应逆变换对二次结果进行变换回(即，归一化)以与初步结果R₀进行比较。比如，逆空间弯曲变换应用于针对输入数据的第一修改实例d_i生成的二次结果R_i。此外，逆局部变形变换应用于针对输入数据的第三修改实例d_iii生成的二次结果R_iii。

步骤240包括：基于(归一化的)二次结果(R_i、R_ii、R_iii)来确定与ML模型有关的置信度度量。本文中，确定置信量度量包括：基于(归一化的)二次结果(R_i、R_ii、R_iii)的逆方差来确定置信度度量。如上文所提及的，在其他实施例中，确定置信度度量可以包括：确定香农熵或基尼系数。

图2的示例性实施例还包括步骤250：将所确定的置信量度量与初步结果R₀相关联。这样，可以生成初步结果的R₀可靠性的简单表示并且将其与初步结果R₀相关联。这可以使得用户能够相对于分析ML模型对输入数据d₀的决策或输出快速轻松地标识和评估初步结果R₀的重要性和/或相关性。

现在，参考图3，描绘了根据本发明的系统的另一实施例，该系统包括适用的ML模型410。本文中，ML模型410包括传统神经网络410，该传统神经网络410例如可以用于医疗/临床决策服务。

神经网络410经由互联网420(例如，使用有线连接或无线连接)将代表来自对输入数据进行处理的结果或决策的输出信号传达到远程定位的数据处理系统430，用于获取ML模型(诸如服务器)的置信度度量。

数据处理系统430适于按照根据所提出的实施例的方法来获取和处理输入数据，以标识ML模型410的置信度度量。

更具体地，数据处理系统430获取输入数据并且生成输入数据的多个修改实例。然后，数据处理系统430将输入数据和输入数据的多个修改实例传达到ML模型410。ML模型410处理从数据处理系统430接收的数据以生成相应结果。更具体地，输入数据由ML模型410处理以生成初步结果，并且输入数据的修改实例由ML模型410处理以生成相应多个二次结果。然后，数据处理系统430从ML模型410获取初步结果和多个二次结果。基于二次结果的可变性，数据处理系统430确定由ML模型410创建的初步结果的置信度度量。

数据处理系统430还适于生成代表置信度度量的输出信号。因此，数据处理系统430提供中央可访问的处理资源，其可以接收输入数据并且运行一个或多个算法来标识和分别由ML模型410针对输入数据输出的初步结果(例如，决策)的可靠性。与所获取的置信度度量有关的信息可以由数据处理系统存储(例如，在数据库中)并且提供给系统的其他部件。这种提供关于ML模型和初步结果的信息可以响应于接收请求(例如，经由互联网420)和/或可以在没有请求的情况下进行(即，‘推送’)。

为了接收关于ML模型或初步结果的可靠性的信息，因此实现模型/数据分析或评估，该系统还包括第一移动计算设备440和第二移动计算设备450。

本文中，第一移动计算设备440为具有用于显示代表置信度度量的图形元素的显示器的移动电话设备(诸如智能电话)。第二移动计算设备450为具有用于显示代表ML模型结果和相关置信度度量的图形元素的显示器的诸如膝上型计算机或平板计算机之类的移动计算机。

数据处理系统430适于经由互联网420(例如，使用有线连接或无线连接)将输出信号传达到第一移动计算设备440和第二移动计算设备450。如上文所提及的，这可以响应于接收到来自第一移动计算设备440或第二移动计算设备450的请求而进行。

基于所接收的输出信号，第一移动计算设备440和第二移动计算设备450适于在由它们各自的显示器提供的显示区域中显示一个或多个图形元素。为此，第一移动计算设备440和第二移动计算设备450均包括用于处理、解密和/或解释所接收的输出信号以便确定如何显示图形元素的软件应用。因此，第一移动计算设备440和第二移动计算设备450各自包括处理布置，该处理布置适于确定代表置信度度量的一个或多个值，并且生成用于基于置信度度量来修改尺寸、形状、位置、方位、脉动或颜色的图形元素。

因此，系统可以将关于ML模型结果中的特征的信息传达到第一移动计算设备440和第二移动计算设备450的用户。例如，第一移动计算设备440和第二移动计算设备450中的每个移动计算设备可以用于向医疗从业人员、数据分析师或技术人员显示图形元素。

图3的系统的实现方式可以在以下情况之间发生变化：(i)数据处理系统430传达显示就绪(display-ready)数据的情形，该显示就绪数据可以例如包括显示数据，该显示数据包含使用传统图像或网页显示(其可以是基于网络的浏览器等)向移动计算设备的用户简单显示的图形元素(例如，采用JPEG或其他图像格式)；以及(ii)数据处理系统430传达原始数据信息的情形，接收移动计算设备然后处理该原始数据信息以生成初步结果和相关置信度度量(例如，使用在移动计算设备上运行的本地软件)。当然，在其他实现方式中，处理可以在数据处理系统430与接收移动计算设备之间共享，使得在数据处理系统430生成的部分数据发送到移动计算设备以供移动计算设备的本地专用软件进一步处理。因此，实施例可以采用服务器端侧处理、客户端侧处理或其任何组合。

进一步地，在数据处理系统430不是‘推送’信息(例如，输出信号)而是响应于接收请求传达信息的情况下，可能需要做出这种请求的设备的用户确认或验证他们的身份和/或安全凭证，以便传达信息。

本发明可以为用于获取机器学习模型的置信度度量的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使得处理器进行本发明的方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。

计算机可读存储介质可以为可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以为例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下各项：便携式计算机软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、诸如穿孔卡或凹槽中其中记录有指令的凸起结构之类的机械编码设备、以及前述的任何合适组合。本文中所使用的计算机可读存储介质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光缆的光脉冲)或通过电线传输的电信号。

本文中所描述的计算机可读程序指令可以从计算机可读存储介质下载到相应计算/处理设备或经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光学传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

计算机可读程序指令可以完全在用户计算机上、部分在用户计算机上、作为独立软件封装、部分在用户计算机上部分在远程计算机上、或完全在远程计算机或服务器上执行。在后一场景下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)在内的任何类型的网络连接到用户的计算机或可以(例如，使用互联网服务提供商通过互联网)连接到外部计算机。在一些实施例中，包括例如可编程逻辑电路系统、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路系统，以便执行本发明的各方面。

本文中参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图对本发明的各方面进行描述。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以生产机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的器件。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式运转，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。

图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。就这点而言，流程图或框图中的每个框都可以表示模块、区段、或指令的一部分，该部分包括用于实现一个或多个指定逻辑功能的一个或多个可执行指令。在一些备选实现方式中，框中标注的功能可以不按图中标注的次序发生。例如，依据所涉及的功能，连续示出的两个框实际上可以基本同时执行，或这些框有时可以按相反次序执行。还应当指出，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

因此，根据上文描述，应当领会，实施例可以用于确定与ML模型提供者声明无关的置信度度量。该置信度度量可以特定于输入数据(例如，特定于输入案例)。因而，实施例可以提供可以用作用于分级并检测任务的稳健性度量的信息。此外，可以针对特定用例专门设计数据修改/扩充。

因此，所提出的实施例可以适用于范围广泛的数据分析概念/领域，包括医疗数据分析和临床决策支持应用在内。比如，实施例可以用于医疗图像筛选，其中对象的医疗图像用于调查和/或评估对象。对于这种情况，可以提供关于分级不确定性(即，决策置信度)的像素水平信息，这可以解释或补充医疗专业人员(例如，放射科医生)的ML模型输出。

该描述出于说明和描述的目的而呈现，并不旨在穷举或限制采用所公开的形式的本发明。许多修改和变化对于本领域普通技术人员而言是显而易见的。已经选取并描述了实施例以最好地解释所提出的实施例的原理、一个或多个实际应用，并且使得本领域的其他普通技术人员能够理解具有各种修改的各种实施例。