阅读说明：本技术 使用脉动阵列在并行计算机器中计算高效的跨通道运算 (Computationally efficient cross-channel operations in parallel computing machines using systolic arrays ) 是由 S·马伊尤兰 J·帕拉 S·帕尔 C·古拉姆 于 2020-12-25 设计创作，主要内容包括：公开了一种用于促进使用脉动阵列在并行计算机器中计算高效的跨通道运算的装置。该装置包括多个寄存器和可通信地耦合到多个寄存器的一个或多个处理元件。一个或多个处理元件包括脉动阵列电路,用于对从多个寄存器中的单个源寄存器接收的源数据执行跨通道运算,该脉动阵列电路被修改以从单个源寄存器接收输入,并且将单个源寄存器的元素路由到脉动阵列电路中的多个通道。(An apparatus for facilitating computationally efficient cross-channel operations in parallel computing machines using systolic arrays is disclosed. The apparatus includes a plurality of registers and one or more processing elements communicatively coupled to the plurality of registers. One or more processing elements include a systolic array circuit for performing a cross-channel operation on source data received from a single source register of a plurality of registers, the systolic array circuit modified to receive inputs from the single source register and to route elements of the single source register to a plurality of channels in the systolic array circuit.)

具体实施方式

图形处理单元(GPU)通信地耦合到主机/处理器核心，以加速例如图形操作、机器学习操作、模式分析操作和/或各种通用GPU(GPGPU)功能。GPU可以通过总线或另一互连(例如，诸如PCIe或NVLink之类的高速互连)通信地耦合到主机处理器/核心。可替代地，GPU可以与核心集成在相同的封装或芯片上，并且通过内部处理器总线/互连(即，在封装或芯片的内部)通信地耦合到核。无论GPU连接方式如何，处理器核心都可以以工作描述符中包含的命令/指令序列的形式将工作分配给GPU。然后，GPU使用专用电路/逻辑来高效地处理这些命令/指令。

在下面的描述中，阐述了许多具体细节以提供更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一个或多个的情况下实践本文描述的实施例。在其他实例中，没有描述公知的特征，以避免使本实施例的细节不清楚。

系统总览

图1是根据实施例的处理系统100的框图。系统100可以用于单处理器台式系统、多处理器工作站系统或具有大量处理器102或处理器核心107的服务器系统中。在一个实施例中，系统100是包含于在移动、手持或嵌入设备中使用的片上系统(SoC)集成电路内的处理平台，例如，在具有到局域网或广域网的有线或无线连接的物联网(IoT)设备内。

在一个实施例中，系统100可以包括以下各项、与以下各项耦合或集成在以下各项内：基于服务器的游戏平台；游戏控制台，包括游戏和媒体控制台；移动游戏控制台，手持游戏控制台或在线游戏控制台。在一些实施例中，系统100是具有低内部存储容量的移动电话、智能电话、平板计算设备或诸如膝上型计算机之类的移动互联网连接设备的一部分。处理系统100还可以包括以下各项、与以下各项耦合或集成在以下各项内：可穿戴设备，例如，智能手表可穿戴设备；利用增强现实(AR)或虚拟现实(VR)特征增强以提供视觉、音频或触觉输出来补充现实世界视觉、音频或触觉体验或者以其他方式提供文本、音频、图形、视频、全息图像或视频或者触觉反馈的智能眼镜或服装；其他增强现实(AR)设备；或其他虚拟现实(VR)设备。在一些实施例中，处理系统100包括电视或机顶盒设备或是电视或机顶盒设备的一部分。在一个实施例中，系统100可以包括以下各项、与以下各项耦合或集成在以下各项内：自动驾驶交通工具，例如，公共汽车、拖拉机拖车、汽车、电动机或电动自行车、飞机或滑翔机(或其任何组合)。自动驾驶交通工具可以使用系统100来处理在交通工具周围感测到的环境。

在一些实施例中，一个或多个处理器102各自包括用于处理指令的一个或多个处理器核心107，该指令在被执行时执行针对系统或用户软件的操作。在一些实施例中，一个或多个处理器核心107中的至少一个被配置用于处理特定的指令集109。在一些实施例中，指令集109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)或经由超长指令字(VLIW)的计算。一个或多个处理器核心107可以处理不同的指令集109，不同的指令集109可以包括用于促进对其他指令集的模拟的指令。处理器核心107还可以包括其他处理设备，例如，数字信号处理器(DSP)。

在一些实施例中，处理器102包括高速缓冲存储器104。取决于架构，处理器102可以具有单个内部高速缓存或多个级别的内部高速缓存。在一些实施例中，高速缓冲存储器在处理器102的各种组件之间共享。在一些实施例中，处理器102还使用外部高速缓存(例如，3级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，其可以使用已知的高速缓存一致性技术在处理器核心107之间共享。另外，寄存器文件106可以包括在处理器102中，并且寄存器文件106可以包括用于存储不同类型数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以是特定于处理器102的设计的。

在一些实施例中，一个或多个处理器102与一个或多个接口总线110耦合，以在处理器102与系统100中的其他组件之间传输诸如地址信号、数据信号或控制信号之类的通信信号。在一个实施例中，接口总线110可以是处理器总线，例如，直接媒体接口(DMI)总线的版本。然而，处理器总线不限于DMI总线，并且可以包括一个或多个外围组件互连总线(例如，PCI、PCI express)、存储器总线或其他类型的接口总线。在一个实施例中，(多个)处理器102包括集成存储器控制器116和平台控制器中心130。存储器控制器116促进存储器设备与系统100的其他组件之间的通信，而平台控制器中心(PCH)130提供经由本地I/O总线与I/O设备的连接。

存储器设备120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪速存储器设备、相变存储器设备或具有合适性能以用作进程存储器的某种其他存储器设备。在一个实施例中，存储器设备120可以作为系统100的系统存储器操作，以存储数据122和指令121，以便在一个或多个处理器102执行应用或进程时使用。存储器控制器116还与可选的外部图形处理器118耦合，该外部图形处理器118可以与处理器102中的一个或多个图形处理器108通信以执行图形操作和媒体操作。在一些实施例中，图形、媒体和/或计算操作可以由加速器112辅助，该加速器是可以被配置为执行一组专门的图形、媒体或计算操作的协处理器。例如，在一个实施例中，加速器112是用于优化机器学习或计算操作的矩阵乘法加速器。在一个实施例中，加速器112是光线跟踪加速器，其可以用于与图形处理器108一致地执行光线跟踪操作。在一个实施例中，外部加速器119可以代替加速器112使用或与加速器112一致地使用。

在一些实施例中，显示设备111可以连接到(多个)处理器102。显示设备111可以是内部显示设备(如在移动电子设备或膝上型设备中)或者经由显示接口(例如，显示端口(DisplayPort)等)附接的外部显示设备中的一个或多个。在一个实施例中，显示设备111可以是头戴式显示器(HMD)，例如，用于虚拟现实(VR)应用或增强现实(AR)应用的立体显示设备。

在一些实施例中，平台控制器中心130使得外围设备能够经由高速I/O总线连接到存储器设备120和处理器102。I/O外围设备包括但不限于音频控制器146、网络控制器134、固件接口128、无线收发器126、触摸传感器125、数据存储设备124(例如，非易失性存储器、易失性存储器、硬盘驱动器、闪速存储器、NAND、3D NAND、3D XPoint等)。数据存储设备124可以经由存储接口(例如，SATA)或经由外围总线(例如，外围组件互连总线(例如，PCI、PCIexpress))连接。触摸传感器125可以包括触摸屏传感器、压力传感器或指纹传感器。无线收发器126可以是Wi-Fi收发器、蓝牙收发器或诸如3G、4G、5G或长期演进(LTE)收发器之类的移动网络收发器。固件接口128实现与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。网络控制器134可以实现与有线网络的网络连接。在一些实施例中，高性能网络控制器(未示出)与接口总线110耦合。在一个实施例中，音频控制器146是多通道高清晰度音频控制器。在一个实施例中，系统100包括用于将传统(例如，个人系统2(PS/2))设备与系统耦合的可选的传统I/O控制器140。平台控制器中心130还可以连接到一个或多个通用串行总线(USB)控制器142以连接输入设备，例如，键盘和鼠标143组合、相机144或其他USB输入设备。

将要认识到的是，所示的系统100是示例性的而非限制性的，因为还可以使用被不同配置的其他类型的数据处理系统。例如，存储器控制器116和平台控制器中心130的实例可以集成到分立的外部图形处理器(例如，外部图形处理器118)中。在一个实施例中，平台控制器中心130和/或存储器控制器116可以在一个或多个处理器102的外部。例如，系统100可以包括外部存储器控制器116和平台控制器中心130，其可以被配置作为在与(多个)处理器102通信的系统芯片组内的存储器控制器中心和外围控制器中心。

例如，可以使用其上放置有诸如CPU、存储器和其他组件之类的组件的电路板(“托架(sled)”)，其被设计用于提高热性能。在一些示例中，诸如处理器之类的处理组件位于托架的顶部，而附近存储器(例如，DIMM)位于托架的底部。由于该设计提供了增强的气流，因此这些组件可以以比典型系统更高的频率和功率水平操作，由此提高性能。此外，托架被配置为与机架中的电力和数据通信电缆盲配合，由此增强了它们被快速移除、升级、重新安装和/或替换的能力。类似地，位于托架上的个体组件(例如，处理器、加速器、存储器和数据存储驱动器)被配置为由于它们彼此的间隔增加而易于升级。在说明性实施例中，组件另外包括硬件证明特征以证明其真实性。

数据中心可以利用支持多个其他网络架构(包括以太网和Omni-Path)的单个网络架构(“结构”)。托架可以经由光纤耦合到交换机，与典型的双绞线电缆(例如，类别5、类别5e、类别6等)相比，光纤提供更高的带宽和更低的延迟。由于高带宽、低延迟的互连和网络架构，数据中心在使用中可以将诸如存储器、加速器(例如，GPU、图形加速器、FPGA、ASIC、神经网络和/或人工智能加速器等)以及物理上分解的数据存储驱动器之类的资源池化，并且根据需要将其提供给计算资源(例如，处理器)，从而使得计算资源能够像这些资源在本地一样来访问池化的资源。

电力供应或电源可以向系统100或本文描述的任何组件或系统提供电压和/或电流。在一个示例中，电力供应包括AC到DC(交流到直流)适配器，以插入壁装插座。这样的AC电源可以是可再生能源(例如，太阳能)电源。在一个示例中，电源包括DC电源，例如，外部AC到DC转换器。在一个示例中，电源或电力供应包括无线充电硬件，以经由靠近充电场来充电。在一个示例中，电源可以包括内部电池、交流电源、基于运动的电源、太阳能电源或燃料电池源。

图2A-2D示出了由本文描述的实施例提供的计算系统和图形处理器。图2A-2D中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。

图2A是具有一个或多个处理器核心202A-202N、集成存储器控制器214和集成图形处理器208的处理器200的实施例的框图。处理器200可以包括附加的核心，该附加的核心多达并且包括由虚线框表示的附加核心202N。处理器核心202A-202N中的每一个包括一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核心还具有对一个或多个共享高速缓存单元206的访问权。内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓冲存储器层级。高速缓冲存储器层级可以包括每个处理器核心内的至少一个级别的指令和数据高速缓存以及一个或多个级别的共享中间级别高速缓存，例如，2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中外部存储器之前的最高级别的高速缓存被分类为LLC。在一些实施例中，高速缓存一致性逻辑维持各种高速缓存单元206和204A-204N之间的一致性。

在一些实施例中，处理器200还可以包括一个或多个总线控制器单元216的集合和系统代理核心210。一个或多个总线控制器单元216管理外围总线的集合(例如，一个或多个PCI或PCI express总线)。系统代理核心210针对各种处理器组件提供管理功能。在一些实施例中，系统代理核心210包括一个或多个集成存储器控制器214以管理对各种外部存储器设备(未示出)的访问。

在一些实施例中，处理器核心202A-202N中的一个或多个包括对同时多线程化的支持。在这样的实施例中，系统代理核心210包括用于在多线程化处理期间协调并操作核心202A-202N的组件。系统代理核心210可以另外地包括功率控制单元(PCU)，其包括用于调节处理器核心202A-202N和图形处理器208的功率状态的逻辑和组件。

在一些实施例中，处理器200另外地包括用于执行图形处理操作的图形处理器208。在一些实施例中，图形处理器208与共享高速缓存单元206的集合以及包括一个或多个集成存储器控制器214的系统代理核心210耦合。在一些实施例中，系统代理核心210还包括显示控制器211，其用于将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中，显示控制器211还可以是经由至少一个互连与图形处理器耦合的单独模块，或者显示控制器211可以集成在图形处理器208内。

在一些实施例中，基于环形的互连单元212用于耦合处理器200的内部组件。然而，可以使用替代的互连单元，例如，点对点互连、交换互连或包括本领域公知的技术的其他技术。在一些实施例中，图形处理器208经由I/O链路213与环形互连212耦合。

示例性I/O链路213表示多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块218(例如，eDRAM模块)之间的通信的封装上I/O互连。在一些实施例中，处理器核心202A-202N中的每一个和图形处理器208能够使用嵌入式存储器模块218作为共享的最后一级高速缓存。

在一些实施例中，处理器核心202A-202N是执行相同指令集架构的同构核心。在另一实施例中，处理器核心202A-202N在指令集架构(ISA)方面是异构的，其中处理器核心202A-202N中的一个或多个执行第一指令集，而其他核心中的至少一个执行第一指令集的子集或不同的指令集。在一个实施例中，处理器核心202A-202N在微架构方面是异构的，其中具有相对较高功耗的一个或多个核心与具有较低功耗的一个或多个功率核心耦合。在一个实施例中，处理器核心202A-202N在计算能力方面是异构的。另外地，处理器200可以在一个或多个芯片上实现或者实现为具有所示组件以及其他组件的SoC集成电路。

图2B是根据本文描述的一些实施例的图形处理器核心219的硬件逻辑的框图。图2B中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。图形处理器核心219(有时称为核心切片)可以是模块化图形处理器内的一个或多个图形核心。图形处理器核心219是一个图形核心切片的示例，并且如本文描述的图形处理器可以基于目标功率和性能包络包括多个图形核心切片。每个图形处理器核心219可以包括与多个子核心221A-221F耦合的固定功能块230，该多个子核心221A-221F也被称为子切片，其包括通用逻辑和固定功能逻辑的模块化块。

在一些实施例中，固定功能块230包括几何/固定功能流水线231，例如，在较低性能和/或较低功率的图形处理器实现方式中，该几何/固定功能流水线231可以由图形处理器核心219中的所有子核心共享。在各种实施例中，几何/固定功能流水线231包括3D固定功能流水线(例如，下面描述的如图3A和图4中的3D流水线312)、视频前端单元、线程产生器和线程分派器以及管理统一返回缓冲器(例如，如下面描述的图4中的统一返回缓冲器418)的统一返回缓冲器管理器。

在一个实施例中，固定功能块230还包括图形SoC接口232、图形微控制器233和媒体流水线234。图形SoC接口232在图形处理器核心219和片上系统集成电路内的其他处理器核心之间提供接口。图形微控制器233是可编程的子处理器，其可配置为管理图形处理器核心219的各种功能，包括线程分派、调度和抢占。媒体流水线234(例如，图3A和图4的媒体流水线316)包括用于促进对包括图像和视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。媒体流水线234经由对子核心221-221F内的计算或采样逻辑的请求来实现媒体操作。

在一个实施例中，SoC接口232使得图形处理器核心219能够与通用应用处理器核心(例如，CPU)和/或SoC内的其他组件通信，该其他组件包括诸如共享的最后一级高速缓冲存储器、系统RAM和/或嵌入式片上或封装上DRAM之类的存储器层级元件。SoC接口232还可以使得能够与SoC内的固定功能设备(例如，相机成像流水线)通信，并且使得能够使用和/或实现可以在图形处理器核心219和SoC内的CPU之间共享的全局存储器原子。SoC接口232还可以实现对图形处理器核心219的功率管理控制，并且实现在图形核心219的时钟域与SoC内的其他时钟域之间的接口。在一个实施例中，SoC接口232使得能够从命令流送器和全局线程分派器接收命令缓冲器，该命令流送器和全局线程分派器被配置为向图形处理器内的一个或多个图形核心中的每一个图形核心提供命令和指令。当要执行媒体操作时，可以将命令和指令分派给媒体流水线234；或者当要执行图形处理操作时，可以将命令和指令分派给几何和固定功能流水线(例如，几何和固定功能流水线231、几何和固定功能流水线237)。

图形微控制器233可以被配置为执行针对图形处理器核心219的各种调度和管理任务。在一个实施例中，图形微控制器233可以在子核心221A-221F内的执行单元(EU)阵列222A-222F、224A-224F内的各种图形并行引擎上执行图形和/或计算工作负荷调度。在该调度模型中，在包括图形处理器核心219的SoC的CPU核心上执行的主机软件可以提交多个图形处理器门铃之一的工作负荷，这在适当的图形引擎上调用调度操作。调度操作包括确定接下来要运行的工作负荷，将工作负荷提交给命令流送器，抢占在引擎上运行的现有工作负荷，监视工作负荷的进度，以及在工作负荷完成时通知主机软件。在一个实施例中，图形微控制器233还可以促进图形处理器核心219的低功率或空闲状态，从而为图形处理器核心219提供独立于操作系统和/或系统上的图形驱动程序软件而跨低功率状态转换保存和恢复图形处理器核心219内的寄存器的能力。

图形处理器核心219可以具有多于或少于所示的子核心221A-221F，多达N个模块化子核心。对于N个子核心的每个集合，图形处理器核心219还可以包括共享功能逻辑235、共享和/或高速缓冲存储器236、几何/固定功能流水线237以及用于加速各种图形和计算处理操作的附加的固定功能逻辑238。共享功能逻辑235可以包括可以由图形处理器核心219内的N个子核心中的每一个共享的、与图4的共享功能逻辑420相关联的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)。共享和/或高速缓冲存储器236可以是用于图形处理器核心219内的N个子核心221A-221F的集合的最后一级高速缓存，并且还可以用作可由多个子核心访问的共享存储器。可以在固定功能块230内包括几何/固定功能流水线237而不是几何/固定功能流水线231，并且几何/固定功能流水线237可以包括相同或相似的逻辑单元。

在一个实施例中，图形处理器核心219包括附加的固定功能逻辑238，其可以包括供图形处理器核心219使用的各种固定功能加速逻辑。在一个实施例中，附加的固定功能逻辑238包括用于仅位置着色的附加的几何流水线。在仅位置着色中，存在两个几何流水线——在几何/固定功能流水线238、231内的完整几何流水线，以及作为可以包含于附加的固定功能逻辑238内的附加几何流水线的剔除(cull)流水线。在一个实施例中，剔除流水线是完整几何流水线的修减版本。完整流水线和剔除流水线可以执行同一应用的不同实例，每个实例具有单独的上下文。仅位置着色可以隐藏丢弃的三角形的长剔除运行(long cullrun)，从而使着色在一些情况下能够更早完成。例如，在一个实施例中，在附加的固定功能逻辑238内的剔除流水线逻辑可以与主应用并行地执行位置着色器，并且通常比完整流水线更快地生成关键结果，因为剔除流水线仅对顶点的位置属性进行获取和着色，而不执行光栅化并且将像素渲染到帧缓冲器。剔除流水线可以使用生成的关键结果来计算所有三角形的可见性信息，而不考虑这些三角形是否被剔除。完整流水线(在这种情况下，可以称为重放流水线)可以消耗可见性信息来跳过剔除的三角形，以仅着色最终被传递给光栅化阶段的可见三角形。

在一个实施例中，附加的固定功能逻辑238还可以包括机器学习加速逻辑(例如，固定功能矩阵乘法逻辑)，以用于包括针对机器学习训练或推理的优化的实现方式。

在每个图形子核心221A-221F内包括执行资源的集合，其可以用于响应于图形流水线、媒体流水线或着色器程序的请求而执行图形、媒体和计算操作。图形子核心221A-221F包括多个EU阵列222A-222F、224A-224F，线程分派和线程间通信(TD/IC)逻辑223A-223F，3D(例如，纹理)采样器225A-225F，媒体采样器206A-206F，着色器处理器227A-227F和共享本地存储器(SLM)228A-228F。EU阵列222A-222F、224A-224F各自包括多个执行单元，这些执行单元是能够执行服务于图形、媒体或计算操作的浮点和整数/定点逻辑运算的通用图形处理单元，包括图形、媒体或计算着色器程序。TD/IC逻辑223A-223F针对子核心内的执行单元执行本地线程分派和线程控制操作，并且促进在子核心的执行单元上执行的线程之间的通信。3D采样器225A-225F可以将与纹理或其他3D图形相关的数据读取到存储器中。3D采样器可以基于配置的样本状态和与给定纹理相关联的纹理格式不同地读取纹理数据。媒体采样器206A-206F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在一个实施例中，每个图形子核心221A-221F可以替代地包括统一的3D和媒体采样器。在子核心221A-221F中的每一个内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器228A-228F，以使在线程组内执行的线程能够使用公共的片上存储器的池来执行。

图2C示出了图形处理单元(GPU)239，其包括被布置成多核心组240A-240N的图形处理资源的专用集合。虽然仅提供了单个多核心组240A的细节，但是应当理解，其他多核心组240B-240N可以配备有相同或相似的图形处理资源的集合。

如所示出的，多核心组240A可以包括图形核心的集合243、张量核心的集合244以及光线跟踪核心的集合245。调度器/分派器241调度并分派图形线程以在各种核心243、244、245上执行。寄存器文件的集合242存储在执行图形线程时由核心243、244、245使用的操作数值。这些寄存器文件可以包括：例如，用于存储整数值的整数寄存器，用于存储浮点值的浮点寄存器，用于存储打包数据元素(整数和/或浮点数据元素)的向量寄存器，以及用于存储张量/矩阵值的分片寄存器。在一个实施例中，分片寄存器实现为组合的向量寄存器的集合。

一个或多个组合的级别1(L1)高速缓存和共享存储器单元247在每个多核心组240A内本地存储图形数据，例如，纹理数据、顶点数据、像素数据、光线数据、边界体积数据等。一个或多个纹理单元247也可以用于执行纹理化操作，例如，纹理映射和采样。由全部多核心组240A-240N或多核心组240A-240N的子集共享的级别2(L2)高速缓存253存储图形数据和/或多个并发图形线程的指令。如所示出的，L2高速缓存253可以跨多个多核心组240A-240N共享。一个或多个存储器控制器248将GPU 239耦合到存储器249，该存储器249可以是系统存储器(例如，DRAM)和/或专用图形存储器(例如，GDDR6存储器)。

输入/输出(I/O)电路250将GPU 239耦合到一个或多个I/O设备252，例如，数字信号处理器(DSP)、网络控制器或用户输入设备。片上互连可以用于将I/O设备252耦合到GPU239和存储器249。I/O电路250的一个或多个I/O存储器管理单元(IOMMU)251将I/O设备252直接耦合到系统存储器249。在一个实施例中，IOMMU 251管理页表的多个集合以将虚拟地址映射到系统存储器249中的物理地址。在该实施例中，I/O设备252、(多个)CPU 246和(多个)GPU 239可以共享相同的虚拟地址空间。

在一种实现方式中，IOMMU 251支持虚拟化。在这种情况下，IOMMU251可以管理用于将访客/图形虚拟地址映射到访客/图形物理地址的页表的第一集合，以及用于将访客/图形物理地址映射到(例如，在系统存储器249内的)系统/主机物理地址的页表的第二集合。可以将页表的第一集合和第二集合中的每一个的基地址存储在控制寄存器中，并且在上下文切换时换出(例如，以便向新的上下文提供对页表的相关集合的访问)。虽然在图2C中未示出，但核心243、244、245和/或多核心组240A-240N中的每一个可以包括转换后备缓冲器(TLB)，以缓存访客虚拟到访客物理转换、访客物理到主机物理转换以及访客虚拟到主机物理转换。

在一个实施例中，CPU 246、GPU 239和I/O设备252被集成在单个半导体芯片和/或芯片封装上。所示的存储器249可以被集成在同一芯片上，或者可以经由片外接口耦合到存储器控制器248。在一种实现方式中，存储器249包括GDDR6存储器，该GDDR6存储器与其他物理系统级存储器共享相同的虚拟地址空间，但是本发明的基本原理不限于该特定实现方式。

在一个实施例中，张量核心244包括被专门设计为执行矩阵运算的多个执行单元，该矩阵运算是用于执行深度学习操作的基本计算操作。例如，同时矩阵乘法运算可以用于神经网络训练和推理。张量核心244可以使用各种操作数精度来执行矩阵处理，包括单精度浮点(例如，32位)、半精度浮点(例如，16位)、整数字(16位)、字节(8位)和半字节(4位)。在一个实施例中，神经网络实现方式提取每个渲染的场景的特征，潜在地从多个帧中组合细节，以构造高质量的最终图像。

在深度学习实现方式中，可以调度并行矩阵乘法工作以在张量核心244上执行。神经网络的训练尤其要求大量矩阵点积运算。为了处理NxNxN矩阵乘法的内积公式，张量核心244可以包括至少N个点积处理元件。在矩阵乘法开始之前，将一个完整的矩阵加载到分片寄存器中，并且针对N个周期在每个周期加载第二矩阵的至少一列。每个周期内有N个点积被处理。

取决于特定实现方式，可以以不同的精度存储矩阵元素，包括16位字、8位字节(例如，INT8)和4位半字节(例如，INT4)。可以针对张量核心244指定不同的精度模式，以确保将最有效的精度用于不同的工作负荷(例如，可以容忍量化到字节和半字节的推理工作负荷)。

在一个实施例中，光线跟踪核心245加速用于实时光线跟踪实现方式和非实时光线跟踪实现方式两者的光线跟踪操作。特别地，光线跟踪核心245包括光线遍历/相交电路，用于使用边界体积层级(BVH)来执行光线遍历，并且识别光线与包围在BVH体积内的基元之间的相交。光线跟踪核心245还可以包括用于执行深度测试和剔除(例如，使用Z缓冲器或类似布置)的电路。在一种实现方式中，光线跟踪核心245与本文描述的图像降噪技术一致地执行遍历和相交操作，这些操作的至少一部分可以在张量核心244上执行。例如，在一个实施例中，张量核心244实现深度学习神经网络以对由光线跟踪核心245生成的帧执行降噪。然而，(多个)CPU 246、图形核心243和/或光线跟踪核心245也可以实现降噪和/或深度学习算法的全部或一部分。

另外，如上面描述的，可以采用分布式降噪方法，其中GPU 239位于通过网络或高速互连耦合到其他计算设备的计算设备中。在该实施例中，互连的计算设备共享神经网络学习/训练数据，以改进整个系统学习针对不同类型的图像帧和/或不同图形应用执行降噪的速度。

在一个实施例中，光线跟踪核心245处理所有BVH遍历和光线-基元相交，从而使图形核心243避免因每条光线数千条指令而过载。在一个实施例中，每个光线跟踪核心245包括用于执行边界框测试(例如，用于遍历操作)的专用电路的第一集合，以及用于执行光线-三角形相交测试(例如，使已被遍历的光线相交)的专用电路的第二集合。因此，在一个实施例中，多核心组240A可以简单地发射光线探针，并且光线跟踪核心245独立地执行光线遍历和相交并将命中数据(例如，命中、无命中、多次命中等)返回给线程上下文。在光线跟踪核心245执行遍历和相交操作时，其他核心243、244被释放以执行其他图形或计算工作。

在一个实施例中，每个光线跟踪核心245包括用于执行BVH测试操作的遍历单元和用于执行光线-基元相交测试的相交单元。相交单元生成“命中”、“无命中”或“多次命中”响应，并且将该响应提供给适当的线程。在遍历和相交操作期间，释放其他核心(例如，图形核心243和张量核心244)的执行资源以执行其他形式的图形工作。

在下面描述的一个特定实施例中，使用混合光栅化/光线跟踪方法，其中，工作分布在图形核心243和光线跟踪核心245之间。

在一个实施例中，光线跟踪核心245(和/或其他核心243、244)包括对光线跟踪指令集(例如，Microsoft的DirectX光线跟踪(DXR)，其包括DispatchRays命令)以及光线生成、最接近命中、任何命中和未命中着色器(其使得能够针对每个对象分配着色器和纹理的唯一集合)的硬件支持。可以由光线跟踪核心245、图形核心243和张量核心244支持的另一光线跟踪平台是Vulkan 1.1.85。然而，请注意，本发明的基本原理不限于任何特定的光线跟踪ISA。

通常，各个核心245、244、243可以支持光线跟踪指令集，该光线跟踪指令集包括用于光线生成、最接近命中、任何命中、光线-基元相交、每基元和层级边界框构造、未命中、访问和异常的指令/功能。更具体地，一个实施例包括执行以下功能的光线跟踪指令：

光线生成——可以针对每个像素、样本或其他用户定义的工作分配来执行光线生成指令。

最接近命中——可以执行最接近命中指令以定位光线与场景内的基元的最接近相交点。

任何命中——任何命中指令标识光线与场景内的基元之间的多个相交，以潜在地标识新的最接近相交点。

相交——相交指令执行光线-基元相交测试并输出结果。

每基元边界框构造——该指令围绕给定基元或基元组构建边界框(例如，在构建新的BVH或其他加速数据结构时)。

未命中——指示光线未命中场景或场景的指定区域内的所有几何形状。

访问——指示光线将遍历的子体积。

异常——包括各种类型的异常处理程序(例如，针对各种错误条件而调用)。

图2D是根据本文描述的实施例的可以被配置为图形处理器和/或计算加速器的通用图形处理单元(GPGPU)270的框图。GPGPU 270可以经由一条或多条系统和/或存储器总线与主机处理器(例如，一个或多个CPU 246)和存储器271、272互连。在一个实施例中，存储器271是可以与一个或多个CPU 246共享的系统存储器，而存储器272是专用于GPGPU 270的设备存储器。在一个实施例中，GPGPU 270内的组件和设备存储器272可以被映射到可由一个或多个CPU 246访问的存储器地址。可以经由存储器控制器268来促进对存储器271和272的访问。在一个实施例中，存储器控制器268包括内部直接存储器访问(DMA)控制器269，或可以包括用于执行否则将由DMA控制器执行的操作的逻辑。

GPGPU 270包括多个高速缓冲存储器，包括L2高速缓存253、L1高速缓存254、指令高速缓存255和共享存储器256(其至少一部分也可以被划分为高速缓冲存储器)。GPGPU270还包括多个计算单元260A-260N。每个计算单元260A-260N包括向量寄存器261、标量寄存器262、向量逻辑单元263和标量逻辑单元264的集合。计算单元260A-260N还可以包括本地共享存储器265和程序计数器266。计算单元260A-260N可以与恒定高速缓存267耦合，该恒定高速缓存267可以用于存储恒定数据，该恒定数据是在GPGPU 270上执行的内核或着色器程序的运行期间不会改变的数据。在一个实施例中，恒定高速缓存267是标量数据高速缓存，并且被缓存的数据可以直接获取到标量寄存器262中。

在操作期间，一个或多个CPU 246可以将命令写入已被映射到可访问地址空间的GPGPU 270中的寄存器或存储器中。命令处理器257可以从寄存器或存储器读取命令，并且确定将如何在GPGPU 270内处理这些命令。然后，可以使用线程分派器258将线程分派给计算单元260A-260N以执行这些命令。每个计算单元260A-260N可以独立于其他计算单元执行线程。另外，每个计算单元260A-260N可以被独立地配置用于条件计算，并且可以有条件地将计算结果输出到存储器。当提交的命令完成时，命令处理器257可以中断一个或多个CPU246。

图3A-3C示出了由本文描述的实施例提供的附加图形处理器和计算加速器架构的框图。图3A-3C中具有与本文任何其他附图的元件相同的附图标记(或者相同或类似名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，可以包括与本文别处描述的组件相同的组件，或可以链接到其他实体，但不限于此。

图3A是图形处理器300的框图，该图形处理器300可以是分立的图形处理单元，或者可以是与多个处理核心或其他半导体设备(例如但不限于存储器设备或网络接口)集成的图形处理器。在一些实施例中，图形处理器经由与图形处理器上的寄存器的存储器映射的I/O接口并且利用放置在处理器存储器中的命令进行通信。在一些实施例中，图形处理器300包括用于对存储器进行访问的存储器接口314。存储器接口314可以是与本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存和/或系统存储器的接口。

在一些实施例中，图形处理器300还包括显示控制器302，其用于将显示输出数据驱动到显示设备318。显示控制器302包括用于显示或组成视频或用户界面元素的多个层的一个或多个覆盖平面的硬件。显示设备318可以是内部或外部显示设备。在一个实施例中，显示设备318是头戴式显示设备，例如，虚拟现实(VR)显示设备或增强现实(AR)显示设备。在一些实施例中，图形处理器300包括视频编解码器引擎306，其用于将媒体编码、解码为一种或多种媒体编码格式，将媒体从一种或多种媒体编码格式进行编码、解码或者将媒体在一种或多种媒体编码格式之间进行转码，该一种或多种媒体编码格式包括但不限于运动图像专家组(MPEG)格式(例如，MPEG-2)、高级视频编码(AVC)格式(例如，H.264/MPEG-4AVC，H.265/HEVC，开放媒体联盟(AOMedia)VP8、VP9以及电影电视工程师协会(SMPTE)421M/VC-1)和联合图像专家组(JPEG)格式(例如，JPEG和运动JPEG(MJPEG)格式)。

在一些实施例中，图形处理器300包括块图像传送(BLIT)引擎304，其用于执行二维(2D)光栅化操作，包括例如位边界块传送。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个组件来执行2D图形操作。在一些实施例中，GPE 310是用于执行图形操作的计算引擎，该图形操作包括三维(3D)图形操作和媒体操作。

在一些实施例中，GPE 310包括用于执行3D操作(例如，使用作用于3D基元形状(例如，矩形、三角形等)的处理功能来渲染三维图像和场景)的3D流水线312。3D流水线312包括可编程功能元件和固定功能元件，其执行元件内的各种任务和/或向3D/媒体子系统315产生执行线程。虽然3D流水线312可以用于执行媒体操作，但是GPE 310的实施例还包括媒体流水线316，该媒体流水线316专门用于执行媒体操作，例如，视频后处理和图像增强。

在一些实施例中，媒体流水线316包括固定功能逻辑单元或可编程逻辑单元，以代替或代表视频编解码器引擎306执行一个或多个专用媒体操作，例如，视频解码加速、视频去交织和视频编码加速。在一些实施例中，媒体流水线316另外地包括线程产生单元以产生用于在3D/媒体子系统315上执行的线程。产生的线程在3D/媒体子系统315中包括的一个或多个图形执行单元上执行针对媒体操作的计算。

在一些实施例中，3D/媒体子系统315包括用于执行由3D流水线312和媒体流水线316产生的线程的逻辑。在一个实施例中，流水线将线程执行请求发送到3D/媒体子系统315，该3D/媒体子系统315包括用于对针对可用线程执行资源的各种请求进行仲裁和分派的线程分派逻辑。执行资源包括用于处理3D线程和媒体线程的图形执行单元的阵列。在一些实施例中，3D/媒体子系统315包括用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中，子系统还包括共享存储器，其包括寄存器和可寻址存储器，以在线程之间共享数据并且存储输出数据。

图3B示出了根据本文描述的实施例的具有分片式架构的图形处理器320。在一个实施例中，图形处理器320包括图形处理引擎集群322，其具有图3A的图形处理引擎310在图形引擎分片310A-310D内的多个实例。每个图形引擎分片310A-310D可以经由分片互连的集合323A-323F互连。每个图形引擎分片310A-310D还可以经由存储器互连325A-325D连接到存储器模块或存储器设备326A-326D。存储器设备326A-326D可以使用任何图形存储器技术。例如，存储器设备326A-326D可以是图形双倍数据速率(GDDR)存储器。在一个实施例中，存储器设备326A-326D是高带宽存储器(HBM)模块，其可以与它们相应的图形引擎分片310A-310D一起在管芯上。在一个实施例中，存储器设备326A-326D是可以被堆叠在它们相应的图形引擎分片310A-310D之上的堆叠式存储器设备。在一个实施例中，每个图形引擎分片310A-310D和相关联的存储器326A-326D驻留在单独的小芯片上，该小芯片被结合到基础管芯或基础衬底，如图11B-11D中进一步详细描述的。

图形处理器320可以被配置有非均匀存储器访问(NUMA)系统，其中存储器设备326A-326D与相关联的图形引擎分片310A-310D耦合。给定的存储器设备可以由除了其直接连接的分片之外的图形引擎分片访问。然而，当访问本地分片时，存储器设备326A-326D的访问延迟可以是最低的。在一个实施例中，启用了高速缓存一致性NUMA(ccNUMA)系统，该系统使用分片互连323A-323F来实现在图形引擎分片310A-310D内的高速缓存控制器之间的通信，以在多于一个高速缓存存储相同的存储器单元时保持一致的存储器映像。

图形处理引擎集群322可以与片上或封装上结构互连324连接。结构互连324可以实现在图形引擎分片310A-310D与诸如视频编解码器306和一个或多个复制引擎304之类的组件之间进行通信。复制引擎304可以用于将数据移出、移进存储器设备326A-326D和在图形处理器320外部的存储器(例如，系统存储器)，以及在上述存储器之间移动数据。结构互连324还可以用于互连图形引擎分片310A-310D。图形处理器320可以可选地包括显示控制器302，以实现与外部显示设备318的连接。图形处理器还可以被配置为图形或计算加速器。在加速器配置中，可以省略显示控制器302和显示设备318。

图形处理器320可以经由主机接口328连接到主机系统。主机接口328可以实现在图形处理器320、系统存储器和/或其他系统组件之间的通信。主机接口328可以是例如PCIexpress总线或另一类型的主机系统接口。

图3C示出了根据本文描述的实施例的计算加速器330。计算加速器330可以包括与图3B的图形处理器320的架构相似性，并且是针对计算加速进行优化的。计算引擎集群332可以包括计算引擎分片的集合340A-340D，其包括针对并行的或基于向量的通用计算操作而优化的执行逻辑。在一些实施例中，计算引擎分片340A-340D不包括固定功能图形处理逻辑，但在一个实施例中，计算引擎分片340A-340D中的一个或多个可以包括用于执行媒体加速的逻辑。计算引擎分片340A-340D可以经由存储器互连325A-325D连接到存储器326A-326D。存储器326A-326D和存储器互连325A-325D可以是与图形处理器320中类似的技术，或者可以是不同的。图形计算引擎分片340A-340D还可以经由分片互连的集合323A-323F互连，并且可以与结构互连324连接和/或通过结构互连324互连。在一个实施例中，计算加速器330包括大的L3高速缓存336，其可以被配置为设备范围的高速缓存。计算加速器330还可以以与图3B的图形处理器320类似的方式经由主机接口328连接到主机处理器和存储器。

图形处理引擎

图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，图形处理引擎(GPE)410是图3A所示的GPE 310的版本，并且还可以表示图3B的图形引擎分片310A-310D。图4中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。例如，示出了图3的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的，并且可以不明确地包括在GPE 410内。例如，在至少一个实施例中，单独的媒体和/或图像处理器与GPE 410耦合。

在一些实施例中，GPE 410与命令流送器403耦合或者包括命令流送器403，该命令流送器403向3D流水线312和/或媒体流水线316提供命令流。在一些实施例中，命令流送器403与存储器耦合，该存储器可以是系统存储器或者是内部高速缓冲存储器和共享高速缓冲存储器中的一个或多个。在一些实施例中，命令流送器403接收来自存储器的命令并且将命令发送到3D流水线312和/或媒体流水线316。该命令是从环形缓冲器获取的指令，该环形缓冲器存储用于3D流水线312和媒体流水线316的命令。在一个实施例中，环形缓冲器可以另外地包括存储多个命令的批的批命令缓冲器。用于3D流水线312的命令还可以包括对存储在存储器中的数据的引用，该数据例如但不限于用于3D流水线312的顶点和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过经由相应流水线内的逻辑执行操作或者通过将一个或多个执行线程分派给图形核心阵列414来处理命令和数据。在一个实施例中，图形核心阵列414包括一个或多个图形核心块(例如，(多个)图形核心415A、(多个)图形核心415B)，每个块包括一个或多个图形核心。每个图形核心包括图形执行资源的集合，其包括用于执行图形和计算操作的通用执行逻辑和图形特定执行逻辑，以及固定功能纹理处理和/或机器学习和人工智能加速逻辑。

在各种实施例中，3D流水线312可以包括固定功能逻辑和可编程逻辑，用于通过处理指令以及将执行线程分派给图形核心阵列414来处理一个或多个着色器程序，例如，顶点着色器、几何着色器、像素着色器、片段着色器、计算着色器或其他着色器程序。图形核心阵列414提供统一的执行资源块以用于处理这些着色器程序。图形核心阵列414的(多个)图形核心415A-415B内的多用途执行逻辑(例如，执行单元)包括对各种3D API着色器语言的支持，并且可以执行与多个着色器相关联的多个同时执行线程。

在一些实施例中，图形核心阵列414包括用于执行媒体功能(例如，视频和/或图像处理)的执行逻辑。在一个实施例中，执行单元包括通用逻辑，该通用逻辑可编程为除了图形处理操作之外还执行并行通用计算操作。该通用逻辑可以与图1的(多个)处理器核心107或如图2A中的核心202A-202N内的通用逻辑并行地或相结合地来执行处理操作。

由在图形核心阵列414上执行的线程生成的输出数据可以将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418可以存储用于多个线程的数据。在一些实施例中，URB418可以用于在图形核心阵列414上执行的不同线程之间发送数据。在一些实施例中，URB418可以另外地用于在图形核心阵列上的线程与共享功能逻辑420内的固定功能逻辑之间进行同步。

在一些实施例中，图形核心阵列414是可扩展的，使得阵列包括可变数量的图形核心，每个图形核心基于GPE 410的目标功率和性能水平具有可变数量的执行单元。在一个实施例中，执行资源是可动态扩展的，使得可以根据需要启用或禁用执行资源。

图形核心阵列414与共享功能逻辑420耦合，该共享功能逻辑420包括在图形核心阵列中的图形核心之间共享的多个资源。共享功能逻辑420内的共享功能是向图形核心阵列414提供专用补充功能的硬件逻辑单元。在各种实施例中，共享功能逻辑420包括但不限于采样器421、数学422和线程间通信(ITC)423逻辑。另外地，一些实施例在共享功能逻辑420内实现一个或多个高速缓存425。

至少在针对给定专用功能的需求对于包括在图形核心阵列414内而言不足的情况下实现共享功能。相反，该专用功能的单个实例化在共享功能逻辑420中实现为独立实体，并且在图形核心阵列414内的执行资源之间共享。在图形核心阵列414之间共享并且包括在图形核心阵列414内的功能的精确集合跨实施例而变化。在一些实施例中，共享功能逻辑420内的由图形核心阵列414广泛使用的特定共享功能可以被包括在图形核心阵列414内的共享功能逻辑416内。在各种实施例中，图形核心阵列414内的共享功能逻辑416可以包括共享功能逻辑420内的一些或所有逻辑。在一个实施例中，共享功能逻辑420内的所有逻辑元件可以在图形核心阵列414的共享功能逻辑416内复制。在一个实施例中，共享功能逻辑420被排除以支持图形核心阵列414内的共享功能逻辑416。

执行单元

图5A-5B示出了根据本文描述的实施例的线程执行逻辑500，该线程执行逻辑500包括在图形处理器核心中采用的处理元件的阵列。图5A-5B中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。图5A-5B示出了线程执行逻辑500的概述，其可以代表图2B的每个子核心221A-221F示出的硬件逻辑。图5A表示在通用图形处理器内的执行单元，而图5B表示可以在计算加速器内使用的执行单元。

如图5A中示出的，在一些实施例中，线程执行逻辑500包括着色器处理器502、线程分派器504、指令高速缓存506、包括多个执行单元508A-508N的可扩展执行单元阵列、采样器510、共享本地存储器511、数据高速缓存512和数据端口514。在一个实施例中，可扩展执行单元阵列可以通过基于工作负荷的计算要求启用或禁用一个或多个执行单元(例如，执行单元508A、508B、508C、508D到508N-1和508N中的任一个)来动态地扩展。在一个实施例中，所包括的组件经由互连结构互连，该互连结构链接到组件中的每一个。在一些实施例中，线程执行逻辑500包括通过指令高速缓存506、数据端口514、采样器510和执行单元508A-508N中的一个或多个与存储器(例如，系统存储器或高速缓冲存储器)的一个或多个连接。在一些实施例中，每个执行单元(例如，508A)是独立的可编程通用计算单元，其能够执行多个同时硬件线程，同时针对每个线程并行处理多个数据元素。在各种实施例中，执行单元508A-508N的阵列是可扩展的，以包括任何数量的单独的执行单元。

在一些实施例中，执行单元508A-508N主要用于执行着色器程序。着色器处理器502可以经由线程分派器504处理各种着色器程序并且分派与着色器程序相关联的执行线程。在一个实施例中，线程分派器包括用于仲裁来自图形流水线和媒体流水线的线程启动请求并且在执行单元508A-508N中的一个或多个执行单元上对所请求的线程进行实例化的逻辑。例如，几何流水线可以将顶点着色器、曲面细分着色器或几何着色器分派给线程执行逻辑以进行处理。在一些实施例中，线程分派器504还可以处理来自执行中的着色器程序的运行时线程产生请求。

在一些实施例中，执行单元508A-508N支持包括对许多标准3D图形着色器指令的本地支持的指令集，使得来自图形库(例如，Direct 3D和OpenGL)的着色器程序在最小转换的情况下执行。执行单元支持顶点和几何处理(例如，顶点程序、几何程序、顶点着色器)、像素处理(例如，像素着色器、片段着色器)和通用处理(例如，计算着色器和媒体着色器)。执行单元508A-508N中的每一个能够进行多次发布单指令多数据(SIMD)执行，并且多线程化操作在面对较高延迟存储器访问时实现高效的执行环境。每个执行单元内的每个硬件线程具有专用的高带宽寄存器文件和相关联的独立线程状态。执行是每时钟多次发布到流水线的，该流水线能够进行整数、单精度和双精度浮点运算，具有SIMD分支能力，能够进行逻辑运算、超越运算和其他杂项运算。在等待来自共享功能中的一个或存储器的数据时，执行单元508A-508N内的相关性逻辑使得等待线程休眠，直到已经返回所请求的数据。在等待线程处于休眠时，硬件资源可能专用于处理其他线程。例如，在与顶点着色器操作相关联的延迟期间，执行单元可以执行针对像素着色器、片段着色器或其他类型的着色器程序(包括不同的顶点着色器)的操作。通过使用单指令多线程(SIMT)来代替使用SIMD或除了使用SIMD外还使用SIMT，各种实施例可以适用于使用执行。对SIMD核心或操作的引用也可以适用于SIMT或适用于SIMD与SIMT结合。

执行单元508A-508N中的每个执行单元对数据元素的阵列进行操作。数据元素的数量是“执行大小”或者用于指令的通道的数量。执行通道是用于数据元素访问、掩蔽和指令内的流控制的逻辑执行单元。通道的数量可以独立于针对特定图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量。在一些实施例中，执行单元508A-508N支持整数和浮点数据类型。

执行单元指令集包括SIMD指令。各种数据元素可以作为打包数据类型存储在寄存器中，并且执行单元将基于元素的数据大小来处理各种元素。例如，当对256位宽向量进行操作时，向量的256位存储在寄存器中，并且执行单元按照四个单独的64位打包数据元素(四字(QW)大小数据元素)、八个单独的32位打包数据元素(双字(DW)大小数据元素)、十六个单独的16位打包数据元素(字(W)大小数据元素)或者三十二个单独的8位数据元素(字节(B)大小数据元素)对向量进行操作。然而，不同的向量宽度和寄存器大小是可能的。

在一个实施例中，一个或多个执行单元可以组合成具有线程控制逻辑(507A-507N)的融合执行单元509A-509N，该线程控制逻辑对于融合EU是公共的。多个EU可以融合成EU组。融合EU组中的每个EU可以被配置为执行单独的SIMD硬件线程。融合EU组中的EU的数量可以根据实施例而变化。另外地，可以针对每个EU执行各种SIMD宽度，包括但不限于SIMD8、SIMD16和SIMD32。每个融合图形执行单元509A-509N包括至少两个执行单元。例如，融合执行单元509A包括第一EU 508A、第二EU 508B和线程控制逻辑507A，该线程控制逻辑507A对于第一EU 508A和第二EU508B是公共的。线程控制逻辑507A控制在融合图形执行单元509A上执行的线程，从而允许融合执行单元509A-509N内的每个EU使用公共的指令指针寄存器来执行。

一个或多个内部指令高速缓存(例如，506)被包括在线程执行逻辑500中，以对用于执行单元的线程指令进行缓存。在一些实施例中，一个或多个数据高速缓存(例如，512)被包括以在线程执行期间对线程数据进行缓存。在执行逻辑500上执行的线程也可以将显式管理的数据存储在共享本地存储器511中。在一些实施例中，采样器510被包括以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在一些实施例中，采样器510包括专用纹理或媒体采样功能，以在采样过程期间在将采样数据提供给执行单元之前对纹理或媒体数据进行处理。

在执行期间，图形流水线和媒体流水线经由线程产生和分派逻辑将线程启动请求发送到线程执行逻辑500。一旦一组几何对象已经被处理并且光栅化为像素数据，则调用着色器处理器502内的像素处理器逻辑(例如，像素着色器逻辑、片段着色器逻辑等)以进一步计算输出信息并使得结果被写入到输出表面(例如，颜色缓冲器、深度缓冲器、模版(stencil)缓冲器等)。在一些实施例中，像素着色器或片段着色器计算要跨光栅化对象进行插值的各种顶点属性的值。在一些实施例中，着色器处理器502内的像素处理器逻辑然后执行应用编程接口(API)——供应的像素或片段着色器程序。为了执行着色器程序，着色器处理器502经由线程分派器504将线程分派给执行单元(例如，508A)。在一些实施例中，着色器处理器502使用采样器510中的纹理采样逻辑来访问存储在存储器中的纹理图中的纹理数据。对纹理数据和输入几何数据进行的算术运算计算每个几何片段的像素颜色数据，或丢弃一个或多个像素以免进一步处理。

在一些实施例中，数据端口514提供用于线程执行逻辑500的存储器访问机制，以将处理后的数据输出到存储器以便在图形处理器输出流水线上进行进一步处理。在一些实施例中，数据端口514包括或耦合到一个或多个高速缓冲存储器(例如，数据高速缓存512)，以经由数据端口对用于存储器访问的数据进行缓存。

在一个实施例中，执行逻辑500还可以包括可以提供光线跟踪加速功能的光线跟踪器505。光线跟踪器505可以支持包括用于光线生成的指令/功能的光线跟踪指令集。光线跟踪指令集可以与由图2C中的光线跟踪核心245所支持的光线跟踪指令集相似或不同。

图5B示出了根据实施例的执行单元508的示例性内部细节。图形执行单元508可以包括指令获取单元537、通用寄存器文件阵列(GRF)524、架构寄存器文件阵列(ARF)526、线程仲裁器522、发送单元530、分支单元532、SIMD浮点单元(FPU)的集合534，并且在一个实施例中包括专用整数SIMD ALU的集合535。GRF 524和ARF 526包括与可以在图形执行单元508中活动的每个同时硬件线程相关联的通用寄存器文件和架构寄存器文件的集合。在一个实施例中，每个线程架构状态在ARF 526中维护，而在线程执行期间使用的数据存储在GRF524中。每个线程的执行状态(包括针对每个线程的指令指针)可以保持在ARF 526中的线程特定的寄存器中。

在一个实施例中，图形执行单元508具有作为同时多线程化(SMT)和细粒度交织多线程化(IMT)的组合的架构。该架构具有模块化配置，该模块化配置可以基于每个执行单元的同时线程的目标数量和寄存器数量在设计时进行微调，其中跨用于执行多个同时线程的逻辑对执行单元资源进行划分。图形执行单元508可以执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程分配给每个硬件线程。

在一个实施例中，图形执行单元508可以共同发布多个指令，多个指令可以各自是不同的指令。图形执行单元线程508的线程仲裁器522可以将指令分派给发送单元530、分支单元542或(多个)SIMD FPU 534中的一个以用于执行。每个执行线程可以访问GRF 524内的128个通用寄存器，其中每个寄存器可以存储32个字节，该32个字节可以作为32位数据元素的SIMD 8元素向量来访问。在一个实施例中，每个执行单元线程具有对GRF 524内的4KB的访问权，但是实施例不限于此，并且在其他实施例中可以提供更多或更少的寄存器资源。在一个实施例中，图形执行单元508被划分为可以独立执行计算操作的七个硬件线程，但是每个执行单元的线程数量也可以根据实施例而变化。例如，在一个实施例中，支持最多16个硬件线程。在七个线程可以访问4KB的实施例中，GRF 524可以存储总共28KB。在16个线程可以访问4KB的情况下，GRF 524可以存储总共64KB。灵活的寻址模式可以允许寄存器被一起寻址以高效地构建更宽的寄存器或者表示跨步矩形块数据结构。

在一个实施例中，经由消息传递发送单元530执行的“发送”指令来分派存储器操作、采样器操作和其他较长延迟系统通信。在一个实施例中，将分支指令分派给专用分支单元532以促进SIMD发散和最终收敛。

在一个实施例中，图形执行单元508包括一个或多个SIMD浮点单元(FPU)534以执行浮点运算。在一个实施例中，(多个)FPU 534还支持整数计算。在一个实施例中，(多个)FPU 534可以SIMD执行多达数量M个32位浮点(或整数)运算，或者SIMD执行多达2M个16位整数运算或16位浮点运算。在一个实施例中，(多个)FPU中的至少一个提供扩展的数学能力以支持高吞吐量的超越数学函数和双精度64位浮点。在一些实施例中，还存在8位整数SIMDALU的集合535，并且可以专门地对该集合进行优化以执行与机器学习计算相关联的操作。

在一个实施例中，图形执行单元508的多个实例的阵列可以在图形子核心分组(例如，子切片)中实例化。对于可扩展性，产品架构师可以选择每个子核心分组的执行单元的精确数量。在一个实施例中，执行单元508可以跨多个执行通道执行指令。在另一实施例中，在图形执行单元508上执行的每个线程在不同的通道上执行。

图6示出了根据实施例的附加执行单元600。执行单元600可以是用于例如图3C中的计算引擎分片340A-340D中的计算优化的执行单元，但不限于此。执行单元600的变型也可以在图3B中的图形引擎分片310A-310D中使用。在一个实施例中，执行单元600包括线程控制单元601、线程状态单元602、指令获取/预取单元603和指令解码单元604。执行单元600另外地包括寄存器文件606，该寄存器文件606存储可以被分配给执行单元内的硬件线程的寄存器。执行单元600另外地包括发送单元607和分支单元608。在一个实施例中，发送单元607和分支单元608可以与图5B的图形执行单元508的发送单元530和分支单元532类似地操作。

执行单元600还包括计算单元610，其包括多种不同类型的功能单元。在一个实施例中，计算单元610包括ALU单元611，其包括算术逻辑单元的阵列。ALU单元611可以被配置为执行64位、32位和16位整数和浮点运算。整数和浮点运算可以同时执行。计算单元610还可以包括脉动阵列(systolic array)612和数学单元613。脉动阵列612包括可以用于以脉动方式执行向量或其他数据并行运算的、宽为W且深为D的数据处理单元的网络。在一个实施例中，脉动阵列612可以被配置为执行矩阵运算，例如，矩阵点积运算。在一个实施例中，脉动阵列612支持16位浮点运算以及8位和4位整数运算。在一个实施例中，脉动阵列612可以被配置为加速机器学习操作。在这样的实施例中，脉动阵列612可以被配置为支持bfloat16位浮点格式。在一个实施例中，可以包括数学单元613，以便以相比ALU单元611高效且低功率的方式执行数学运算的特定子集。数学单元613可以包括可以在由其他实施例提供的图形处理引擎的共享功能逻辑中找到的数学逻辑的变型(例如，图4的共享功能逻辑420的数学逻辑422)。在一个实施例中，数学单元613可以被配置为执行32位和64位浮点运算。

线程控制单元601包括用于控制执行单元内线程的执行的逻辑。线程控制单元601可以包括线程仲裁逻辑，以开始、停止和抢占执行单元600内线程的执行。线程状态单元602可以用于存储被分配以在执行单元600上执行的线程的线程状态。在执行单元600内存储线程状态使得当线程变得阻塞或空闲时，能够快速抢占这些线程。指令获取/预取单元603可以从更高级别的执行逻辑的指令高速缓存(例如，如图5A中的指令高速缓存506)获取指令。指令获取/预取单元603还可以基于对当前执行的线程的分析，发出对要加载到指令高速缓存中的指令的预取请求。指令解码单元604可以用于解码要由计算单元执行的指令。在一个实施例中，指令解码单元604可以用作辅助解码器，以将复杂指令解码为组成的微操作。

执行单元600另外包括可以由在执行单元600上执行的硬件线程使用的寄存器文件606。在寄存器文件606中的寄存器可以跨用于执行执行单元600的计算单元610内的多个同时线程的逻辑进行划分。可以由图形执行单元600执行的逻辑线程的数量不限于硬件线程的数量，并且可以将多个逻辑线程分配给每个硬件线程。寄存器文件606的大小可以基于所支持的硬件线程的数量而跨实施例变化。在一个实施例中，寄存器重命名可以用于动态地将寄存器分配给硬件线程。

图7是示出根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中，图形处理器执行单元支持具有多种格式的指令的指令集。实线框示出了通常被包括在执行单元指令中的组件，而虚线包括可选的或仅包括在指令的子集中的组件。在一些实施例中，所描述并示出的指令格式700是宏指令，因为指令格式700是供应给执行单元的指令，而不是一旦指令被处理就由指令解码产生的微操作。

在一些实施例中，图形处理器执行单元本地地支持属于128位指令格式710的指令。基于所选定的指令、指令选项和操作数的数量，64位压缩指令格式730可用于某些指令。本地的128位指令格式710提供对所有指令选项的访问权，而在64位格式730中某些选项和操作受到限制。64位格式730中可用的本地指令因实施例而异。在一些实施例中，使用索引字段713中的索引值的集合来部分地压缩指令。执行单元硬件基于索引值引用压缩表的集合，并且使用压缩表输出来重构属于128位指令格式710的本地指令。可以使用指令的其他大小和格式。

对于每种格式，指令操作码712定义执行单元要执行的操作。执行单元跨每个操作数的多个数据元素并行地执行每条指令。例如，响应于相加指令，执行单元跨表示纹理元素或图片元素的每个颜色通道执行同时相加运算。默认情况下，执行单元跨操作数的所有数据通道执行每条指令。在一些实施例中，指令控制字段714实现对某些执行选项(例如，通道选择(例如，预测)和数据通道顺序(例如，混合(swizzle))的控制。对于属于128位指令格式710的指令，执行大小(exec-size)字段716限制将要并行执行的数据通道的数量。在一些实施例中，执行大小字段716不可用于64位压缩指令格式730。

一些执行单元指令具有多达三个操作数，包括两个源操作数src0 720、src1 722和一个目标718。在一些实施例中，执行单元支持双目标指令，其中目标中的一个是隐含的。数据操纵指令可以具有第三个源操作数(例如，SRC2 724)，其中指令操作码712确定源操作数的数量。指令的最后一个源操作数可以是与指令一起传递的立即数(例如，硬编码的)值。

在一些实施例中，128位指令格式710包括访问/寻址模式字段726，该访问/寻址模式字段726指定例如是使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时，一个或多个操作数的寄存器地址由指令中的位直接提供。

在一些实施例中，128位指令格式710包括访问/寻址模式字段726，该访问/寻址模式字段726指定指令的寻址模式和/或访问模式。在一个实施例中，访问模式用于定义指令的数据访问对齐。一些实施例支持包括16字节对齐的访问模式和1字节对齐的访问模式的访问模式，其中访问模式的字节对齐确定指令操作数的访问对齐。例如，当处于第一模式时，指令可以针对源操作数和目标操作数使用字节对齐的寻址，并且当处于第二模式时，指令可以针对所有源操作数和目标操作数使用16字节对齐的寻址。

在一个实施例中，访问/寻址模式字段726的寻址模式部分确定指令是要使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时，指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可以基于指令中的地址寄存器值和地址立即数字段来计算一个或多个操作数的寄存器地址。

在一些实施例中，基于操作码712位字段对指令进行分组以简化操作码解码740。对于8位操作码，位4、5和6允许执行单元确定操作码的类型。所示的精确操作码分组仅是示例。在一些实施例中，移动和逻辑操作码分组742包括数据移动和逻辑指令(例如，移动(mov)、比较(cmp))。在一些实施例中，移动和逻辑分组742共享五个最高有效位(MSB)，其中移动(mov)指令是以0000xxxxb的形式，并且逻辑指令是以0001xxxxb的形式。流控制指令分组744(例如，调用、跳转(jmp))包括以0010xxxxb的形式(例如，0x20)的指令。杂项指令分组746包括指令的混合，包括以0011xxxxb的形式(例如，0x30)的同步指令(例如，等待、发送)。并行数学指令分组748包括以0100xxxxb的形式(例如，0x40)的按分量算术指令(例如，相加、相乘(mul))。并行数学分组748跨数据通道并行地执行算术运算。向量数学分组750包括以0101xxxxb的形式(例如，0x50)的算术指令(例如，dp4)。向量数学分组对向量操作数执行诸如点积计算之类的算术。在一个实施例中，所示的操作码解码740可以用于确定将使用执行单元的哪一部分来执行解码的指令。例如，一些指令可以被指定为将由脉动阵列执行的脉动指令。诸如光线跟踪指令(未示出)之类的其他指令可以被路由到在执行逻辑的切片或分区内的光线跟踪核心或光线跟踪逻辑。

图形流水线

图8是图形处理器800的另一实施例的框图。图8中具有与本文任何其他附图的元件相同的附图标记(或名称)的元件可以以与本文别处描述的方式类似的任何方式来操作或起作用，但不限于此。

在一些实施例中，图形处理器800包括几何流水线820、媒体流水线830、显示引擎840、线程执行逻辑850和渲染输出流水线870。在一些实施例中，图形处理器800是在包括一个或多个通用处理核心的多核心处理系统内的图形处理器。图形处理器通过寄存器写入一个或多个控制寄存器(未示出)或通过经由环形互连802发布到图形处理器800的命令来控制。在一些实施例中，环形互连802将图形处理器800与其他处理组件(例如，其他图形处理器或通用处理器)耦合。来自环形互连802的命令由命令流送器803解释，该命令流送器803向几何流水线820或媒体流水线830的单独的组件提供指令。

在一些实施例中，命令流送器803指示顶点获取器805从存储器读取顶点数据并且执行由命令流送器803提供的顶点处理命令的操作。在一些实施例中，顶点获取器805将顶点数据提供给顶点着色器807，该顶点着色器807对每个顶点执行坐标空间变换和光照操作。在一些实施例中，顶点获取器805和顶点着色器807通过经由线程分派器831将执行线程分派给执行单元852A-852B来执行顶点处理指令。

在一些实施例中，执行单元852A-852B是具有用于执行图形和媒体操作的指令集的向量处理器的阵列。在一些实施例中，执行单元852A-852B具有附接的L1高速缓存851，该L1高速缓存851特定于每个阵列或在阵列之间共享。可以将高速缓存配置为数据高速缓存、指令高速缓存或被分区以在不同分区中包含数据和指令的单个高速缓存。

在一些实施例中，几何流水线820包括曲面细分组件以执行对3D对象的硬件加速的曲面细分。在一些实施例中，可编程外壳着色器811对曲面细分操作进行配置。可编程域着色器817提供对曲面细分输出的后端评估。曲面细分器813在外壳着色器811的命令下操作，并且包含专用逻辑以基于作为输入提供给几何流水线820的粗略几何模型来生成详细几何对象的集合。在一些实施例中，如果不使用曲面细分，则可以绕过曲面细分组件(例如，外壳着色器811、曲面细分器813和域着色器817)。可以基于从顶点着色器807接收的数据来操作曲面细分组件。

在一些实施例中，完整的几何对象可以通过几何着色器819经由分派给执行单元852A-852B的一个或多个线程来处理，或者完整的几何对象可以直接进行到剪切器829。在一些实施例中，几何着色器对整个几何对象进行操作，而不是如在图形流水线的先前阶段中对顶点或顶点的图像块(patch)进行操作。如果曲面细分被禁用，则几何着色器819接收来自顶点着色器807的输入。在一些实施例中，如果曲面细分单元被禁用，则几何着色器819可以由几何着色器程序编程以执行几何曲面细分。

在光栅化之前，剪切器829处理顶点数据。剪切器829可以是固定功能剪切器或具有剪切和几何着色器功能的可编程剪切器。在一些实施例中，渲染输出流水线870中的光栅化器和深度测试组件873分派像素着色器以将几何对象转换为每像素表示。在一些实施例中，像素着色器逻辑被包括在线程执行逻辑850中。在一些实施例中，应用可以绕过光栅化器和深度测试组件873并且经由流输出单元823访问未光栅化的顶点数据。

图形处理器800具有互连总线、互连结构或者允许在处理器的主要组件之间进行数据和消息传递的某种其他互连机制。在一些实施例中，执行单元852A-852B和相关联的逻辑单元(例如，L1高速缓存851、采样器854、纹理高速缓存858等)经由数据端口856互连，以执行存储器访问并且与处理器的渲染输出流水线组件通信。在一些实施例中，采样器854、高速缓存851、高速缓存858和执行单元852A-852B各自具有单独的存储器访问路径。在一个实施例中，纹理高速缓存858还可以被配置为采样器高速缓存。

在一些实施例中，渲染输出流水线870包含光栅化器和深度测试组件873，该光栅化器和深度测试组件873将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中，光栅化器逻辑包括用于执行固定功能三角形和线光栅化的加窗器/掩蔽器单元。相关联的渲染高速缓存878和深度高速缓存879在一些实施例中也是可用的。像素操作组件877对数据执行基于像素的操作，但是在一些情况下，与2D操作相关联的像素操作(例如，具有混合的位块图像传送)由2D引擎841执行，或者在显示时由显示控制器843使用覆盖显示平面代替。在一些实施例中，共享L3高速缓存875可用于所有图形组件，从而允许在不使用主系统存储器的情况下共享数据。

在一些实施例中，图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中，视频前端834接收来自命令流送器803的流水线命令。在一些实施例中，媒体流水线830包括单独的命令流送器。在一些实施例中，视频前端834在将命令发送到媒体引擎837之前处理媒体命令。在一些实施例中，媒体引擎837包括线程产生功能以产生线程以供经由线程分派器831分派给线程执行逻辑850。

在一些实施例中，图形处理器800包括显示引擎840。在一些实施例中，显示引擎840在处理器800外部，并且经由环形互连802或某种其他互连总线或结构与图形处理器耦合。在一些实施例中，显示引擎840包括2D引擎841和显示控制器843。在一些实施例中，显示引擎840包含能够独立于3D流水线操作的专用逻辑。在一些实施例中，显示控制器843与显示设备(未示出)耦合，该显示设备可以是系统集成显示设备(如在膝上型计算机中)或者经由显示设备连接器附接的外部显示设备。

在一些实施例中，几何流水线820和媒体流水线830可配置为基于多个图形和媒体编程接口执行操作，并且不特定于任何一个应用编程接口(API)。在一些实施例中，用于图形处理器的驱动软件将特定于特定图形或媒体库的API调用转换为可以由图形处理器处理的命令。在一些实施例中，为开放图形库(OpenGL)、开放计算语言(OpenCL)和/或Vulkan图形和计算API(其全部来自Khronos Group)提供支持。在一些实施例中，还可以为来自Microsoft公司的Direct3D库提供支持。在一些实施例中，可以支持这些库的组合。还可以为开源计算机视觉库(OpenCV)提供支持。如果可以进行从具有兼容3D流水线的未来API的流水线到图形处理器的流水线的映射，则还将支持未来API。

图形流水线编程

图9A是示出根据一些实施例的图形处理器命令格式900的框图。图9B是示出根据实施例的图形处理器命令序列910的框图。图9A中的实线框示出了通常被包括在图形命令中的组件，而虚线包括可选的或仅包括在图形命令的子集中的组件。图9A的示例性图形处理器命令格式900包括用于识别客户端902、命令操作代码(操作码)904以及用于命令的数据906的数据字段。在一些命令中还包括子操作码905和命令大小908。

在一些实施例中，客户端902指定图形设备的处理命令数据的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段以调节对命令的进一步处理并且将命令数据路由到适当的客户端单元。在一些实施例中，图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元和媒体单元。每个客户端单元具有处理命令的对应的处理流水线。一旦由客户端单元接收到命令，则客户端单元读取操作码904，并且如果子操作码905存在，则读取子操作码905以确定要执行的操作。客户端单元使用数据字段906中的信息来执行命令。对于一些命令，预期显式命令大小908指定命令的大小。在一些实施例中，命令解析器基于命令操作码自动地确定命令中的至少一些的大小。在一些实施例中，命令经由双字的倍数对齐。可以使用其他命令格式。

图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示的命令序列的版本来建立、执行和终止图形操作的集合。仅出于示例的目的示出并描述了样本命令序列，因为实施例不限于这些特定命令或该命令序列。此外，命令可以作为命令序列中的命令批而发布，使得图形处理器将至少部分地同时处理命令的序列。

在一些实施例中，图形处理器命令序列910可以开始于流水线刷新命令912，以使得任何活动的图形流水线完成流水线的当前未决的命令。在一些实施例中，3D流水线922和媒体流水线924不并发地操作。执行流水线刷新以使得活动的图形流水线完成任何未决的命令。响应于流水线刷新，图形处理器的命令解析器将暂停命令处理，直到活动的绘图引擎完成未决的操作并且相关的读取高速缓存是无效的。可选地，渲染高速缓存中标记为“脏”的任何数据可以被刷新到存储器。在一些实施例中，流水线刷新命令912可以用于流水线同步或者在将图形处理器置于低功率状态之前使用。

在一些实施例中，当命令序列要求图形处理器显式地在流水线之间切换时，使用流水线选择命令913。在一些实施例中，在发布流水线命令之前，除非上下文要发布针对两个流水线的命令，否则在执行上下文内仅要求一次流水线选择命令913。在一些实施例中，紧接在经由流水线选择命令913进行流水线切换之前要求流水线刷新命令912。

在一些实施例中，流水线控制命令914对用于操作的图形流水线进行配置，并且流水线控制命令914用于对3D流水线922和媒体流水线924进行编程。在一些实施例中，流水线控制命令914对活动流水线的流水线状态进行配置。在一个实施例中，流水线控制命令914用于流水线同步，并且在处理命令批之前在活动流水线内从一个或多个高速缓冲存储器清除数据。

在一些实施例中，返回缓冲器状态命令916用于针对相应的流水线配置返回缓冲器的集合以写入数据。某些流水线操作要求分配、选择或配置一个或多个返回缓冲器，在处理期间操作将中间数据写入该一个或多个返回缓冲器中。在一些实施例中，图形处理器还使用一个或多个返回缓冲器来存储输出数据并执行跨线程通信。在一些实施例中，返回缓冲器状态916包括选择要用于流水线操作的集合的返回缓冲器的大小和数量。

命令序列中的其余命令基于用于操作的活动流水线而不同。基于流水线确定920，命令序列被定制用于开始于3D流水线状态930的3D流水线922，或者开始于媒体流水线状态940的媒体流水线924。

用于配置3D流水线状态930的命令包括针对顶点缓冲器状态、顶点元素状态、恒定颜色状态、深度缓冲器状态以及在处理3D基元命令之前要配置的其他状态变量的3D状态设置命令。这些命令的值至少部分地基于使用中的特定3D API来确定。在一些实施例中，如果将不使用某些流水线元素，则3D流水线状态930命令也能够选择性地禁用或绕过这些流水线元素。

在一些实施例中，3D基元932命令用于提交要由3D流水线处理的3D基元。经由3D基元932命令传递到图形处理器的命令和相关联的参数被转发到图形流水线中的顶点获取功能。顶点获取功能使用3D基元932命令数据来生成顶点数据结构。顶点数据结构存储在一个或多个返回缓冲器中。在一些实施例中，3D基元932命令用于经由顶点着色器对3D基元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派给图形处理器执行单元。

在一些实施例中，经由执行934命令或事件来触发3D流水线922。在一些实施例中，寄存器写入触发命令执行。在一些实施例中，经由命令序列中的“go”或“kick”命令触发执行。在一个实施例中，使用流水线同步命令来触发命令执行，以刷新命令序列通过图形流水线。3D流水线将执行针对3D基元的几何处理。一旦操作完成，产生的几何对象就被光栅化，并且像素引擎对产生的像素进行上色。针对这些操作，还可以包括用于控制像素着色和像素后端操作的附加命令。

在一些实施例中，当执行媒体操作时，图形处理器命令序列910遵循媒体流水线924路径。通常，针对媒体流水线924的特定用途和编程方式取决于要执行的媒体操作或计算操作。在媒体解码期间，可以将特定媒体解码操作卸载到媒体流水线。在一些实施例中，还可以绕过媒体流水线，并且可以使用由一个或多个通用处理核心提供的资源来全部或部分地执行媒体解码。在一个实施例中，媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件，其中图形处理器用于使用与对图形基元的渲染不显式相关的计算着色器程序来执行SIMD向量操作。

在一些实施例中，媒体流水线924以与3D流水线922类似的方式配置。用于配置媒体流水线状态940的命令的集合在媒体对象命令942之前被分派或放置到命令队列中。在一些实施例中，针对媒体流水线状态940的命令包括用于配置将用于处理媒体对象的媒体流水线元素的数据。这包括用于在媒体流水线内配置视频解码逻辑和视频编码逻辑的数据，例如，编码格式或解码格式。在一些实施例中，针对媒体流水线状态940的命令还支持使用指向包含状态设置的批的“间接”状态元素的一个或多个指针。

在一些实施例中，媒体对象命令942供应指向用于由媒体流水线处理的媒体对象的指针。媒体对象包括存储器缓冲器，该存储器缓冲器包含要被处理的视频数据。在一些实施例中，在发布媒体对象命令942之前，所有媒体流水线状态必须是有效的。一旦流水线状态被配置并且媒体对象命令942被排队，就经由执行命令944或等效执行事件(例如，寄存器写入)触发媒体流水线924。然后，可以通过由3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中，以与媒体操作类似的方式来配置并执行GPGPU操作。

图形软件架构

图10示出了根据一些实施例的用于数据处理系统1000的示例性图形软件架构。在一些实施例中，软件架构包括3D图形应用1010、操作系统1020和至少一个处理器1030。在一些实施例中，处理器1030包括图形处理器1032以及一个或多个通用处理器核心1034。图形应用1010和操作系统1020各自在数据处理系统的系统存储器1050中执行。

在一些实施例中，3D图形应用1010包含一个或多个着色器程序，该一个或多个着色器程序包括着色器指令1012。着色器语言指令可以以诸如Direct3D的高级着色器语言(HLSL)或OpenGL着色器语言(GLSL)等之类的高级着色器语言的形式。该应用还包括以适用于由通用处理器核心1034执行的机器语言的形式的可执行指令1014。该应用还包括由顶点数据定义的图形对象1016。

在一些实施例中，操作系统1020是来自Microsoft公司的 操作系统、使用Linux内核的变体的专有的类似UNIX的操作系统或开源的类似UNIX的操作系统。操作系统1020可以支持图形API 1022，例如，Direct3D API、OpenGL API或Vulkan API。当使用Direct3D API时，操作系统1020使用前端着色器编译器1024将HLSL形式的任何着色器指令1012编译为较低级别的着色器语言。编译可以是即时(JIT)编译，或者应用可以执行着色器预编译。在一些实施例中，在编译3D图形应用1010期间，高级别着色器被编译为低级别着色器。在一些实施例中，着色器指令1012以中间形式提供，例如，Vulkan API使用的标准便携式中间表示(SPIR)的版本。

在一些实施例中，用户模式图形驱动程序1026包含后端着色器编译器1027，以将着色器指令1012转换为硬件特定表示。当使用OpenGL API时，GLSL高级语言形式的着色器指令1012被传递到用户模式图形驱动程序1026以进行编译。在一些实施例中，用户模式图形驱动程序1026使用操作系统内核模式功能1028来与内核模式图形驱动程序1029通信。在一些实施例中，内核模式图形驱动程序1029与图形处理器1032通信以分派命令和指令。

IP核心实现方式

可以通过存储在机器可读介质上的代表性代码来实现至少一个实施例的一个或多个方面，该代表性代码表示和/或定义诸如处理器之类的集成电路内的逻辑。例如，机器可读介质可以包括表示处理器内的各种逻辑的指令。当由机器读取时，指令可以使得机器制造逻辑以执行本文所描述的技术。这种被称为“IP核心”的表示是用于集成电路的逻辑的可重用的单元，其可以存储在有形的机器可读介质上，作为描述集成电路的结构的硬件模型。可以将硬件模型供应给各种客户或制造设施，这些客户或制造设施将硬件模型加载到制造集成电路的制造机器上。可以制造集成电路，使得该电路执行与本文所描述的实施例中的任何一个相关联地描述的操作。

图11A是示出根据实施例的可以用于制造集成电路以执行操作的IP核心开发系统1100的框图。IP核心开发系统1100可以用于生成模块化、可重用的设计，其可以并入更大的设计中或用于构建整个集成电路(例如，SOC集成电路)。设计设施1130可以以高级编程语言(例如，C/C++)生成IP核心设计的软件仿真1110。软件仿真1110可以用于使用仿真模型1112设计、测试并验证IP核心的行为。仿真模型1112可以包括功能、行为和/或定时仿真。然后可以根据仿真模型1112创建或合成寄存器传输级(RTL)设计1115。RTL设计1115是对集成电路的行为的抽象，其对数字信号在硬件寄存器之间的流动进行建模，包括使用经建模的数字信号执行的相关联的逻辑。除了RTL设计1115之外，还可以创建、设计或合成逻辑级别或晶体管级别的较低级别设计。因此，初始设计和仿真的具体细节可以变化。

RTL设计1115或等效物可以由设计设施进一步合成为硬件模型1120，该硬件模型1120可以采用硬件描述语言(HDL)或物理设计数据的某种其他表示。可以进一步仿真或测试HDL以验证IP核心设计。可以存储IP核心设计以使用非易失性存储器1140(例如，硬盘、闪速存储器或任何非易失性存储介质)递送到第三方制造设施1165。可替代地，可以通过有线连接1150或无线连接1160(例如，经由互联网)传输IP核心设计。然后，制造设施1165可以制造至少部分地基于该IP核心设计的集成电路。制造的集成电路可以被配置为执行根据本文所描述的至少一个实施例的操作。

图11B示出了根据本文所描述的一些实施例的集成电路封装组装件1170的横截面侧视图。集成电路封装组装件1170示出了如本文所描述的一个或多个处理器或加速器设备的实现方式。封装组装件1170包括连接到衬底1180的多个硬件逻辑单元1172、1174。逻辑1172、1174可以至少部分地以可配置逻辑或固定功能逻辑硬件实现，并且可以包括本文所描述的(多个)处理器核心、(多个)图形处理器或其他加速器设备中的任一个的一个或多个部分。每个逻辑单元1172、1174可以在半导体管芯内实现，并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在逻辑1172、1174与衬底1180之间路由电信号并且可以包括互连，该互连例如但不限于凸块或支柱。在一些实施例中，互连结构1173可以被配置为路由电信号，例如，与逻辑1172、1174的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1170可以经由封装互连1183连接到其他电子设备。封装互连1183可以与衬底1180的表面耦合以将电信号路由到其他电子设备，例如，母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑单元1172、1174与桥1182电耦合，该桥1182被配置为在逻辑1172、1174之间路由电信号。桥1182可以是提供用于电信号的路由的密集互连结构。桥1182可以包括由玻璃或合适的半导体材料构成的桥衬底。可以在桥衬底上形成电路由特征，以提供逻辑1172、1174之间的芯片到芯片连接。

尽管示出了两个逻辑单元1172、1174和桥1182，但是本文所描述的实施例可以在一个或多个管芯上包括更多或更少的逻辑单元。一个或多个管芯可以通过零个或更多个桥连接，因为当逻辑被包括在单个管芯上时可以排除桥1182。可替代地，多个管芯或逻辑单元可以通过一个或多个桥连接。另外地，多个逻辑单元、管芯和桥可以以其他可能的配置(包括三维配置)连接在一起。

图11C示出了封装组装件1190，该封装组装件1190包括连接到衬底1180(例如，基础管芯)的硬件逻辑小芯片的多个单元。如本文描述的图形处理单元、并行处理器和/或计算加速器可以由单独制造的不同硅小芯片组成。在该上下文中，小芯片是至少部分封装的集成电路，其包括可以与其他小芯片组装成更大封装的不同逻辑单元。可以将具有不同IP核心逻辑的小芯片的不同集合组装到单个设备中。另外，可以使用有源插入器技术将小芯片集成到基础管芯或基础小芯片中。本文描述的概念实现在GPU内的不同形式的IP之间的互连和通信。可以使用不同的工艺技术制造IP核心，并且可以在制造期间组合IP核心，这避免了将多个IP聚集到同一制造工艺的复杂性(尤其是在具有若干种类IP的大型SoC上)。实现多种工艺技术的使用可以改进上市时间，并且提供一种经济高效的方式来创建多个产品SKU。此外，分解的IP更适合独立门控供电，可以对给定工作负荷上未使用的组件断电，从而降低总体功耗。

硬件逻辑小芯片可以包括专用硬件逻辑小芯片1172、逻辑或I/O小芯片1174和/或存储器小芯片1175。硬件逻辑小芯片1172和逻辑或I/O小芯片1174可以至少部分地以可配置逻辑或固定功能逻辑硬件实现，并且可以包括本文描述的(多个)处理器核心、(多个)图形处理器、并行处理器或其他加速器设备中的任何一个的一个或多个部分。存储器小芯片1175可以是DRAM(例如，GDDR、HBM)存储器或高速缓冲(SRAM)存储器。

每个小芯片可以被制造为单独的半导体管芯，并且经由互连结构1173与衬底1180耦合。互连结构1173可以被配置为在各种小芯片和衬底1180内的逻辑之间路由电信号。互连结构1173可以包括例如但不限于凸块或立柱的互连。在一些实施例中，互连结构1173可以被配置为路由电信号，例如，与逻辑、I/O和存储器小芯片的操作相关联的输入/输出(I/O)信号和/或电源或接地信号。

在一些实施例中，衬底1180是基于环氧树脂的层压衬底。在其他实施例中，衬底1180可以包括其他合适类型的衬底。封装组装件1190可以经由封装互连1183连接到其他电设备。封装互连1183可以耦合到衬底1180的表面，以将电信号路由到其他电设备，例如，母板、其他芯片组或多芯片模块。

在一些实施例中，逻辑或I/O小芯片1174和存储器小芯片1175可以经由桥1187电耦合，该桥1187被配置为在逻辑或I/O小芯片1174和存储器小芯片1175之间路由电信号。桥1187可以是密集的互连结构，其可以为电信号提供路由。桥1187可以包括由玻璃或合适的半导体材料组成的桥衬底。可以在桥衬底上形成电路由特征，以在逻辑或I/O小芯片1174和存储器小芯片1175之间提供芯片到芯片连接。桥1187也可以称为硅桥或互连桥。例如，在一些实施例中，桥1187是嵌入式多管芯互连桥(EMIB)。在一些实施例中，桥1187可以简单地是从一个小芯片到另一小芯片的直接连接。

衬底1180可以包括用于I/O 1191、高速缓冲存储器1192和其他硬件逻辑1193的硬件组件。可以将结构1185嵌入到衬底1180中，以在衬底1180内实现各种逻辑小芯片与逻辑1191、1193之间的通信。在一个实施例中，I/O 1191、结构1185、高速缓存、桥和其他硬件逻辑1193可以集成到层叠在衬底1180顶部的基础管芯中。结构1185可以是片上网络互连，或在封装组装件的组件之间交换数据分组的另一种形式的分组交换结构。

在各种实施例中，封装组装件1190可以包括通过结构1185或一个或多个桥1187互连的更少或更多数量的组件和小芯片。在封装组装件1190内的小芯片可以以3D或2.5D布置进行布置。通常，桥结构1187可以用于促进在例如逻辑或I/O小芯片与存储器小芯片之间的点对点互连。结构1185可以用于互连各种逻辑和/或I/O小芯片(例如，小芯片1172、1174、1191、1193)与其他逻辑和/或I/O小芯片。在一个实施例中，在衬底内的高速缓冲存储器1192可以用作封装组装件1190的全局高速缓存、分布式全局高速缓存的一部分，或者用作结构1185的专用高速缓存。

图11D示出了根据实施例的包括可互换小芯片1195的封装组装件1194。可互换小芯片1195可被组装到在一个或多个基础小芯片1196、1198上的标准化的插槽中。基础小芯片1196、1198可以经由桥互连1197耦合，该桥互连可以与本文描述的其他桥互连类似，并且可以是例如EMIB。存储器小芯片也可以经由桥互连来连接到逻辑或I/O小芯片。I/O和逻辑小芯片可以经由互连结构进行通信。基础小芯片可以各自支持以标准化格式的一个或多个插槽以用于逻辑或I/O或存储器/高速缓存中的一个。

在一个实施例中，可以将SRAM和电力传送电路制造为基础小芯片1196、1198中的一个或多个，这些小芯片可以使用相对于堆叠在基础小芯片顶部的可互换小芯片1195不同的工艺技术来制造。例如，可以使用较大的工艺技术来制造基础小芯片1196、1198，而可以使用较小的工艺技术来制造可互换小芯片。可互换小芯片1195中的一个或多个可以是存储器(例如，DRAM)小芯片。可以基于针对使用封装组装件1194的产品的功率和/或性能来为封装组装件1194选择不同的存储器密度。另外，可以基于针对产品的功率和/或性能在组装时选择具有不同数量或类型的功能单元的逻辑小芯片。此外，可以将包含不同类型的IP逻辑核心的小芯片插入可互换小芯片插槽中，从而实现可以混合和匹配不同技术IP块的混合处理器设计。

示例性片上系统集成电路

图12-13B示出了根据本文所描述的各种实施例的可以使用一个或多个IP核心制造的示例性集成电路和相关联的图形处理器。除了所示的内容之外，还可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。

图12是示出根据实施例的可以使用一个或多个IP核心制造的示例性片上系统集成电路1200的框图。示例性集成电路1200包括一个或多个应用处理器1205(例如，CPU)、至少一个图形处理器1210，并且可以另外地包括图像处理器1215和/或视频处理器1220，其中任何一个可以是来自相同的或多个不同的设计设施的模块化IP核心。集成电路1200包括外围设备或总线逻辑，包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I²S/I²C控制器1240。另外地，集成电路可以包括显示设备1245，该显示设备1245与高清晰度多媒体接口(HDMI)控制器1250和移动工业处理器接口(MIPI)显示接口1255中的一个或多个耦合。存储装置可以由包括闪速存储器和闪速存储器控制器的闪速存储器子系统1260提供。可以经由存储器控制器1265提供存储器接口以访问SDRAM或SRAM存储器设备。一些集成电路另外地包括嵌入式安全引擎1270。

图13A-13B是示出根据本文所描述的实施例的在SoC内使用的示例性图形处理器的框图。图13A示出了根据实施例的可以使用一个或多个IP核心制造的片上系统集成电路的示例性图形处理器1310。图13B示出了根据实施例的可以使用一个或多个IP核心制造的片上系统集成电路的附加的示例性图形处理器1340。图13A的图形处理器1310是低功率图形处理器核心的示例。图13B的图形处理器1340是更高性能图形处理器核心的示例。图形处理器1310、1340中的每一个可以是图12的图形处理器1210的变体。

如图13A中所示，图形处理器1310包括顶点处理器1305和一个或多个片段处理器1315A-1315N(例如，1315A、1315B、1315C、1315D到1315N-1和1315N)。图形处理器1310可以经由单独的逻辑执行不同的着色器程序，使得顶点处理器1305被优化以执行针对顶点着色器程序的操作，而一个或多个片段处理器1315A-1315N执行针对片段或像素着色器程序的片段(例如，像素)着色操作。顶点处理器1305执行3D图形流水线的顶点处理阶段并且生成基元和顶点数据。(多个)片段处理器1315A-1315N使用由顶点处理器1305生成的基元和顶点数据来产生在显示设备上显示的帧缓冲器。在一个实施例中，(多个)片段处理器1315A-1315N被优化以执行如OpenGL API中提供的片段着色器程序，该片段着色器程序可以用于执行与Direct 3D API中提供的像素着色器程序类似的操作。

图形处理器1310另外地包括一个或多个存储器管理单元(MMU)1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。一个或多个MMU 1320A-1320B为图形处理器1310(包括为顶点处理器1305和/或(多个)片段处理器1315A-1315N)提供虚拟到物理地址映射，其除了存储在一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外还可以引用存储在存储器中的顶点或图像/纹理数据。在一个实施例中，一个或多个MMU 1320A-1320B可以与系统内的其他MMU(包括与图12的一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220相关联的一个或多个MMU)同步，使得每个处理器1205-1220可以参与共享或统一的虚拟存储器系统。根据实施例，一个或多个电路互连1330A-1330B使得图形处理器1310能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核心相接合。

如图13B所示，图形处理器1340包括图13A的图形处理器1310的一个或多个MMU1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。图形处理器1340包括一个或多个着色器核心1355A-1355N(例如，1355A、1355B、1355C、1355D、1355E、1355F到1355N-1和1355N)，其提供统一的着色器核心架构，其中单核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。存在的着色器核心的精确数量可以在实施例和实现方式之间变化。另外地，图形处理器1340包括核心间任务管理器1345和图块拼接单元1358，核心间任务管理器1345用作线程分派器以将执行线程分派给一个或多个着色器核心1355A-1355N，图块拼接单元1358用于加速用于基于图块的渲染的图块拼接操作，其中针对场景的渲染操作在图像空间中被细分以例如利用场景内的局部空间一致性或优化内部高速缓存的使用。

在一些实施例中，处理资源表示与本文描述的GPU中的图形处理器或图形处理器结构(例如，并行处理单元、图形处理引擎、多核心组、计算单元、图形核心的计算单元)相关联的处理元件(例如，GPGPU核心、光线跟踪核心、张量核心、执行资源、执行单元(EU)、流处理器、流送多处理器(SM)、图形多处理器)。例如，处理资源可以是：图形多处理器的GPGPU核心或张量/光线跟踪核心中的一个；图形多处理器的光线跟踪核心、张量核心或GPGPU核心；图形多处理器的执行资源；多核心组的GFX核心、张量核心或光线跟踪核心中的一个；计算单元的向量逻辑单元或标量逻辑单元中的一个；具有EU阵列的执行单元或EU阵列；执行逻辑的执行单元；和/或执行单元。处理资源还可以是例如图形处理引擎、处理集群、GPGPU、GPGPU、图形处理引擎、图形处理引擎集群和/或图形处理引擎内的执行资源。处理资源还可以是图形处理器、图形处理器和/或图形处理器内的处理资源。

并行计算是其中同时执行许多计算或过程的执行的一种类型的计算。并行计算可以以多种形式出现，包括但不限于SIMD或SIMT。SIMD描述了计算机的多个处理元件同时对多个数据点执行相同的操作。在一个实施例中，上面讨论的5A-5B涉及SIMD及其在通用处理器中关于EU、FPU和ALU的实现方式。在常见的SIMD机器中，数据被打包到寄存器中，每个寄存器包含通道的阵列。指令对在寄存器的通道n中找到的数据以及在另一个寄存器的相同通道中找到的数据进行操作。SIMD机器在单个指令序列可以同时应用于大量数据的领域中非常有利。例如，在一个实施例中，图形处理器(例如，GPGPU、GPU等)可以用于使用计算着色器程序来执行SIMD向量操作。

各种实施例也可以适用于将通过使用单指令多线程(SIMT)的执行用作对SIMD的使用的替代，或除使用SIMD之外还使用SIMT。对SIMD核心或操作的引用也可以适用于SIMT或适用于SIMD与SIMT结合。关于SIMD机器讨论以下描述。然而，本公开的实现方式不仅仅限于在SIMD上下文中的应用，并且可以适用于诸如SIMT之类的其他并行计算范例。为了便于讨论和解释，以下描述通常关注SIMD实现方式。然而，在不对所描述的技术和方法进行修改的情况下，本公开的实现方式可以类似地适用于SIMT机器。对于SIMT机器，可以遵循下面讨论的类似模式，以向脉动阵列提供指令并在SIMT机器上执行指令。其他类型的并行计算机器也可以利用本公开的实现方式。

常规地，SIMD机器中同一寄存器的通道之间的运算被正常地模拟，并且因此，不以硬件实现。这种跨通道运算可以包括但不限于计算通道序列中的最小值或最大值，以及其他示例。利用跨通道依赖性的其他算术和/或逻辑运算在本文中也可以被认为是跨通道运算。例如，跨通道运算通常用于现代光线跟踪工作负荷中。这种跨通道运算典型地不以硬件实现，因为它们经常破坏上述模型，从而导致其实现方式在硬件资源方面成本很高。类似地，这种跨通道运算常规地不以硬件实现，因为它们相比模拟替代方案不能提供明显的性能改进。

常规系统通过使用硬件和软件实现方式的组合模拟指令的行为已经在并行计算机器(例如，SIMD机器或SIMT机器)中实现了跨通道运算。对于常规方法，硬件实现在同一寄存器的通道的子集以及通道的另一子集上操作的指令。该指令通常用于对数据执行多遍，从而减少每遍所操作的通道数量。在单个通道中获得结果，并将其广播到所有通道。该过程可以利用用于查找寄存器中通道的集合的最大值的算法来举例说明。假设寄存器具有8个通道，并且指令将寄存器的上部的四个通道与同一寄存器的四个下部通道进行比较。此运算的第一遍产生四个元素，其中一半可以保存在寄存器的上部通道中，并且其余一半保存在同一寄存器的下部通道中。第二运算产生两个结果，这些结果也可以按照前面描述的方式保存。最后一遍可以获得期望结果，该期望结果可以广播到所有通道。

与以硬件实现指令相比，模拟同一寄存器的通道之间的运算通常消耗更高数量的周期。这不仅是由于过程的迭代性质，而且还由于该过程对每个步骤的结果具有依赖性。即使模拟操作消耗更高数量的周期，常规系统仍依赖模拟指令，因为多线程化机器的效率通常会抵消此更高数量的周期的低效率。例如，多线程化机器在解决这些依赖性所用的时间期间从其他线程分派指令，从而允许在模拟操作时平均使分派给机器的所有线程的总体执行效率更高。

在SIMD机器中实现跨通道运算的另一种常规方法是基于硬件的实现方式。基于硬件的实现方式可以在寄存器的所有通道之间复制相同的运算。由于这在正常情况下不是SIMD机器中执行单元的设计，因此为此目的创建了专用硬件。

本公开的实现方式通过利用脉动阵列避免了创建用于跨通道运算的特殊硬件。脉动阵列是称为单元元件(cell)或节点的紧密耦合的数据处理单元(DPU)的同构网络，其中每个节点根据从其上游邻居接收到的数据独立计算部分结果，将结果存储在其自身内，并且向下游传递结果。在一个示例中，脉动阵列可以用于大规模的乘法-累加运算。在一些实现方式中，脉动阵列包括DPU的宽为W且深为D的网络，其可以用于以脉动方式执行向量或其他数据并行运算。脉动阵列可以被配置为执行矩阵运算，例如，矩阵点积运算。脉动阵列可以支持16位浮点运算以及8位和4位整数运算。在一个实施例中，脉动阵列可以被配置为加速机器学习操作。在这样的实施例中，脉动阵列可以被配置为支持bfloat 16位浮点格式。

本公开的实现方式提供了一种利用脉动阵列来高效地实现通道之间的运算(即，跨通道运算)的技术。因此，与仅针对这些运算的执行而开发的常规解决方案(例如，模拟、硬件实现方式等)相比，实现方式提供减少数量的硬件资源。跨通道运算的实现方式利用了脉动阵列的特征，例如，脉动阵列的广播特征和脉动阵列的流水线化实现方式。本公开的实现方式可以跨脉动阵列的通道广播/传播元素，然后增强脉动阵列的硬件以实现跨通道运算。因此，在不引入附加的昂贵硬件的情况下，在加快现有处理资源中的执行速度方面，本公开的实现方式改进了处理器(例如，CPU、GPU、GPGPU等)的处理资源的性能。

图14示出了根据本公开的实现方式的脉动阵列1400。图14中所示的脉动阵列1400可以与本文关于图6描述的脉动阵列612相同。在一种实现方式中，脉动阵列1400是实现乘法累加运算的常规脉动阵列。脉动阵列可以包括称为单元元件或节点的紧密耦合的数据处理单元(DPU)1405的同构网络。尽管附图标记1405仅指向脉动阵列1400中的2个DPU，但是应当理解，附图标记1405延伸到脉动阵列1400内的所有其他块。脉动阵列1400中的每个节点或DPU 1405根据从其上游邻居接收的数据独立地计算部分结果，将结果存储在其自身内(例如，rslt0.0，rslt0.1，…，rslt6.0，rslt6.1，…)，并且将结果向下游传递至脉动阵列1400内的其他DPU 1405。在一个示例中，常规脉动阵列1400可以通过将若干寄存器(src11430a-1430h)的通道上的数据与单个寄存器(src2 1410)的元素相乘并相加来实现矩阵乘法运算。为了实现加法-累加指令，常规脉动阵列在每个周期接收三个输入寄存器(例如，src0 1420、src2 1410和src1 1430a-1430h)。在脉动阵列1400的流水线的每个阶段1407a-h上，将src2 1410的通道的元素广播到包含一个src1寄存器1430a-1430h的管道的所有通道，并且使用src0寄存器1420的通道按通道执行乘法加法运算。

关于本公开的实现方式，为了实现跨通道运算(例如，最小(min)、最大(max)、相等(are_equal)和其他跨通道运算)，实施例利用了脉动阵列的广播特征和脉动阵列的流水线化实现方式。本公开的实现方式可以跨脉动阵列的通道广播/传播元素，然后增强脉动阵列的硬件以实现跨通道运算，如下面关于图15和图16所示的示例脉动阵列进一步讨论的。

图15示出了根据本公开的实现方式的用于在并行计算机器中计算跨通道运算的脉动阵列1500。图15中示出的脉动阵列1500可以与本文关于图6描述的脉动阵列612相同。根据本公开的实现方式，图15的脉动阵列被示为执行最大运算。脉动阵列执行的最小运算将同样相似，其中运算“>＝”替换为“<＝”。注意，此最大(或最小)运算的结果作为输出广播到目标寄存器的所有通道。

在一个实施例中，图15的脉动阵列1500被配置为执行最大运算。对于最小运算和最大运算，使用脉动阵列1500的通道0和1。脉动阵列1500的所有其他通道被禁用以减少功耗。在一个示例中，可以通过对通道进行功率门控以完全对通道断电来禁用通道。

关于脉动阵列1500，将单个源寄存器(src0 1510)用于指令，并且将其作为输入馈送到脉动阵列1500。在一个实施例中，该输入可以是与图14中标记为“src2”的输入相同的输入。在脉动阵列1500的第一阶段，将src0.0和src0.1输入到针对通道0进行计算的电路(例如，DPU 1505)。将src0.8和src0.9输入到针对通道1进行计算的电路。将Src0.2输入到在脉动阵列的下一阶段针对通道0进行计算的电路，并且将src0.10输入到针对通道1进行计算的电路。接下来的源遵循相同的稍后累进。

脉动阵列1500的每个阶段1507a-1507h针对由其先前阶段1507a-1507h计算的比较的输出来执行比较(最小或最大)。然而，对于第一阶段1507a，针对src0.0或src0.8进行比较。另外，对于最后一个阶段，进行前两个通道的输出的计算。该最后一个阶段1507h针对整个计算提供单个输出。然后，该单个输出由脉动阵列1500广播到目标寄存器1540的所有通道。

图16示出了根据本公开的实现方式的用于在并行计算机器中计算跨通道运算的另一示例脉动阵列1600。图16中所示的脉动阵列1600可以与本文关于图6描述的脉动阵列612相同。脉动阵列1600可以包括与关于图15描述的脉动阵列1500类似的架构。关于脉动阵列1600，对于并行计算机器(例如，SIMD机器或SIMT机器)中的一些跨通道运算，不是在通道之间查找运算的值(例如，图15的脉动阵列1500所示)，跨通道运算的工作负荷可以代替地确定通道的索引。

图16的脉动阵列1600描绘了针对最大运算的该索引值确定。为了实现这一点，图16中所示的脉动阵列1600的流水线可以在脉动阵列1600的阶段1607a-1607h的每个DPU1605处传播部分计算的获胜者的索引。与图15的脉动阵列1500相比，可以修改脉动阵列1600以传播通道的索引值而不是值本身。在一些实现方式中，脉动阵列1600的DPU 1605被配置为使得当计算最大(或最小)两个元素相等时，较低的元素的索引被保留。脉动阵列1600可以向目标寄存器1640的所有通道广播单个输出索引值。

图17是示出用于使用脉动阵列在并行计算机器中计算高效的跨通道运算的方法1700的实施例的流程图。方法1700可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑等)、软件(例如，在处理设备上运行的指令)或其组合。为了呈现的简洁和清楚起见，以线性顺序示出了方法1700的过程；然而，预期可以并行地、异步地或以不同顺序执行任意数量的过程。此外，为了简洁、清楚和易于理解，下文中将不再重复或讨论关于图1-16描述的许多组件和过程。在一种实现方式中，诸如图15的脉动阵列1500或图16的脉动阵列1600之类的脉动阵列可以执行方法1700。

方法1700开始于处理框1710，其中脉动阵列从单个源寄存器接收源数据。在一种实现方式中，脉动阵列已被修改以执行跨通道运算。在框1720处，脉动阵列在脉动阵列硬件电路的通道的子集处对源数据执行运算。在一个实施例中，这些运算是跨通道运算，并且可以包括但不限于最大运算、最小运算或相等运算。在一些实现方式中，在脉动阵列的通道的子集上执行运算，并且脉动阵列的其余通道被禁用。

在框1730处，脉动阵列将运算的结果传递到脉动阵列的后续阶段。脉动阵列的后续阶段可以从单个源寄存器接收不同的源数据。例如，脉动阵列的后续阶段可以从单个源寄存器的与将数据提供给脉动阵列的先前阶段的通道不同的通道的集合接收数据。脉动阵列的后续阶段可以对在后续阶段接收到的输入数据执行运算，该运算类似于在框1720处执行的运算。最后，在框1740处，脉动阵列向目标寄存器的每个通道广播脉动阵列的最后一个阶段的结果。

图18是示出用于修改脉动阵列以在并行计算机器中计算高效的跨通道运算的方法1800的实施例的流程图。方法1800可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，电路、专用逻辑、可编程逻辑等)、软件(例如，在处理设备上运行的指令)或其组合。为了呈现的简洁和清楚起见，以线性顺序示出了方法1800的过程；然而，预期可以并行地、异步地或以不同顺序执行任意数量的过程。此外，为了简洁、清楚和易于理解，下文中将不再重复或讨论关于图1-17描述的许多组件和过程。在一种实现方式中，诸如图15的脉动阵列1500或图16的脉动阵列1600之类的脉动阵列可以执行方法1800。

方法1800开始于处理框1810，其中脉动阵列硬件电路的节点的输入通道被修改，以在脉动阵列硬件电路的不同阶段从单个源寄存器的不同元素接收输入。在处理框1820处，脉动阵列硬件电路的通道的节点的逻辑电路被修改，以执行特定的跨通道运算。在一个实施例中，跨通道运算可以包括但不限于最大运算、最小运算和相等运算，仅举几例。也可以实现利用跨通道依赖性的其他算术和/或逻辑运算。

在处理框1830处，脉动阵列硬件电路的未用于计算跨通道运算的通道被禁用。在一种实现方式中，通过对节点进行功率门控来禁用未被利用的通道的节点。最后，在处理框1840处，脉动阵列硬件电路被修改，以向目标寄存器的每个通道广播脉动阵列硬件电路的最终一个阶段的结果。

以下示例涉及另外的实施例。示例1是一种用于使用脉动阵列电路在并行计算机器中计算跨通道运算的装置。示例1的装置包括多个寄存器和可通信地耦合到多个寄存器的一个或多个处理元件。示例1的一个或多个处理元件包括脉动阵列电路，用于对从多个寄存器中的单个源寄存器接收的源数据执行跨通道运算，脉动阵列电路被修改以从单个源寄存器接收输入，并且将单个源寄存器的元素路由到脉动阵列电路中的多个通道。

在示例2中，示例1的主题可以可选地包括，其中，脉动阵列电路被修改以向多个寄存器中的目标寄存器的所有元素广播来自脉动阵列电路的最终一行的结果值。在示例3中，示例1-2中任一项的主题可以可选地包括，其中，一个或多个处理元件被包含在图形处理单元(GPU)中。在示例4中，示例1-3中任一项的主题可以可选地包括，其中，通过修改脉动阵列电路的数据处理单元(DPU)以对源数据执行跨通道运算，并且修改脉动阵列电路的DPU的路由以在脉动阵列电路的不同阶段处从单个源寄存器的不同通道接收输入，脉动阵列电路针对跨通道运算被修改。

在示例5中，示例1-4中任一项的主题可以可选地包括，其中，脉动阵列电路的不同阶段各自接收单个源寄存器的要对其执行跨通道运算的不同元素。在示例6中，示例1-5中任一项的主题可以可选地包括，其中，脉动阵列电路的通道的子集执行跨通道运算，并且其中，脉动阵列电路的未被包含在通道的子集中的其他通道被禁用。

在示例7中，示例1-6中任一项的主题可以可选地包括，其中，跨通道运算包含最大运算、最小运算或相等运算中的至少一个。在示例8中，示例1-7中任一项的主题可以可选地包括，其中，脉动阵列电路的最终一个阶段的第一通道被修改以从脉动阵列电路的前一阶段的多于一个通道接收输入。

在示例9中，示例1-8中任一项的主题可以可选地包括，装置包括单指令多数据(SIMD)机器。在示例10中，示例1-9中任一项的主题可以可选地包括，装置包括单指令多线程(SIMT)机器。

示例11是一种用于促进使用脉动阵列硬件电路在并行计算机器中计算跨通道运算的计算机生成的方法，该方法包括：在针对跨通道运算被修改的脉动阵列硬件电路处，从单个源寄存器接收源数据；在脉动阵列硬件电路的通道的子集处对源数据执行跨通道运算；将跨通道运算的结果传递到脉动阵列硬件电路的后续阶段；以及向目标寄存器的每个通道广播脉动阵列硬件电路的最后一个阶段的结果。

在示例12中，示例11的主题可以可选地包括，其中，脉动阵列电路被修改以向多个寄存器中的目标寄存器的所有元素广播来自脉动阵列电路的最终一行的结果值。在示例13中，示例11-12中任一项的主题可以可选地包括，其中，一个或多个处理元件被包括在图形处理单元(GPU)中。在示例14中，示例11-13中任一项的主题可以可选地包括，其中，通过修改脉动阵列电路的数据处理单元(DPU)以对源数据执行跨通道运算，并且修改脉动阵列电路的DPU的路由以在脉动阵列电路的不同阶段处从单个源寄存器的不同通道接收输入，脉动阵列电路针对跨通道运算被修改。

在示例15中，示例11-14中任一项的主题可以可选地包括，其中，脉动阵列电路的不同阶段各自接收单个源寄存器的要对其执行跨通道运算的不同元素。在示例16中，示例11-15中任一项的主题可以可选地包括，其中，脉动阵列电路的通道的子集执行跨通道运算，并且其中，脉动阵列电路的未被包括在通道的子集中的其他通道被禁用。

在示例17中，示例11-16中任一项的主题可以可选地包括，其中，跨通道运算包括最大运算、最小运算或相等运算中的至少一个。在示例18中，示例11-17中任一项的主题可以可选地包括，其中，脉动阵列电路的最终一个阶段的第一通道被修改以从脉动阵列电路的前一阶段的多于一个通道接收输入。

在示例19中，示例11-18中任一项的主题可以可选地包括，并行计算机器包括单指令多数据(SIMD)机器。在示例20中，示例11-19中任一项的主题可以可选地包括，并行计算机器包括单指令多线程(SIMT)机器。

示例21是一种用于促进使用脉动阵列硬件电路在并行计算机器中计算跨通道运算的非暂时性计算机可读介质。在示例21中，非暂时性计算机可读介质可以在其上存储有指令，该指令当由一个或多个处理器执行时，使处理器：在针对跨通道运算被修改的脉动阵列硬件电路处，从单个源寄存器接收源数据；在脉动阵列硬件电路的通道的子集处对源数据执行跨通道运算；将跨通道运算的结果传递到脉动阵列硬件电路的后续阶段；以及向目标寄存器的每个通道广播脉动阵列硬件电路的最后一个阶段的结果。

在示例22中，示例21的主题可以可选地包括，其中，脉动阵列电路被修改以向多个寄存器中的目标寄存器的所有元素广播来自脉动阵列电路的最终一行的结果值。在示例23中，示例21-22中任一项的主题可以可选地包括，其中，一个或多个处理元件被包括在图形处理单元(GPU)中。在示例24中，示例21-23中任一项的主题可以可选地包括，其中，通过修改脉动阵列电路的数据处理单元(DPU)以对源数据执行跨通道运算，并且修改脉动阵列电路的DPU的路由以在脉动阵列电路的不同阶段处从单个源寄存器的不同通道接收输入，脉动阵列电路针对跨通道运算被修改。

在示例25中，示例21-24中任一项的主题可以可选地包括，其中，脉动阵列电路的不同阶段各自接收单个源寄存器的要对其执行跨通道运算的不同元素。在示例26中，示例21-25中任一项的主题可以可选地包括，其中，脉动阵列电路的通道的子集执行跨通道运算，并且其中，脉动阵列电路的未被包括在通道的子集中的其他通道被禁用。

在示例27中，示例21-26中任一项的主题可以可选地包括，其中，跨通道运算包括最大运算、最小运算或相等运算中的至少一个。在示例28中，示例21-27中任一项的主题可以可选地包括，其中，脉动阵列电路的最终一个阶段的第一通道被修改以从脉动阵列电路的前一阶段的多于一个通道接收输入。

在示例29中，示例21-28中任一项的主题可以可选地包括，并行计算机器包括单指令多数据(SIMD)机器。在示例30中，示例21-29中任一项的主题可以可选地包括，并行计算机器包括单指令多线程(SIMT)机器。

示例31是一种用于促进使用脉动阵列硬件电路在并行计算机器中计算跨通道运算的系统。在示例31中，系统包括存储器和多个GPU中的一个或多个处理器。示例31的一个或多个处理器可通信地耦合到存储器，并且包括脉动阵列电路，该脉动阵列电路用于对从多个寄存器中的单个源寄存器接收的源数据执行跨通道运算，脉动阵列电路被修改以从单个源寄存器接收输入，并且将单个源寄存器的元素路由到脉动阵列电路中的多个通道。

在示例32中，示例31的主题可以可选地包括，其中，脉动阵列电路被修改以向多个寄存器中的目标寄存器的所有元素广播来自脉动阵列电路的最终一行的结果值。在示例33中，示例31-32中任一项的主题可以可选地包括，其中，一个或多个处理元件被包括在图形处理单元(GPU)中。在示例34中，示例31-33中任一项的主题可以可选地包括，其中，通过修改脉动阵列电路的数据处理单元(DPU)以对源数据执行跨通道运算，并且修改脉动阵列电路的DPU的路由以在脉动阵列电路的不同阶段处从单个源寄存器的不同通道接收输入，脉动阵列电路针对跨通道运算被修改。

在示例35中，示例31-34中任一项的主题可以可选地包括，其中，脉动阵列电路的不同阶段各自接收单个源寄存器的要对其执行跨通道运算的不同元素。在示例36中，示例31-35中任一项的主题可以可选地包括，其中，脉动阵列电路的通道的子集执行跨通道运算，并且其中，脉动阵列电路的未被包括在通道的子集中的其他通道被禁用。

在示例37中，示例31-36中任一项的主题可以可选地包括，其中，跨通道运算包括最大运算、最小运算或相等运算中的至少一个。在示例38中，示例31-37中任一项的主题可以可选地包括，其中，脉动阵列电路的最终一个阶段的第一通道被修改以从脉动阵列电路的前一阶段的多于一个通道接收输入。

在示例39中，示例31-38中任一项的主题可以可选地包括，并行计算机器包括单指令多数据(SIMD)机器。在示例40中，示例31-39中任一项的主题可以可选地包括，并行计算机器包括单指令多线程(SIMT)机器。

示例41是一种用于促进使用脉动阵列硬件电路在并行计算机器中计算跨通道运算的装置，该装置包括：用于在针对跨通道运算被修改的脉动阵列硬件电路处，从单个源寄存器接收源数据的单元；用于在脉动阵列硬件电路的通道的子集处对源数据执行跨通道运算的单元；用于将跨通道运算的结果传递到脉动阵列硬件电路的后续阶段的单元；以及用于向目标寄存器的每个通道广播脉动阵列硬件电路的最后一个阶段的结果的单元。在示例42中，示例41的主题可以可选地包括，该装置进一步被配置为执行示例12至20中任一项的方法。

示例43是至少一种机器可读介质，其包括多个指令，这些指令响应于在计算设备上执行而使计算设备执行根据示例11-20中任一项的方法。示例44是一种用于使用脉动阵列硬件电路在并行计算机器中计算跨通道运算的装置，该装置被配置为执行示例11-20中任一项的方法。示例45是一种用于使用脉动阵列硬件电路在并行计算机器中计算跨通道运算的装置，该装置包括用于执行示例11至20中任一项的方法的单元。示例中的细节可以在一个或多个实施例中的任何地方使用。

前述说明书和附图应被认为是说明性而非限制性的。本领域技术人员将理解，可以在不脱离所附权利要求书中阐述的特征的更宽泛的精神和范围的情况下，对本文描述的实施例进行各种修改和改变。