具体实施方式

已经在多瓦片(tile)处理器的上下文中开发了本发明的各方面，这种处理器被设计为担任机器学习工作负载的加速器。加速器包括多个互连的处理节点。每个处理节点可以是单个的多瓦片芯片、多个芯片的封装或多个封装的机架。本文的目的是设计一种在确定性(可重复)计算方面高效的机器。处理节点以能够高效地实现集合体(尤其是广播和全归约)的方式进行互连。

一个特定的应用是在使用分布式处理来训练神经网络时更新模型。在此上下文中，分布式处理利用位于不同物理实体(诸如芯片或封装或机架)中的多个处理节点。也即，处理节点之间的数据传输需要通过物理链路来交换消息。

在开发专用于机器学习的拓扑中的挑战不同于高性能计算(HPC)网络的一般领域。HPC网络通常强调按需异步全对全(All-to-All)个性化通信，因此动态路由和带宽过度供应(provision)是正常的。可以在HPC网络中供应过量的带宽，目的是减少延迟而不是提供带宽。活动通信链路的过度供应会浪费可能有助于计算性能的功率。当今计算中使用的最常见的链路类型在其活动时消耗功率，而无论其是否正被用于传输数据。

本发明人开发了一种特别适于MI工作负载的机器拓扑结构，并且解决了MI工作负载的以下属性。

在MI工作负载中，芯片间通信当前由广播和全归约集合体主导。广播集合体可以由散射集合体后接全聚集集合体来实现，并且全归约集合体可以由归约-散射集合体后接全聚集集合体来实现。在此上下文中，术语“芯片间”表示经由外部通信链路连接的处理节点之间的任何通信。如前所述，这些处理节点可以是芯片、封装或机架。

注意，通信链路可以在一个印刷电路板上的芯片之间，也可以在不同印刷电路板上的芯片之间。

可以对工作负载进行编译，使得在单独智能处理单元(IPU)机器内，全对全通信主要是芯片间的。

全归约集合体已在上文进行了描述并被图示在图2中。图2示出了处于开始状态S1的四个节点中的每个节点上的一组局部值或“局部”向量P₀、P₁、P₂、P₃。在此上下文中，节点是处理节点网络中的处理节点。注意，每个节点N₀、N₁、N₂、N₃都有四个“对应的”局部，它们被相应地标记(菱形大网格、斜向下宽条纹、方形大网格、斜向上宽条纹)。也即，每个局部在其局部向量中都有一个位置，使得P0(n)在节点n上在其向量中的位置与P0(n+1)在节点n+1上在其向量中的位置相同。使用后缀(n)来表示局部所在的节点——因此，P0(0)是节点N₀上的局部P₀。在归约-散射传递(pass)中，对应局部被归约，并且归约被提供给节点之一。例如，局部P0(0)、P0(1)、P0(2)、P0(3)被归约(归约到r₀)并置于节点N₀上。类似地，局部P1(0)、P1(1)、P1(2)和P1(3)被归约(归约到r₁)并置于节点N上。依此类推，使得：在中间状态S2下，每个节点都有归约r₀、r₁、r₂和r₃之一。正如所解释的，归约可以通过任何组合函数进行，该函数可以包括独立运算符(例如max)或关联运算符＝P1(0)*P1(1)*P1(2)*P1(3)。然后，在全聚集传递中，每个归约被提供给所有节点以激活状态S3，其中每个节点现在保留所有四个归约。注意，在S1中，“对应的”局部(例如P0(0)、P0(1)、P0(2)和P0(3))可能都有所不同，而在状态S3中，每个归约(例如r₀)在所有节点处都相同，其中r_i＝f{(P_i(0),P_i(1),P_i(2),P_i(3))}。在机器学习中，一组局部P₀、P₁、P₂、P₃是一个向量。在训练期间模型的每次传递都会产生一个局部向量(例如，更新的权重)。在状态S3下，每个节点的菱形网格、斜向下条纹、方形网格、斜向上条纹上的归约r₀、r₁、r₂、r₃是完全归约向量，即，“结果”或完全归约后局部的向量。在机器学习的上下文中，每个局部都可以是模型中参数的更新增量。替代地(在本文中并未进一步描述的布置中)，它可以是更新后的参数。

图3A和图3B图示了用于归约-散射/全聚集的基于桶的算法，该算法假设了六个“虚拟”环。这些环在本文中也称为“逻辑”环。图3A是图示在多个虚拟环中对局部进行归约的示意图。每个局部被分成六个片段(fragment)。在图3A中，大写字母R、Y、G、B、P、L各自表示存储在每个节点处的局部的不同片段，由阴影菱形网格、斜向上条纹、方形网格、水平条纹、斜向下条纹、垂直条纹表示。字母表示要一起被彼此归约的对应片段，并为这些片段定义了“虚拟”环或“逻辑”环。参见图3A，每个局部P0、P1、P2、P3和P4中的“R”片段被归约成结果向量中的单个片段对于Y、G、B、P和L片段，也是类似的。

图3B示出了一个时序图，其中横轴上的时间表示全归约过程的每个步骤中的数据交换和计算。在图3A和3B中，通过归约-散射阶段、后接全聚集阶段，来完成全归约过程。在图3B中，每个片段由以下不同的阴影表示：R-菱形网格、Y-斜向上条纹、G-方形网格、B-水平条纹、P-斜向下条纹、L-垂直条纹。

图3A和图3B中的表示如下。每个局部分别表示为P₀、P₁、P₂、P₃、P₄、P₅。在过程开始时，每个局部存储在相应的节点N0、N1、N2、N3、N4、N5上。每个片段根据它的片段序号和它在虚拟环中的位置而被标记，该片段被认为是要在该虚拟环中被归约的。例如，RA₀表示局部P₀中的R片段，因为这是由节点N0-N1-N2-N3-N4-N0形成的虚拟环中的第一个片段。RA₁表示节点N1处的R片段，它位于其虚拟环中的第二个位置。YA₀表示节点N1处的Y片段。“0”后缀表示它是其虚拟环中的第一个片段，Y环为N1-N2-N3-N4-N0-N1。特别注意，A的后缀反映的是虚拟环，而不对应于物理节点(或局部)。注意，图3A仅示出了前向链路上的虚拟环。图3B示出了在后向链路上发生等效过程，其中片段表示为B。

在步骤一中，每个虚拟环中的第一个片段(A₀)从其节点传输到下一个相邻节点，在该相邻节点处对该第一个片段与该相邻节点处的对应片段进行归约。也即，RA₀从N0移动到N1，其中RA₀在N1被归约为R(A₀+A₁)。同样，这里使用“+”号作为任何组合函数的简写。注意，在相同步骤中，每个虚拟环的A₀片段将被同时传输。即，N1与N2之间的链路用于传输YA₀，N2与N3之间的链路用于传输GA₀，诸如此类。在下一个步骤中，对应归约后的片段通过前向链路传输到它们的下一个相邻节点。例如，R(A₀+A₁)从N1传输到N2，Y(A₀+A₁)从N2传输到N3。注意，为清楚起见，图3A中并未对所有片段进行编号，也未对所有传输进行编号。完整的片段和编号的集合如图3B所示。这个过程分五个步骤进行。经过五个步骤后，对每个节点上的所有片段都进行了归约。在第五步骤结束时，该归约是在针对该片段的每个对应环的最后一个节点上。例如，R归约是在节点N5上。

全聚集阶段的起点是开始于每个虚拟环中的最后一个节点到第一个节点的传输。因此，R片段的最终归约结束于节点N5上，从而为全聚集阶段的第一个步骤做好准备。Y片段的最终归约对应地在节点N0上结束。在全聚集阶段的下一个步骤中，归约后的片段再次传输到它们的下一个相邻节点。因此，完全归约后的R片段现在也在N2处，完全归约后的Y片段现在也在N3处，依此类推。通过这种方式，在全聚集阶段结束时，每个节点结束时具有局部向量的所有完全归约后的片段R、Y、G、B、P、L。

如果归约所需的计算可以被隐藏在管线延迟之后，则该算法的实现是最佳的。注意，为了实现全归约而在计算机中形成合适的环时，环的巡回(tour)必须对环中的每个节点仅访问一次。因此，由具有双向链路的行(图1A)形成的自然环并非是最高效的环。

现在将描述用于处理节点的互连网络的改进拓扑，其允许在处理节点之间对局部和结果进行高效交换，以实现全归约集合体。

图4A是示出了多个处理节点的连接拓扑的示意图。在图4A中，梯状(ladder)构造中有八个处理节点，但是应当理解，该原理可以扩展到以梯状布置的任何数量的处理节点对。每个处理节点都被示为一个圆圈并标有数字以便于参考。在以下描述中，当指代节点时将插入前缀N。例如，N0表示图4A中代表节点N0的圆圈。处理节点以将要描述的方式由链路连接。每个链路可以是双向的，即其可以通过该链路在两个方向上传输数据。注意，存在物理互连性和逻辑连接性。逻辑连接性用于形成两个嵌入的连续环，每个环具有两个方向。首先，将描述物理连接性。Y方向上的每个处理节点都通过单个双向链路连接到它们的相邻节点。相向的(facing)处理节点由两个双向链路连接。例如，(见图4A中左侧的垂直线)，N0通过单个双向链路连接到N2(在图4中被示为两个相反朝向的箭头)。类似地，N2连接到N4、N4连接到N6、N6连接回N0。在水平方向上，节点N0通过两个双向链路连接到N1(其中一个双向链路被示为黑色和小虚线的相反箭头，另一个双向链路被示为灰色和大虚线的相反箭头)。类似地，N2连接到N3、N4连接到N5、N6连接到N7。这种物理连接允许将两个逻辑嵌入的环(每个环都是双向的)嵌入到结构中。第一个环(被示为灰色和大虚线)从N0延伸到N1、N1到N3、N3到N2、N2到N4、N4到N5、N5到N7、N7到N6，然后返回到N0。第二个逻辑环(被示为黑色和小虚线)从N0延伸到N2、N2到N3、N3到N5、N5到N4、N4到N6、N6到N7、N7到N1，然后从N1延伸回N0。每个环包括所有八个处理节点。还要注意，两个环可以同时使用，因为在任何单个的路径上都不存在冲突。

考虑图4A和图4B中的节点N0。该节点N0具有两个将其连接到节点N1的链路，该节点N1称为其相向对节点。这些链路被标记为L011和L012。标号L01表示连接节点0和1的链路。标号1表示它是节点0与1之间的第一链路，且标号2表示它是节点N0与N1之间的第二链路。注意，在该实施例中，每个链路都是双向的。节点N0还具有标记为L02的第三双向链路。该链路L02连接到梯状配置中下一相邻对中的对应节点N2。因此，链路L02被称为梯状连接链路。节点N0具有标记为L06的第四链路。该链路连接梯状配置的端对(end pair)中的对应节点N0和N6。在图4A和图4B中，第一端对是相向的节点对N0和N1，且第二端对是相向的节点N6和N7。注意，相向对中的处理节点N6、N7类似地由两个双向链路L671、L672连接。

在端对的对应节点(N0和N6)之间延伸的链路L06、以及对应地在节点N1与N7之间延伸的链路L17被称为梯状返回(return)链路。这些链路使梯状配置中的每个嵌入的环成为完整的一维环。

图4的实施例中的梯状配置包括两个中间相向对，N2/N3和N4/N5。每个对中的相向节点通过对应链路L231、L232；L451、L452连接。

相向对中的对应节点通过梯状连接链路连接。例如，第一端对中的节点N1通过链路L13连接到节点N3及其相邻的中间对。在图4A和图4B中，每个链路由两个双向箭头表示。然而，这些链路可以容纳在单个物理链路结构中，并表示该物理链路结构上的双向通信路径。在替代实施例中，链路结构的每个方向可以是单独的物理表现。

在图4A和图4B的实施例中，总共八个节点的四对相向对形成梯状配置。很容易理解，梯状配置可以被简单地扩展到包括更多的相向对。这可以通过改变端对中的节点上链路的连接性来完成。例如，为了向梯状配置添加另一个相向对，链路L06从节点N0断开连接并连接到另一个节点N8(以虚线显示)。这个节点N8有其自己的物理链路，然后该物理链路作为梯状返回链路连接到节点N0。类似地，从节点N7延伸到节点N1的链路L17从节点N1断开并连接到新节点N9(以虚线示出)。然后将来自N9的物理链路作为梯状返回链路连接到节点N1。节点N8和N9通过物理链路N891和N892连接在一起。

可以根据需要将更多的节点对添加到梯状配置中，以扩展计算机的处理能力。注意，当添加新节点时，除了端对之外，无需中断梯状配置中其他节点对的现有连接。这极大地简化了对梯状配置的扩展，以根据需要包括额外的处理节点。

如图4B所示，由于梯状配置中的嵌入的环的外观，该梯状配置中的嵌入的环可被视为“麦状编织(barley twist)”环，并被标记为VR1、VR2。需要强调的是，图4B中所示的环是嵌入在梯状配置中的虚拟数据传输环。这些环可以同时操作，因为没有链路在不同的冲突环中被使用两次。

为了使用这种结构，要传输的局部(或片段)在每个节点处被分成两部分，并且使用上文参考图3A和图3B描述的一维环算法，围绕其中一个环对每个部分进行完全归约。

每个节点输出的片段的尺寸其中N是节点数量，且V是在特定阶段中正被归约-散射或被全聚集的数据结构的尺寸。在开始处，V是局部向量的尺寸。片段数量等于在围绕环的每个步骤之前的该环中的节点数量。注意，相比于Jain论文中所描述的结构，环经过了所有节点，并且所有链路始终都被使用。本文假设每个处理节点可以在两个链路上同时输出其数据，并且可以同时接收和处理数据。每个环都是一维的——该环是一个无支路的处理节点链。

根据嵌入的一维环的另一种配置，提供具有多个堆叠(stack)层的配置。图5A和图5B作为三维视图示出了一种配置，且图6是示出连接性的展开图。存在物理连接性和逻辑连接性，将在下文描述这两者。根据物理连接性(图6)，该配置包括多个堆叠层——图中从左到右(而不是在垂直方向上)所示的堆叠。堆叠的方向无关紧要，但应注意的是，在处理单元可布置在服务器机架中的实际配置中，以对应于服务器机架的垂直配置进行堆叠可以是有用的。

每个层包括三个处理节点，它们在图6中最左侧的层中被示为N61、N62和N63。这些处理节点连接在一个环中，其中每个处理节点通过两个链路L1、L2连接到其相邻处理节点。这些链路每个都可以是双向的。堆叠最右端的层也通过节点之间的两个链路连接在一起。然而，堆叠的中央层仅通过单个链路而连接。藉由链路而实现的连接性在此意味着，链路是活动的并且能够传输数据。处理节点之间可以存在其他不活动的连接，这些不活动的连接不构成该配置的操作的部分。

该配置被操作以提供可以操作或同时操作的三个嵌入的一维环。图5B示意性地示出了该配置，其中环被标记为R1、R2和R3。R1以实线示出，R2以点虚线示出，并且R3以短划线示出。将该配置视为三角形横截面的柱体，柱体的每个平面都包含一个一维嵌入的环。例如，环R1由以下形成：节点N51、N52(在最末层中)、N52与N55之间的链路(在层之间)、N55与N54之间的链路(在下一层内)、N54与N57之间的链路(在层之间)、N57与N58之间的链路(在下一层内)、N58与N511之间的链路(在层之间)、N511与N510之间的链路(在右手最末端的层中)、N510与N512之间的链路，以及N52与N53之间的返回链路，然后返回到N51。

在其他两阶段中的每个中都可以找到对应的嵌入环。因此，每个环由每个层内的链路连接到层之间的链路、并依此类推而形成，直到该环完成。参考图5A在下文更详细地描述环(或路径)。

在第一嵌入的路径中，节点N51通过节点N51与N53之间的链路、沿着第一最末端层的一个侧边连接到节点N53。这是沿第一最末端层的一个侧边的层内(intralayer)链路。该路径沿着第一最末端层的下一个侧边继续到节点N52。然后，该路径经由层间链路(interlayer)，从节点N52前进到节点N56。然后，该路径经由该配置的与节点N52和N56相同的面上的另一层内链路，从节点N56继续到N55。该路径沿着该面从节点N55延伸到节点N58，然后沿着层内链路跨过该面到达节点N57。该路径沿着层间链路从节点N59前进到节点N511并且然后沿着层内链路从节点N61前进到节点N512，并从此沿着层内链路从N512前进到第二最末端层的节点N510。节点N511、N512与N510之间的层内链路是第二最末端层的边。该路径然后沿着返回部分，从节点N510前进到第一最末端层的节点N51。该路径以图5A中的小虚线示出。

还可以示出以黑色实线示出的，开始于节点N51的第二嵌入的路径。该路径具有沿图5A所示配置的“底”面的第一部分，其从节点N51延伸到节点N53，从节点N53延伸到节点N55，从节点N55延伸到节点N57，从节点N54延伸到N57，从节点N57延伸到N58，从节点N58延伸到N512，从节点N512延伸，直到节点N511。该路径的第二返回部分由第二最末端层的节点N511与第一最末端层的N52之间的互连链路提供。

可以示出开始于节点N53并沿着层内链路延伸到节点N52的第三嵌入的路径；第三嵌入的路径以大点划线示出。该路径然后沿着图5A所示配置的背面，从节点N52前进到N51、从N51前进到N54、从N54前进到N56、从节点N56前进到N59、从节点N59前进到N57、从节点N57前进到N510、从节点N510前进到节点N511，以及从节点N511前进到N512。该路径具有从节点N512到N53的返回部分。

注意，每个路径都具有对该配置中的一个面中的每个节点仅使用了一次的第一部分，以及每个最末端层的两个“分支(leg)”。每个路径还具有返回部分，该返回部分使用该返回部分中的所有处理节点，沿着该配置的相对边直接在最末端层之间通过。

三个嵌入的环可以同时操作。如果所有链路都能够同时进行双向操作，则可以有六个嵌入的环同时操作。

可以通过添加新的处理节点层，来扩展计算机的容量。为了做到这一点，对处理节点的互连性予以改变。例如，考虑在第二最末端层(图5A中的右侧层)上添加一个额外的层。来自节点N511的链路之一被断开并被连接到附加层中的对应处理节点，所示的处理节点标记为EPN1(附加处理节点1)。类似地，来自节点N512和节点N511中的每一个节点的链路之一与其当前连接的节点断开并且分别被连接到标记为EPN2和EPN3的对应附加处理节点。然后，节点EPN1、EPN2和EPN3本身与配置中的其他层中相应的链路结构连接在一个环中。注意，该配置中的其余部分的连接性保持不变。可以通过这种方式将层添加到配置堆叠的任一端。

注意，围绕三角形柱体配置中的每个层(三个节点的集合)所采用的路径使得：三个处理节点的层的延伸的三棱柱可以被分区为不同长度，从而使得每个分区(partition)可以以自包含的方式来操作。这可以通过去激活单独分区的层之间的链路来完成。这将在下文更详细地讨论。注意，尽管在图5B中，返回部分显示为回环(loop back)，但这只是示意性的。在一种实现中，沿着边的各个处理节点之间的每个已有的链路均被用作返回部分的部分，其中数据值经过每个处理节点而无需进一步处理，直到它到达最末端的处理节点。

在一些实施例中，对“作为环进行操作”的引用是指如上所述的对一维算法的实现，以实现全归约集合体。在图5A、图5B和图6的结构中，所有三个环可以同时操作，从而能够将每个节点处的局部向量划分为三个部分，以便在结构中的三个环上同时进行处理。

图8A图示了其中在具有1:2带宽对称性的3×8三角形棱柱中布置了24个处理节点实施例。带宽利用被注明在链路上。图8A示出了图中的连通性，该图示出了总节点带宽B到每个链路的分配。注意，层内链路的带宽为B/6，层间链路的带宽为B/3。

图8B图示了三个同构的嵌入的环，这些环可以在结构上并发地循环。每个环具有每链路B/6的带宽利用。

图8C是示出三个嵌入的环之一的三维视图。在图8C中示出环R1。注意，其他两个环R2、R3绕长轴同样旋转了120度。

根据另一种配置，可以提供如图7所示的“箱管(box tube)”结构。回到图4A和图4B的“梯状”配置，在垂直于梯状的对(或运行)的方向上提供每个路径的返回部分。在图7所示的箱管配置中，每个路径的返回部分可以通过在矩形棱柱后面上的梯状配置来实现。也即，在箱管配置中，前面(front face)可以作为图4A和图4B的梯状来操作，而后面(rear face)可以作为图4A和图4B的梯状来操作，从而能够嵌入四个环，如图7中相应的颜色所示。注意，围绕箱结构的每个层(四个节点的集合)所采用的路径使得：2×2处理节点的层的延伸的“管”可以被分区为不同长度，从而使得每个分区可以以自包含的方式来操作。这可以通过去激活单独分区的层之间的链路来完成。

在图7所示的“箱管”配置中可以看到四个虚拟环。它们被标记为BVR1、BVR2、BVR3、BVR4(代表箱管虚拟环)。注意，此术语是为了对来自以下两者中的环进行区分：梯状配置(VR)中的虚拟环；以及三角形配置(R)中的虚拟环。然而，嵌入的环的功能和操作在所有三个结构中都是相同的。

第一个嵌入的环BVR1从图7所示结构左上角的节点N71开始进行操作。它从四个节点的第一最末端层(在图7中所示的箱结构的左端)中的节点N71起传递。虚拟环BVR1围绕该层的三个节点N73、N74和N72延伸。然后它延伸到四个节点的下一个层中的一个节点(节点N76处)。它向下传递到该层的一个侧边到达节点N77，然后延伸到该面上的下一个层中的相邻节点N81。然后，环在该层的一个侧边继续向上到达节点N80，并从那里到达结构中的下一个层(在这种情况下是最后一层)的节点N83处。环BVR1然后通过节点N85、N84和N82围绕经过该最末端层的三个侧边，之后经由节点N79、N82、N78、N75在沿着箱管结构的另一面的返回部分中返回，之后返回到N71。注意，该环已被描述为从节点N71开始，并在特定方向上进行了描述。事实上，该环可以使用能够在两个方向上同时操作的双向链路，在两个方向上同时进行操作。此外，环的“起始节点”可以是环上的任何节点，特别是针对已经描述的数据的不同片段。注意，一般而言，环经过该箱管结构的每个端面的三个侧边，并以交替的方式沿着该箱管结构的每个侧面行进，从而仅对该面上的所有节点进行访问。注意，该箱结构的每个侧面上的虚拟环的配置与梯状结构的配置类似。正如已经提到的，箱管结构可以被认为是一种梯状结构的类型，但是在每种情况下具有通过经过箱结构的端面和箱结构的相对侧面而延伸的返回路径。

在箱管结构中形成另外三个虚环。第二个环BVR2从节点N71传递到N72传递到N74传递到N73(端面的三个侧边)。从那里它经由节点N78、N77、N81、N82和N84以交替的方式沿着箱管结构的“底”面经过。它经由节点N85、N83和N82围绕端面的三个侧边，然后经由N79、N80、N76、N75回到N71以交替的方式沿着箱结构的顶面返回。

通过从节点N73开始更容易地解释第三个环，因为它使用端面的三个侧边通过节点N71、N72和N74，然后经由节点N77、N76、N80、N81、N85和N83以交替的方式传递。从那里它经由N82和N84到达箱管结构的返回面，它经由节点N82、N79、N75、N78以交替的方式传递并返回到N73。

可以认为第四虚拟环BVR4在节点N74处开始，经由节点N73、N71和N72绕端面的三个侧边行进。然后它经由N76、N74、N79、N80、N83和N82以交替方式经过箱管结构的顶面。然后它经由N84和N85经过端面，然后经由节点N81、N82、N78、N77和N74沿着箱管结构的底面返回。

每个节点都能够实现处理或计算功能。每个节点都可以实现为单个处理器。然而，更可能的是，每个节点将被实现为单个芯片或芯片封装，其中每个芯片包括多个处理器。每个单独的节点有许多可能的不同表现形式。在一个示例中，节点可以由英国申请(公开号为GB2569843；GB2569430；GB2569275)中描述的类型的智能处理单元构成；其内容以引用方式并入本文。然而，本文描述的技术可以在构成节点的任何类型的处理器上使用。本文概述的是一种以高效方式来实现特定交换模式的交换数据方法，其在机器学习模型中是有用的。此外，链路可以以任何合适的方式表现。有利的是这些链路是双向的，并且优选地，这些链路可以在两个方向上同时操作，尽管这不是必要要求。一种特定类别的通信链路是SERDES链路，其功率要求与通过链路传输的数据量或传输数据所花费的时间无关。SERDES是Serializer/DeSerializer的首字母缩写，并且此类链路是已知的。为了在这种链路的线路上传输信号，需要向线路施加功率来改变电压以生成信号。SERDES链路具有以下特性：持续地向线路施加功率以将其保持在某个电压水平，使得可以通过该电压水平的变化(而不是通过0与施加的电压水平之间的变化)来传达信号。因此，SERDES链路上的带宽容量都有固定的功率，而无论其是否被使用。SERDES链路在每一端由电路实现，该电路将链路层设备连接到物理链路(诸如铜线)。该电路有时称为PHY(物理层)。PCIe(Peripheral ComponentInterconnect Express，外围组件互连高速)是一种用于连接高速计算机的接口标准。

能够的是，可以动态地对链路进行去激活(deactive)，以在不使用时有效地不消耗功率。然而，机器学习应用的激活时间和非确定性特性通常使得程序执行期间的动态激活是有问题的。因此，本发明人已经确定，利用以下事实可能是更好的：对于任何特定配置，芯片到芯片链路的功耗基本上是恒定的，因此最佳优化就是通过尽可能保持与IPU活动并发地进行的芯片到芯片流量(traffic)来最大化物理链路的使用。

SERDES PHY是全双工的(即，16Gbit每秒，PHY在每个方向上同时支持16Gbit每秒)，因此全链路带宽利用率意味着平衡的双向流量。此外注意，与诸如经由交换机的间接通信相比，使用直接芯片到芯片通信具有显著的优势。直接芯片到芯片通信比切换的通信更加功率高效。

另一个需要考虑的因素是节点之间的带宽要求。一个目标是有足够的带宽来将节点间通信隐藏在每个节点上处为分布式机器学习而执行的计算之后。

在为机器学习优化机器架构时，全归约集合体可以被用作所需带宽的标准。上文在对用于模型平均的参数更新的处理中，已经给出了全归约集合体的一个示例。其他示例包括梯度平均和计算范数。

作为一个示例，可以考虑残差学习网络的全归约要求。残差学习网络是一类深度卷积神经网络。在深度卷积神经网络中，利用多个层来学习在每个层内相应的特征。在残差学习中，可以学习残差来替代学习特征。称为ResNet的特定残差学习网络实现了网络的不同层之间的直接连接。已经证明，在某些情况下训练这种残差网络可能比传统的深度卷积神经网络更加容易。

ResNet 50是一个50层的残差网络。ResNet 50有25M的权重，因此对单位置浮点格式F16中所有权重梯度的全归约涉及50兆字节(megabyte)的局部。为了举例说明带宽要求，假设每个完整批次需要一个完整的全归约。这很可能是(但不一定是)对梯度的全归约。为了实现这一点，每个节点必须每全归约输出100兆比特(megabit)。ResNet 50对于每个图像需要250个Gigaflops(每秒十亿次的浮点运算)用于训练。如果每个处理节点的子批次尺寸为16个图像，则每个处理器为每个全归约集合体执行400个Gigaflops。如果处理器达到每秒100个Teraflops(每秒一万亿次的浮点运算)，则所有链路之间需要大约每秒25千兆比特(gigabit)以便维持计算与全归约通信的并发性(concurrency)。对于每个处理器8个图像的子批次，所需的带宽名义上会增加一倍，其部分地通过降低每秒可实现的Teraflops来处理较小的批次来得以缓解。

在p个处理器之间实现全归约集合体，每个处理器是以尺寸为m兆字节(等于归约尺寸)的局部开始的，该实现要求至少2m.(p-1)兆字节是通过链路来发送的。所以如果每个处理器有l个其可以同时在其上进行发送的链路，则渐近最小归约时间为2m.(p-1)(p-1)除以(p.l)。

上述概念和技术可以在若干种不同的示例中使用。

在一个示例中，提供了用作计算机的固定配置。在该示例中，处理节点如上文讨论的各种实施例中所描述和图示的那样互连。在这样的布置中，在处理节点之间只放置了必要的层内链路和层间链路。在具有端面(例如箱管棱柱和三角形棱柱)的实施例中，在构成端面的最末端层中的相邻处理节点之间的层间链路可以比中间层中的层间链路更多。注意，术语“面(face)”不仅用于定义细长面，还可以指棱柱的端面。然而，如上所述，棱柱的端面在每种情况下都在相应的最末端层中构成处理节点的环。

可以从该配置的精确数量的处理节点构建出固定配置。替代地，可以通过将其从更大的结构中分区出来而提供。也即，可以提供一组处理节点，这些处理节点构成具有一组堆叠层的多面棱柱。每个堆叠层中的处理节点可以具有：到相邻堆叠层中的对应处理节点的层间链路；以及该层中相邻处理节点之间的对内链路。就此而言，该多面棱柱类似于多面结构的图中所描述和图示的配置。

可以通过以下方式来提供期望数量的堆叠层的固定配置：断开原始组的堆叠层中的指定堆叠层中的每个层间链路，并将其连接到指定堆叠层中的相邻处理节点以提供层内链路。以这种方式，可以使原始组的堆叠层中的指定堆叠层形成结构的第一最末端层和第二最末端层之一。注意，原始组的层可以以这种方式分区为多于一个的固定配置结构。

层间链路和层内链路是由上述合适的总线或线路提供的物理链路。在一种表现形式中，每个处理节点都有一组从其延伸出的线路，用于将其连接到另一个处理节点。这可以例如通过每个处理节点的一个或多个接口来完成，该一个或多个接口具有连接到物理线路的一个或多个端口。

在另一种表现形式中，链路可以由板载线路构成。例如，单个板可以支持一组芯片，例如四个芯片。每个芯片都有一个接口，该接口带有的端口可连接到其他芯片。可以根据预定方法，通过将线路焊接到板上来在芯片之间形成连接。注意，此处描述的概念和技术在该上下文中特别有用，因为它们最大限度地利用了已预先焊接在印刷电路板上的芯片之间的链路。

本文描述的概念和技术特别有用，因为它们能够优化使用非可切换链路。可以通过使用节点之间的固定的非可切换链路，将本文描述的处理节点连接起来构建出配置。在某些表现形式中，如果将不使用额外的链路，则无需在处理节点之间提供这些额外的链路。例如，在配置的中间层中，处理节点之间的链路比最末端的层中的少。替代地，可以在处理节点之间提供链路，但在某些配置中可以永久地去激活该链路。

为了使用配置，生成了一组并行程序。该组并行程序包含节点级程序，也即，被指定用于在配置中的特定处理节点上工作的程序。要在特定配置上操作的一组并行程序可以由编译器生成。编译器有责任生成节点级程序，这些程序正确定义要用于某些数据的每个数据传输步骤的链路。这些程序包括一个或多个用于在数据传输阶段实现数据传输效果的指令，该指令使用链路标识符来标识要用于该传输阶段的链路。例如，一个处理节点在任何时候都可能有两个或三个活动链路(如果链路同时是双向的，则增加一倍)。链路标识符使得为该传输阶段的数据项选择正确的链路。注意，每个处理节点可能不知道其相邻节点的动作——交换活动是针对每个交换阶段而预编译的。

还要注意，链路不是必须被切换的——数据项在其被传输之时不需要进行活动路由，也不需要改变链路的连接性。

如上所述，本文描述的计算机网络的配置是为了增强计算中的并行性。在此上下文中，并行性是通过将节点级程序加载到旨在被并行执行的配置的处理节点中来实现的，例如，以如前述的分布式方式来训练人工智能模型。然而，将容易理解的是，这仅是本文描述的配置所实现的并行性的一种应用。实现并行性的一种方案称为“批量同步并行”(BSP)计算。根据BSP协议，每个处理节点执行计算阶段和在计算阶段后的交换阶段。在计算阶段期间，每个处理节点在本地执行其计算任务，但不与其他处理节点交换其计算结果。在交换阶段，每个处理节点都被允许与配置中的其他处理节点交换先前计算阶段的计算结果。在配置的交换阶段完成之前，不会开始新的计算阶段。以BSP协议的这种形式，在从计算阶段过渡到交换阶段，或从交换阶段过渡到计算阶段或两者兼而有之的时刻(juncture)，放置屏障(barrier)同步。

在本实施例中，当交换阶段被发起时，每个处理节点使用编译器为该交换阶段确定的链路标识符，来执行用于与其相邻节点交换数据的指令。可以通过使用前述的MPI消息传递标准，来确定交换阶段的性质。例如，可以从库中调用集合体，诸如全归约集合体。以这种方式，编译器具有预编译的节点级程序，该程序控制在其上传输局部向量(或在其上传输局部向量的相应片段)的链路。

很明显可以使用其他同步协议。

虽然已经描述了特定实施例，但是一旦给出了本文的公开内容，所公开技术的其他应用和变体对于本领域技术人员来说可能变得显而易见。本公开的范围不受所描述的实施例的限制，而仅受所附权利要求的限制。