具体实施方式

对所公开实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不脱离本公开的实质和范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。因此，本发明不限于所示的实施例。

概述

本公开描述了通过维护各个包流的状态信息以快速、有效的拥塞控制来适应动态数据流量的系统和方法。更具体地，注入交换机网络的包可以分类为流，这些流可以映射到其第2层、第3层或其他特定于协议的报头信息。每个流可以由交换机输入端口本地的独特标识符进行标记，并被提供特定于流的输入缓冲区，使得可以独立地对每个流进行流控制。另外，相应流的包可以在到达网络的出口点后被确认，并且确认包可以沿相同的数据路径反向发送回流的入口点。因此，每个交换机可以获得它正在转发的活动包流的状态信息，并且可以执行高度响应性、特定于流的流控制。这种流控制可以让网络以更高的容量运行，同时提供多功能的流量工程能力。

在本公开中，包流(packet stream)也可以称为“包流(packet flow)”或简称为“流(flow)”。流所经过的数据路径及其由交换机维护的配置信息可以称为“流通道(flowchannel)”。此外，术语“缓冲区”和“队列”在本公开中可互换使用。

图1示出了促进流通道的示例性网络。在该示例中，交换机的网络100(也可以称为“交换机结构”)可以包括交换机102、104、106、108和110。每个交换机可以在交换机结构100内具有唯一的地址或ID。各种类型的设备和网络可以耦接到交换机结构。例如，存储阵列112可以经由交换机110耦接到交换机结构100；基于无限带宽(IB)的HPC网络114可以经由交换机108耦接到交换机结构100；多个终端主机(如主机116)可以经由交换机104耦接到交换机结构100；并且IP/以太网网络118可以经由交换机102耦接到交换机结构100。通常，交换机可以具有边缘端口和结构端口。边缘端口可以耦接到在结构外部的设备。结构端口可以经由结构链路耦接到结构内的另一个交换机。

通常，流量可以经由边缘交换机的入口端口注入交换机结构100，并且经由另一个(或相同的)边缘交换机的出口端口离开交换机结构100。入口边缘交换机可以将已注入数据包分组为流，这些流可以通过流ID进行标识。流的概念不限于特定的协议或层(如开放系统接口(OSI)参考模型中的第2层或第3层)。例如，流可以映射到具有特定源以太网地址的流量、源IP地址与目的地IP地址之间的流量、对应于TCP或UDP端口/IP5元组(源和目的地IP地址、源和目的地TCP或UDP端口号、以及IP协议号)的流量、或由在终端主机上运行的进程或线程产生的流量。换句话说，流可以被配置为映射到任何物理或逻辑实体之间的数据。该映射的配置可以远程完成或在入口边缘交换机处本地完成。

在接收到已注入数据包之后，入口边缘交换机可以为该流指派流ID。该流ID可以被包括在特殊的报头中，入口边缘交换机可以使用该报头来封装已注入包。此外，入口边缘交换机还可以检查已注入包的原始报头字段以确定适当的出口边缘交换机的地址，并将该地址作为目的地地址包括在封装报头中。应注意，流ID可以是特定于链路的本地有效值，并且该值可以仅对于交换机上的特定输入端口是唯一的。当包转发到下一跳交换机时，包进入另一条链路，并且流ID可以相应地更新。由于流的包要经过多条链路和交换机，因此与该流相对应的流ID可以形成唯一的链。即，在每个交换机处，在包离开交换机之前，包的流ID可以更新为传出链路所使用的流ID。流ID之间的这种从上游到下游的一对一映射可以在入口边缘交换机处开始并在出口边缘交换机处结束。因为流ID只需要在传入链路内是唯一的，所以交换机可以容纳大量的流。例如，如果流ID为11位长，则一个输入端口最多可以支持2048个流。此外，用于映射到流的匹配模式(包的一个或多个报头字段)可以包括更多个位。例如，32位长的匹配模式(其可以包括包报头中的多个字段)可以映射达2^32个不同的报头字段模式。如果结构有N个入口边缘端口，总共可以支持N*2^32个可识别流。

交换机可以为每个流指派单独的专用输入队列。该配置允许交换机监测和管理各个流的拥塞程度，并防止在将共享缓冲区用于多个流时可能发生的队头阻塞。当包被传送到目的地出口交换机时，出口交换机可以生成确认(ACK)，并在上游方向沿着相同的数据路径将该确认发送回入口边缘交换机。由于该ACK包经过相同的数据路径，因此该路径上的交换机可以通过监测未完成的、未确认的数据量来获得与对应流的传送相关联的状态信息。然后可以使用该状态信息来执行特定于流的流量管理，以确保整个网络的健康和对流的公平处理。如下文更详细解释的，这种逐流排队与特定于流的传送确认相结合可以使交换机结构实施有效、快速和准确的拥塞控制。进而，交换机结构可以以显著提高的网络利用率来传送流量，而不会出现拥塞。

可以基于需求动态或“即时”地建立和释放流。具体地，当数据包到达交换机并且先前没有向该包指派流ID时，可以由入口边缘交换机建立流(例如，确立流ID到包报头的映射)。当该包穿过网络时，可以沿着包所经过的每个交换机指派流ID，并且可以确立从入口到出口的流ID链。属于同一流的后续包可以沿数据路径使用相同的流ID。当包被传送到目的地出口交换机并且数据路径上的交换机接收到ACK包时，每个交换机可以更新其关于该流的未完成的、未确认的数据量的状态信息。对于该流，当交换机的输入队列为空并且没有更多未确认的数据时，交换机可以释放流ID(即，释放该流通道)并将流ID重新用于其他流。这种数据驱动的动态流建立和拆除机制可以消除集中流管理的需要，并允许网络快速响应流量模式变化。

应注意，本文描述的网络架构与通常使用OpenFlow协议的软件定义网络(SDN)不同。在SDN中，由中央网络控制器来配置交换机，并且基于第2层(数据链路层，如以太网)、第3层(网络层，如IP)或第4层(传输层，如TCP或UDP)报头中的一个或多个字段来转发包。在SDN中，这种报头字段查找在网络中的每个交换机处执行，并且不存在如在本文所述的网络中所做的基于流ID的快速转发。此外，由于OpenFlow报头字段查找是使用三元内容可寻址存储器(TCAM)完成的，因此这种查找的成本可能很高。而且，由于报头字段映射配置是由中央控制器完成的，每个映射关系的建立和拆除相对较慢，可能需要大量的控制流量。因此，SDN网络对各种网络情况(如拥塞)的响应可能很慢。相比之下，在本文描述的网络中，可以基于流量需求来动态地建立和拆除流，并且可以通过固定长度的流ID来转发包。换言之，流通道可以是数据驱动的，并以分布式方式进行管理(即，建立、监测和拆除)，而无需中央控制器的干预。此外，基于流ID的转发可以减少所使用的TCAM空间的数量，并且因此可以容纳更多个流。

参考图1所示的示例，假设存储阵列112要使用TCP/IP向主机116发送数据。在操作期间，存储阵列112可以发送第一个包，所述第一个包具有主机116的IP地址作为目的地地址以及在TCP报头中指定的预定TCP端口。当该包到达交换机110时，交换机110的输入端口处的包处理器可以识别该包的TCP/IP 5元组。交换机110的包处理器还可以确定该5元组当前未映射到任何流ID，并且可以向该5元组分配新的流ID。此外，交换机110可以基于目的地(即，主机116的)IP地址来确定该包的出口交换机，即，交换机104(假设交换机110知道主机116耦接到交换机104)。随后，交换机110可以用指示新指派的流ID和交换机104的结构地址的结构报头来封装所接收的包。交换机110然后可以基于结构转发表来调度要向交换机104转发的封装包，所述结构转发表可以由结构100中的所有交换机使用诸如链路状态或距离向量等路由算法来计算。

应注意，当接收到第一个包时，上述操作可以基本上以线路速度执行，几乎没有缓冲和延迟。在第一个包被处理并被调度进行传输之后，来自相同流的后续包可以被交换机110更快地处理，因为使用了相同的流ID。另外，流通道的设计可以使得流通道的分配、匹配和解除分配可以具有基本相同的成本。例如，可以在几乎每个时钟周期中同时执行流通道的基于查找匹配的条件分配和另一个流通道的单独、独立的解除分配。这意味着生成和控制流通道几乎不会为包的常规转发增加附加开销。另一方面，拥塞控制机制可以将一些应用的性能提高三个数量级以上。

在数据路径上的每个交换机(包括交换机110、106和104)处，可以为该流提供专用输入缓冲区，并且可以跟踪已传输但未确认的数据量。当第一个包到达交换机104时，交换机104可以确定该包的结构报头中的目的地结构地址与其自己的地址相匹配。作为响应，交换机104可以根据结构报头对包进行解封装，并将解封装的包转发到主机116。此外，交换机104可以生成ACK包并将该ACK包发送回交换机110。当该ACK包经过相同的数据路径时，交换机106和110可以各自针对该流的未确认的数据更新自己的状态信息。

通常，网络内的拥塞会导致网络缓冲区被填充。当网络缓冲区已满时，理想情况下，试图通过缓冲区的流量应当减慢或停止。否则，缓冲区可能会溢出，并且包可能会被丢弃。在传统网络中，通常在边缘处端对端地进行拥塞控制。网络的核被认为仅用作“笨水管”，其主要目的是转发流量。这样的网络设计通常对拥塞的响应缓慢，因为通常无法快速将拥塞信息发送到边缘设备，并且所产生的边缘设备所采取的动作并不总是能够有效地消除拥塞。这种缓慢的响应进而限制了网络的利用率，因为为了保持网络畅通无阻，网络运营商通常需要限制注入网络中的流量总量。此外，端对端拥塞控制通常只有在网络尚未拥塞的情况下才有效。一旦网络严重拥塞，端对端拥塞控制将不起作用，因为拥塞通知消息本身可能拥塞(除非使用与数据面网络不同的单独控制面网络来发送拥塞控制消息)。

相比之下，流通道可以防止这种拥塞在交换机结构内增长。当流正在经历一定程度的拥塞时，流通道机制可以识别这种情况，并且作为响应，可以减慢或停止同一流的新包进入结构。进而，这些新包可以缓冲在边缘端口上的流通道队列中，并且仅当同一流的包在目的地边缘端口处离开结构时才被允许进入结构。该过程可以将结构内该流的总缓冲要求限制为不会导致结构缓冲区变得太满的量。

通过流通道，交换机能够获得关于结构内未完成的在途中的数据量的相当准确的状态信息。可以针对入口边缘端口上的所有流汇总该状态信息。这意味着可以知道通过入口边缘端口注入的数据总量。因此，流通道机制可以对结构中的数据总量设置限制。当所有边缘端口都应用该限制动作时，可以很好地控制整个结构中的包数据总量，这进而可以防止整个结构饱和。流通道还可以减慢结构内的单个拥塞流的进度，而不会减慢其他流。该特征可以使包远离拥塞热点，同时防止缓冲区变满并确保为无关流量提供空闲缓冲区空间。

流通道的操作

通常，流通道可以为跨交换机结构的每个通信会话定义一条路径。属于每个流的路径和数据量可以在与交换机结构的每条链路相关联的一组动态连接流表中描述。在每个入口端口、边缘和结构上，可以定义一组流通道队列。每个流通道可以有一个队列。当包到达时，它们可以被指派到边缘端口上的流通道，或者已经被链路伙伴的出口结构端口在结构入口端口上指派到流通道。流通道信息可以用于将包引导到适当的流通道队列中。

图2A示出了促进流通道的示例性交换机。在该示例中，交换机可以包括交叉开关(crossbar)交换机202。交叉开关交换机202可以具有多个输入端口(如输入端口204)以及多个输出端口(如输出208)。交叉开关交换机202可以将包从输入端口转发到输出端口。每个输入端口都可以与多个输入队列相关联，每个队列被指派给到达该输入端口的不同传入流。例如，到达交换机给定端口的数据可以首先基于它们的各个流进行分离，并存储在特定于流的输入队列(如输入队列206)中。存储在输入队列中的包可以基于被设计用于控制拥塞的调度算法(在后面的章节中更详细地描述)出队并发送到交叉开关交换机202。在输出侧，一旦包通过交叉开关交换机202，它就可以被临时存储在输出传输队列(如输出传输队列210)中，该输出传输队列可以被离开同一输出端口的所有流所共享。同时，在包从输出传输队列出队并在传出链路上传输之前，可以使用传出链路的流ID来更新包的报头。应注意，当流中的第一个包穿过网络时，可以完成这种逐跳的流ID映射。当包到达下一跳交换机时，包可以再次存储在特定于流的输入队列中，并且可以重复相同的过程。应注意，流ID用于区分在同一结构链路上传播的流，并且通常可以由该链路的发射器端指派，该发射器端是正在传输到该链路上的交换机输出端口。

通过提供特定于流的输入队列，交换机可以允许每个流独立于所有其他流移动。交换机可以避免在共享输入缓冲区中很常见的队头阻塞问题。特定于流的输入队列还允许单个流中的包保持有序。当流通过交换机时，可以针对该流在每个输入端口上分配特定于流的输入队列，并且这些输入队列变得链接起来，从而针对该流有效地形成跨整个结构的一个长队列，并且该流的包可以保持有序。

属于流的包的成功传送的进度可以通过出口交换机的边缘端口生成的一系列ACK来报告。ACK包可以沿着数据包所经过的数据路径反向传播，并且可以由交换机根据在流表中维护的转发信息进行转发。当ACK包向上游传播时，这些包可以被每个交换机的输入队列管理器处理，可以基于ACK包所携带的信息来更新对应流的状态信息。ACK包可以具有类型字段来提供有关下游数据路径的高级信息，如拥塞。交换机的输入队列管理器可以使用该信息来做出有关当前缓冲在其输入队列中的未决数据包的决策，如限制传输速率或更改转发路径。另外，输入队列管理器可以基于已缓冲流的状态信息来更新ACK包中携带的信息，使得上游交换机可以做出恰当的决策。例如，如果给定流的输入队列遇到拥塞(例如，队列中的数据量高于预定阈值)，则输入队列管理器可以将被转发到下一个上游交换机的ACK包更新为包括该拥塞信息。

如果ACK对应于流的最后一个包，则交换机可以确定该流不再有未确认的数据。相应地，交换机可以通过删除流表中对应的条目来释放流通道。

如上所述，在每个交换机处的输入队列管理器可以维护有关给定流的已传输但未确认的数据的信息。图2B示出了数据路径上的交换机可以如何维护流状态信息的示例。在该示例中，流所采用的数据路径可以包括交换机222、224和226。已传输但未确认的流数据的量可以由变量“flow_extent”指示，该变量可以用固定长度的数据单元的数量来衡量，如256字节。此外，flow_extent和其他流状态信息可以由交换机的输入队列管理器维护，该输入队列管理器可以持续监测所有特定于流的队列。

在图2B的示例中，交换机的输入队列管理器处的flow_extent的值为1，因为有一个数据单元已经从输入队列发送出去并通过交叉开关交换机转发。应注意，由于对要经由输出链路传输的所有数据包进行调度，由输入队列发送的数据包可能会临时缓冲在输出传输缓冲区中。当这样的包缓冲在输出端口的传输缓冲区中时，为了更新flow_extent值，输入队列仍可以将包视为已传输。

相应地，由于交换机226处给定流的输入队列具有六个排队的数据单元，并且两个附加数据单元正在交换机224与226之间的途中，因此交换机224处的flow_extent值为9。类似地，交换机222处的flow_extent值为13，因为有三个数据单元存储在交换机224处的输入队列中，并且一个数据单元在交换机222与224之间的途中。

通常，流通道可以保持分配给单个流，直到返回了流通道上发送的所有包的所有ACK为止。这意味着流通道表条目在结构入口边缘端口附近可以比在出口边缘端口附近保持更长的活动时间。如果单个包被注入网络，可以为入口边缘端口分配流通道，然后可以为包所经过的下一个结构链路分配另一个流通道，依此类推，直到包到达最后一个结构链路时分配了最后一个流通道为止。每个分配可以生成表示为变量“flow_id”的流ID，以标识结构链路的流表的条目。(在下面结合图4A的描述中提供了关于流通道表的更多细节。)该第一个包可能会导致在该包经过交换机结构的每个结构链路上分配不同的flow_id。

在每个交换机的输入队列处，流通道表条目可以指示每个流从该点向下游到流的出口目的地边缘端口的状态信息，包括flow_extent值。在本地输入端口上接收到的包可以将该flow_extent值增大传入数据量，而ACK可以将flow_extent减小已确认的已传送数据量。

当包到达最终目的地出口端口时，可以为该包生成ACK包并将其返回。可以使用在数据路径上的每个交换机的流通道表的对应条目中存储的数据路径信息来路由该ACK。可选地，ACK包本身不需要携带路径信息，并且因此可以小而轻。如果流上未发送其他数据包，则ACK可以以相反的顺序释放每个流通道。一旦释放，就可以将每个交换机上的流通道分配给不同的流。

如果另一个包在同一流上的第一个包之后，则需要在给定交换机释放流通道之前接收到对应于第二个包的ACK。在一个实施例中，只有当同一流的所有已传输包的ACK都已返回时，才能释放流通道。

通常，各种协议可能要求有序包传送。即使当结构使用自适应路由来实现多个数据路径上的负载均衡时，也可以使用流通道来保证这种传送顺序。如果入口边缘端口与出口边缘端口之间的包(可能位于结构远端的不同交换机中)以非常低的速率注入，则所注入的每个包都可以到达其目的地并在注入下一个包之前将ACK返回到源。在这种情况下，每个包都可以是前导包，并且可以使用最佳的可用动态自适应路由选择来自由选择跨结构的任何路径。这是可能的，因为第一个包可以定义流通过结构的路径。

现在假设包注入速率稍微增加到相同流的下一个包在当前包的ACK返回到源之前被注入的程度。第二个包可以在沿流的数据路径上的某个地方与第一个包的ACK相会。在此相会点之后，ACK将释放分配给第一个包的流通道，因为当ACK被流通道的逻辑处理时，与第一个包相关联的flow_extent值将返回零。同时，第二个包现在可以定义新的流，因为它再次导致在每个后续结构链路上分配流通道。这第二个包虽然导致流通道在此相会点之后被分配，但仍可以基于动态自适应路由被转发到不同的路径。另一方面，在相会点之前，第二个包可以扩展由第一个包创建的未完成流以包括第二个包。这意味着第一个包的ACK可能不会将flow_extent值减至零，并且在相会点之前流通道可以保持活动状态。这也意味着第二个包可以沿着第一个包所采用的确切路径到达相会点。应注意，当它跟随前一个包时，第二个包无法在第一个包之前到达出口边缘端口，因此可以保持正确的包顺序。

如果该流的注入速率进一步增加，第二个包将在更靠近目的地边缘端口的位置处与第一个包的ACK相会。取决于该流的数据包注入速率和数据包-ACK的往返延迟，也有可能第三个、第四个、第五个或附加包在第一个数据包的ACK返回到源边缘端口之前进入结构。最大包速率取决于包的大小和链路的带宽。数据包和ACK的往返延迟可以是结构实施方式的重要参数，并且可以与最大包速率一起用于计算每条链路所需的最大流通道数量。理想情况下，无论流量模式如何，设计都可以提供合理数量的未分配流通道。当到达入口边缘端口的大量包具有不同的目的地并且这些包具有较小大小和高注入速率时，对流通道数量的需求可能很高。在最极端的情况下，可以为每个包分配不同的流通道。当包的ACK返回时，这些流通道被释放。相应地，所需的流通道数量可以计算为((包速率)*(平均包到ACK往返时延))。

应注意，不要将单个流通道上的包速率与链路上的包速率混淆。如果流量模式使得许多小包被发送到不同的目的地，则发送到链路上的连续包可能有不同的目的地。这意味着每个包可能属于不同的流，并且可能是唯一使用对应流通道的包。在该示例中，链路可能会经历高包速率，但各个流的包速率可能较低。可选地，可以将多个ACK(例如，48个ACK)聚合在一起形成单个ACK帧，以用于在链路上传输并且由帧校验序列(例如，32位FCS)保护。例如，每个ACK可以占用25位，并且帧可以有9字节的开销。即，全尺寸帧上每ACK的开销约为9/(25/8*48)*100％＝6％。该逻辑可以优化每帧的ACK数量，因此当ACK缓慢到达时，ACK不需要等待太长时间便可聚合。例如，ACK聚合逻辑块可以使用三个定时器基于传出链路的活动来管理ACK传输。当新的ACK到达ACK聚合逻辑块时，可以启动这些定时器。如果传出链路空闲，则可以使用第一定时器(例如，其可以设置为30ns)来保持ACK，同时等待附加的ACK到达。当该定时器到期时，可以将在对应的时间窗口内接收到的所有ACK聚合成一帧并传输到传出链路上。如果传出链路繁忙，则可以使用第二定时器(例如，其可以设置为60ns)来等待附加的ACK。使用该第二定时器可以允许将更多的ACK聚合到单个帧中，并且该帧仅在收集到预定数量的ACK时才可以被传输。应注意，由于以太网成帧约束，单个帧中的一些数量的ACK可以使用比其他数量的ACK更少的每ACK线路带宽。如果没有收集到有效数量的ACK，并且传出链路仍然忙于发送正常数据包，则可以使用第三定时器，其例如可以设置为90ns。一旦第三定时器到期，就可以将所有收集到的ACK聚合在一个帧中并传输到链路上。通过使用这三个定时器，系统可以显著减少在传出链路上发送ACK的开销。

在一些示例中，交换机的入口边缘端口可以使用结构报头来封装接收到的数据包，这允许使用流通道转发包。图3A示出了数据包的示例性结构报头。结构报头可以包括flow_id字段(其可以标识流通道)以及“data_flow”字段(其可以指示整个流的进度)。

当数据包被传送到其目的地时，可以生成至少一个ACK。图3B示出了示例性ACK包格式。ACK包可以包括“flow_id”字段、“ack_flow”字段、“ACK类型”字段以及循环冗余校验(CRC)字段。flow_id字段可以指示该ACK包所属的流。ack_flow字段可以指示该ACK包所确认的数据包。回想一下，每个交换机都可以维护flow_extent值，该值指示已传输但未确认的数据量。flow_extent的值可以被得到为flow_extent＝data_flow-ack_flow，其中，data_flow值取自最后一个传输的数据包。

ACK类型字段可以指示不同类型的ACK。如上所述，在正常操作期间，当数据包被传送到目的地边缘端口时，可以生成常规ACK包并将其发送回源。相应地，ACK包中的ACK类型字段可以指示正常的ACK。当结构中发生拥塞时，ACK类型字段可以用于指示拥塞的各种类型和严重程度，如新拥塞、持续拥塞、出口边缘端口上需要重新路由流的严重拥塞。另外，在存在诸如严重拥塞的结构链路、丢包或链路错误等特殊情况下，ACK也可以由不是最终目的地的中间交换机生成，并且ACK类型字段可以用于向上游交换机通知不同类型的网络状况。其他附加字段也可以包括在ACK包中。

图3C示出了用于得到和维护流的状态信息的不同变量之间的关系。在该示例中，交换机可以使用变量“total_extent”来跟踪未确认的已传输数据和当前在交换机排队的数据的总量。total_extent的值可以等于flow_extent(已传输但未确认的数据量)和queue_extent(存储在对应流的输入队列中的数据量)之和。变量“ack_flow”可以指示与该流的最迟ACK相对应的数据位置。变量“data_flow”可以指示下一个要传输的数据包的位置，该下一个要传输的数据包也对应于存储在输入队列头部的数据包。变量“next_data_flow”可以指示交换机可以预期从上游交换机接收的下一个数据包的位置。应注意，queue_extent＝next_data_flow-data_flow，并且flow_extent＝data_flow-ack_flow。

在一些示例中，流通道表可以用于促进整个结构的流通道。流通道表是存储交换机端口处给定流的转发和状态信息的数据结构。图4A示出了可以如何使用流通道表来存储与多个流相关联的状态信息的示例。该状态信息可以特定于每个流并高效地存储在表中。假设源主机402正在经由结构向目的地主机404发送数据包。数据包所经过的数据路径可以包括入口边缘交换机406、中间交换机408和430、以及出口边缘交换机432。

当包到达交换机406的入口边缘链路403时，地址转换逻辑块410可以分析包的报头。地址转换逻辑块410可以基于包的以太网、IP或HPC报头信息来确定出口交换机(在这种情况下是交换机432)的目的地结构地址。应注意，地址转换逻辑块410也可以使用与其他协议或不同协议的组合相关联的报头信息。然后可以使用由地址转换逻辑块410确定的结构目的地地址来在边缘流通道表(EFCT)412中执行查找。EFCT 412可以使用包的结构目的地地址以及可选地从包的报头中提取的附加值(其可以称为匹配模式)来执行对包的查找操作。EFCT 412可以将包的匹配模式与所有现有分配的流的存储匹配模式进行比较。如果找到匹配，则该包是现有流的一部分，并且可以为该包返回先前分配的流ID。如果未找到匹配，则可以为该包分配新的流ID，并且可以将匹配模式添加到EFCT 412。换言之，EFCT 412可以用于确定对于传入包是否已经存在流通道，或者是否需要分配新的流通道。除了目的地结构地址之外，其他包报头信息(如流量分类、TCP或UDP端口号、以及进程或线程ID)也可以用于映射或分配流ID。

由EFCT 412获得的流ID然后可以用作索引以映射到输入流通道表(IFCT)414中的条目。IFCT 414中的每个条目可以由流ID索引并存储对应流的状态信息。IFCT 414中的条目可以存储与流相关联的next_data_flow、data_flow和ack_flow(参见图3C)的值。另外，IFCT条目可以存储用于流的拥塞控制和动态路由的其他参数。

流ID还可以用于标识或分配特定于流的输入队列，在该输入队列中可以临时存储传入包。特定队列的状态信息以及用于监测和控制队列的参数(如用于检测拥塞的阈值)可以存储在IFCT 414中的对应条目中。输入队列管理逻辑块可以基于存储在IFCT 414的条目中的流控制参数来确定包何时可以从输入队列中出队并发送到数据交叉开关交换机413。

当包从输入队列中出队并通过交叉开关交换机413发送到输出端口时，该包将与其到达交换机406时的输入端口号一起发送。当包到达输出端口的传输缓冲区时，可以基于包的流ID和输入端口号使用新的流ID来更新包的报头，以供下一跳交换机(即，交换机408)用于同一流。这是因为每条链路在每个方向上都可以具有其自己的由它们各自的流ID标识的一组流通道。可以通过查找输出流通道表(OFCT)416来完成从传入流ID到在下一条链路上使用的传出流ID的映射。OFCT 416可以使用匹配模式执行查找，该匹配模式是与链路403相对应的本地输入端口号和由EFCT 412产生的包的流ID的组合。如果找到匹配，则流已经被定义，并且使用对应于匹配模式的值来更新包的流ID(这个新的传出流ID将由下游的下一跳交换机408使用)。如果未找到匹配，则可以为新的流通道分配新的传出流ID，该新的传出流ID可以映射到输入端口号和先前的传入流ID。包括传出流ID、输入端口号和传入流ID的条目可以存储在OFCT 416中。

在包是流中的第一个包的情况下，在OFCT 416中的查找不会产生任何映射。进而，OFCT 416可以为包分配流通道，该流通道具有将由交换机408上的输入端口和IFCT 418使用的流ID。由其流ID标识的这个新的流通道可以被添加到包报头以传输到链路417上，并且可以被链路伙伴(交换机408)的IFCT 418用来访问流通道的拥塞信息。如前所述，如果未找到匹配，则OFCT 424可以进一步使用其紧接上游输入端口号和与链路417相关联的流ID的匹配模式来生成新的流通道。OFCT 424然后可以分配由新的流ID标识的新的流通道。应注意，OFCT 416还可以用作该流在上游方向上的ACK的转发表。在从交换机408向上游转发到交换机406之后，可以用与边缘链路403相关联的流ID来更新ACK包，并如OFCT 416中的对应条目所指示的那样将其转发到交换机406上的适当输入端口。ACK包可以由ACK交叉开关交换机415在上游方向上转发到输入端口。

随后，当包到达交换机408处时，其流ID可以用于识别要使用的输入队列并确定IFCT 418中的条目。如果交换机408先前未分配包的流ID，则可以提供新的输入队列并且可以在IFCT 418中创建新的条目。从此时开始，可以执行类似的过程来跨交换机408和430转发包，直到包到达出口交换机432。

当包到达交换机432时，在包被数据交叉开关交换机423转发之后，ACK生成器逻辑块420可以基于包的流ID和输入端口号生成ACK包。该ACK包然后可以由ACK交叉开关交换机422在上游方向上转发。同时，基于ACK包，IFCT 421可以在对应表条目中更新流的状态信息。当ACK包到达交换机430时，可以查找OFCT 419以确定ACK包要转发到的上游流ID和上游输入端口。然后，ACK包可以更新其流ID，并在上游方向上转发到适当的输入端口。由于ACK包以类似的方式向上游经过数据路径，因此每个交换机处的IFCT可以基于ACK来更新其针对流的表条目。

应注意，flow_extent变量可能是重要的参数，因为它表示流的下游包的数据总量。当条目的flow_extent为零时，认为能够将流通道自由地重新分配给另一个流。通常，在接收到新包时，输入逻辑可以请求将数据发送到输出端口。所选输出端口可以是存储在IFCT中的flow_extent的函数。如果flow_extent为零，则在流向目的地出口边缘端口的流的下游没有包。因此，交换机可以使用基于负载的自适应路由选择来选择通向目的地的任何有效路径。在多路径网络中，可以在不重新排序包的情况下完成动态自适应路由。如果flow_extent不为零，并且需要有序传送，则包可以使用先前包所采用的相同路由。IFCT可以具有存储先前输出端口号的字段，在向输出端口发出包请求时，该字段被加载并且可以用于确保与先前使用的输出端口的连接。

如前所述，流通道可以使用匹配功能来识别属于现有流的包。当在入口边缘端口上接收到以太网帧或其他类型的包时，可以实时解析接收到的帧或包，并且包报头的一些字段可以用于在CAM或三元内容可寻址存储器(TCAM)中进行查找。如果存在匹配，则匹配地址可以成为用于选择流通道的流ID。当未发生匹配时，交换机硬件可以将匹配失败的模式直接加载到CAM的空闲线路上，这可以在没有附加延迟的情况下完成。因此，任何随后包都可以与该新条目匹配，而无需大量缓冲。所选择的空闲条目成为新的流通道条目的新的流ID。应注意，加载新条目不需要外部软件干预。该过程可以由交换机硬件自主完成。

当返回流的最后一个ACK时，也可以由硬件自动执行流ID和对应的CAM匹配线路的解除分配。解除分配可以在硬件中针对潜在匹配的新包进行，而无需外部软件干预。

在一些示例中，入口边缘交换机406可以包括细粒度流控制逻辑块434，该细粒度流控制逻辑块可以与主机402上的网络接口控制器(NIC)401通信以便以逐流的方式应用流控制。下面结合拥塞管理的描述提供了关于细粒度流控制的更多细节。

图4B示出了EFCT的示例。在该示例中，EFCT可以包括data_flow字段454、ACK_flow字段456、以及可选的附加字段。EFCT可以与输入端口相关联，并且EFCT中的条目可以由flow_ID值索引，如flow_ID 452。在一个实施例中，匹配模式字段可以驻留在匹配功能逻辑块中，该匹配功能逻辑块可以包括CAM或TCAM。匹配功能逻辑块可以使用匹配模式来生成flow_ID值，该值进而可以用作对应EFCT条目的索引。从该EFCT的角度来看，flow_extent(即data_flow-ack_flow)可以包括该表下游的所有未确认的数据，其中可以包括本地flow_queue加上对应IFCT的flow_extent值。

图4C示出了IFCT的示例。在该示例中，IFCT可以与输入端口相关联，并且可以包括follow_port字段466、next_data_flow字段468、data_flow字段470、ACK_flow字段472、ep_congestion字段474、上游计量(UM)标志字段477、下游计量(DM)标志字段478、以及可选的附加字段。传入包的flow_ID值(如flow_ID 464)可以用作用于查找由follow_port字段466指示的输出端口号以及与对应流相关联的状态信息的索引。IFCT中还可以存储与端点拥塞相关联的拥塞控制信息(如ep_congestion字段474)和将稍后在本文档中更详细地描述的基于逐跳信用的流控制(如UM标志字段477和DM标志字段478)。IFCT可以进一步存储有关与不同流相关联的动态路由的信息。

图4D示出了OFCT的示例。在该示例中，OFCT可以与输出端口相关联，并且可以包括input_port字段482、input_port_flow_ID字段484(其对应于包到达输入端口时的现有flow_ID)、data_flow字段486、ACK_flow字段488、以及可选的附加字段。Data_flow字段486和ACK_flow字段488可以用于确定从该OFCT开始的flow_extent的值。input_port字段482和input_port_flow_ID字段484(其也可以称为“传入flow_ID”)的组合可以用于确定或分配准备好传输到与该OFCT相对应的传出链路上的包的传出flow_ID。在一个实施例中，传出flow_ID值(如flow_ID 486)可以用作在OFCT中查找条目的索引。

拥塞管理

如上所述，给定交换机处的每个流都可以有其自己专用的包队列。这种配置促进对每个流进行单独的流控制。因此，网络可以保持大部分无损，并且可以阻塞使用链路的一个流，而不会阻塞使用同一链路的任何其他流。与传统的包交换网络不同，网络某一部分的拥塞只能影响造成拥塞的流。例如，在传统网络中，拥塞链路之前的缓冲区会很快被导致拥塞的包填满。这进而可能强制交换机发出暂停命令或使用某种其他流控制方法来阻止相邻交换机向拥塞链路发送包。因此，可能停止或减慢导致拥塞的包，并且也可能停止或减慢可能不前往拥塞链路的所有其他包。因此，从拓扑角度来看，拥塞可能会横向扩散并增加饱和树的大小。

相比之下，流通道可以在导致拥塞的链路上减少与造成拥塞的流相对应的负载。这种负载减少可以允许共享这些链路的其他流使用更多的链路带宽并更快地传送其有效载荷，而只有造成拥塞链路的包被减慢。

通常，只要网络负载未达到或接近满容量，传统网络就可以正常运行。大多数情况下，中小型网络都是这种情况。然而，对于运行多个高带宽应用的大型或超大型网络，在任何时间点网络的一部分都可能因流量负载而饱和。在这些情况下，即使各个交换机在本地实施公平策略，也可能发生不公平的包传送。

图5示出了在网络中可能发生链路带宽的不公平份额的示例。在该示例中，源A到K中的每一个都试图将包的流发送到目的地L，从而形成多个源向单个目的地发送包的incast场景。源节点A、B和C耦接到交换机502；源节点D、E和F耦接到交换机504；源节点G、H和I耦接到交换机506；并且源节点以及J和K、以及目的地节点L耦接到交换机508。假设每个交换机都采用公平的仲裁策略，即，从其每个输入端口到任何特定输出端口选择均等数量的包。然而，如图5所示，与其流量需要通过更多交换级的源相比，更靠近目的地的源可以获得更高比例的最终链路带宽。交换机508具有来自节点J、K和交换机506的三个传入数据源，并且可以在每个源之间均等地划分到节点L的传出链路上的带宽。因此，节点J、K可以各自占用33.3％的通往目的地节点L的传出链路上的带宽。

下一个最近的交换机(即，交换机506)可以同样如此，依此类推。在该示例中，只有四级交换机，每级只有三个或四个输入，并且只有总共11个输入试图发送到目的地节点L，三个输入源(节点A、B和C)在通往目的地节点L的传出链路上所占用的带宽仅占两个其他输入源(节点J和K)的1/48。因此，即使采用本地公平的仲裁策略，远离目的地的节点也会受到非常不公平的处理。更实际的网络拓扑可能涉及更多的交换级、更多个交换输入以及更多试图发送到单个目的地的源。中等大小的incast可能导致不同源的传送带宽之间存在六个数量级的差异。

上文描述的不公平问题往往是由以下事实造成的：由交换机实施的仲裁策略是基于输入端口的。即，带宽限制是以逐端口粒度进行的。相比之下，通过促进流通道和实施特定于流的限制，网络可以显著减少不同流之间的不公平程度。例如，在图5所示的场景中，当交换机实施逐流的公平带宽分配策略时，所有八个源节点可以基本上均等地共享交换机508与目的地节点L之间的边缘链路的带宽。更具体地，假设交换机508向节点L传送11个流。每个流可以占用出口边缘链路带宽的1/11或大约9.1％。流通道使得来自每个节点的链路可以使用出口边缘链路带宽的1/11，从交换机502到交换机504的链路有3个流，剩下整个带宽的8/11可用于其他流量。交换机504与交换机506之间的下一条链路有6个流，剩下出口边缘链路带宽的5/11用于其他流量。交换机506与交换机508之间的链路有9个流，剩下出口边缘链路的2/11的带宽空闲。

当对流而不是端口进行仲裁时，每个流达到的带宽可以由耦接到瓶颈链路的交换机确定。其他交换机可以仅以耦接到瓶颈链路的交换机决定的速率来转发包。在图5所示的示例中，交换机508可以负责设置所有其他交换机的逐流数据速率。流通道使得可以通过对每个交换机中的流实施本地公平仲裁策略来实现全局网络公平性。

这种不公平问题在计算机行业内并未得到普遍承认或完全理解。即使是在通常能够花更多精力尝试优化应用、硬件和系统的HPC业界内，关注点也往往指向最小的包传送时延，而通常对可扩展性的最大影响是由一小部分包所产生的大量偶然的网络时延造成的。应用的粒度越细，这种拖尾时延就越明显。

流通道为全局公平性问题提供了解决方案，所述解决方案基于流和对目的地出口边缘端口进行最终结构仲裁的知识。

使用以下方法，在饱和incast期间，无论帧大小或到达目的地的跳数如何，对incast有贡献的所有源都可以获得相似的带宽。在一个实施例中，系统可以在出口边缘端口上分配基本相等量的缓冲区空间，用于对incast有贡献的每个流。系统可以使用该分配的缓冲区空间来仲裁进入作为incast的集中点的出口边缘端口的包。这种仲裁机制可以在流之间是公平的，而不是端口之间。这意味着与具有很少或只有一个流进入incast出口端口的端口相比，接收许多去往相同incast出口端口的流的端口可以获得更大比例的最终出口边缘链路带宽。

通过均衡每个流的带宽，可以显著减少最坏情况的拖尾时延(其中一小部分通信需要大量时间才能完成)，并且数据传送时间也可以减少并且更可预测。

流通道可以用于管理数据的传送以减轻在网络的任何端口处的incast的最坏影响，其中端口具有能够对incast做出贡献的多个输入。这是通过限制可以转发到输出端口的包数据的量来实现的，以便基于属于特定流的包进行公平仲裁。这样做是为了使输出将基于包是流的一部分而不是基于其来自特定端口来选择去往出口的包，因此具有许多流的入口端口可以提供比具有更少流的入口端口更多的包数据进行仲裁考虑，并且这样做将获得更大比例的可用出口带宽。

通过提供更公平的基于流的仲裁策略，还可以大大减少单个包的极端拖尾时延。对于大型系统设施，控制网络中的最大时延通常是架构师主要关注的问题。通常，这只能通过将进入网络的输入带宽限制为峰值带宽的一小部分来实现。例如，对于大型数据中心而言，峰值带宽的20％的输入带宽限制可能是典型的。相比之下，通过流通道和适当的控制机制，现在可以构建不施加这种限制的网络。

公平的基于流的仲裁可以为TCP流带来显著的好处。TCP是一种可靠的传输协议，并且被设计用于提供网络可以提供的高无错数据速率。TCP尝试通过初始往返时延测试来测量网络中的当前拥塞状态，然后在不会显著增加往返时延的情况下以网络可以容纳的最大速率将包注入网络。对于主要仅由TCP流填充的网络，这种方法可以提供良好的结果。然而，许多应用和系统服务使用UDP作为其传输协议。UDP的控制能力较弱，只提供尽力而为的传送，依靠应用来提供传输控制。如果应用需要，UDP流可以多播并从NIC以线路速度传输，而无需任何级别的限制。在实践中，使用UDP的应用往往考虑更周全，但没有保证。在传统网络中，与饱和的UDP流共享链路的TCP流通常会将其传输速率限制在较低的水平，有时接近于零。只要UDP流在消耗剩余带宽，它就可能保持接近零。然而，流通道使得可以单独管理TCP流和UDP流。面对饱和的UDP流，TCP包的带宽可能会减少，但仅限于减少到TCP流和UDP流各自具有50％的共享链路带宽的程度。如果有更多的UDP或TCP流，则它们也可以消耗它们在总链路带宽中的公平份额。如果特定流(TCP或UDP)在网络中的一个点处与许多其他流共享，则所述特定流只能消耗流在网络其他位置使用的所有其他链路上的瓶颈下的带宽。这意味着，即使是线路速度的广播UDP流也可以与许多TCP和其他UDP流一起被容纳，而不会使整个网络发生灾难性的崩溃。

TCP具有许多通常针对典型的有损以太网网络进行了优化的控制手段。这些控制手段包括用于控制在慢启动时带宽的增加速率的参数。连接到支持流通道的结构的端口之间的传输不需要慢启动。流通道可以是无损的，并使用跨网络的最佳选择路径以正确的顺序传送所有包。通过更改这些参数，还可以在跨结构的短期TCP连接上提供更高的带宽。

图5B示出了促进基于流的全局公平性的包转发的示例性交换机。在该示例中，交换机522可以包括多个输入端口(如输入端口524)、交叉开关交换机526、以及多个输出端口(如输出端口532)。每个输出端口都可以与输出缓冲区相关联，所述输出缓冲区可以由控制逻辑块控制。例如，输出缓冲区530可以缓冲将经由输出端口532传输的包。对存储在输出缓冲区530中的包的仲裁可以由输出缓冲区控制逻辑528完成。

在操作期间，经由输入端口接收包，并由交叉开关交换机526将包转发到其对应的输出端口。要传输到输出端口的所有包都可以缓冲在与该输出端口耦接的输出缓冲区中。在一个实施例中，输出缓冲区控制逻辑块528可以基于预定配置在要经由输出端口532传输的所有流之间分配输出缓冲区530中的空间。例如，在一种方案中，每个流可以接收输出缓冲区530中的基本相等量的缓冲区空间。输出缓冲区控制逻辑块528可以进一步基于相同方案来仲裁对已缓冲包的传输调度，从而在输出缓冲区530中缓冲的所有流之间强制执行输出端口532的带宽的全局公平分配。应注意，为了促进不同流量分类之间的差异化服务，其他带宽分配方案也是可能的。

图5C示出了以基于流的全局公平性来转发包的示例性过程的流程图。在操作期间，交换机可以接收要经由输出端口传输的多个包，并将这些包存储在对应的输出缓冲区中(操作542)。系统可以进一步基于包所属的流将输出缓冲区中的缓冲区空间分配给这些包(操作544)。应注意，分配可以基于预定配置或方案来完成，这些配置或方案例如可以是基于公平的轮询方案。随后，交换机可以相应地仲裁存储在输出缓冲区中的包并且将包出队以进行传输(操作546)。然后，交换机可以将出队的包传输到输出端口(操作548)。

除了公平性，网络架构师所面临的另一个挑战是拥塞。通常，网络中可能发生两种类型的拥塞。第一种类型是端点拥塞，其中耦接到目的地设备的出口边缘链路拥塞。第二种类型是结构链路拥塞，即，中间结构链路拥塞。

图6示出了端点拥塞的示例。在该示例中，两个源主机602和604正在向目的地主机606发送数据。来自源主机602和604的流量在边缘交换机610处会聚，并且交换机610与主机606之间的出口边缘链路608可能变得拥塞。这种拥塞场景通常会在incast中发生，其中多个源向单个目的地发送流量。当出口边缘链路达到其全数据速率容量时，或者当目的地主机606不能以足够快的速率处理所有传入包时，可能发生拥塞。在任何情况下，当端点拥塞发生时，耦接到链路608的交换机610上的输出传输缓冲区可能经历其存储数据量的增加。

交换机可以通过监测出口边缘链路上的输出缓冲区来检测端点拥塞，并通过向上游交换机和源节点发送带有拥塞信息的ACK来缓解端点拥塞。更具体地，耦接到出口边缘链路的输出缓冲区可以监测缓冲区的状态并在满足某些标准时检测到拥塞。当包到达或离开输出缓冲区时，输出缓冲区可以计算三个拥塞检测参数，如：(1)存储在缓冲区中的数据量，(2)存储在缓冲区中的包数量，以及(3)缓冲区深度(存储在缓冲区中的数据量)的变化率。可以为这三个监测参数分别设置三个阈值，但可以设置更多或更少的阈值。当这些参数中的至少一个超过对应阈值时，就认为存在拥塞。

当检测到拥塞时，交换机可以生成并传输与刚刚进入输出缓冲区的包相对应的端点拥塞通知ACK。ACK可以包括指示拥塞严重程度的值。应注意，该端点拥塞通知ACK并非旨在向上游交换机通知包的成功传送，而是通知它们出口边缘链路处拥塞的存在和拥塞的程度。(事实上，当发送该端点拥塞通知ACK时，包可能仍然存储在输出缓冲区中，等待被传输到出口边缘链路上。)这种快速、显式的拥塞通知机制允许交换机快速对造成拥塞的特定流采取行动。

另外，当包出队并传输到出口边缘链路上时，输出缓冲区可以更新拥塞检测参数。如果不存在拥塞，则生成并发送常规ACK，这可以清除由对对应流进行操作的上游交换机接收到的任何先前拥塞通知。如果存在拥塞，则ACK可以标记有标志，该标志允许ACK向交换机通知出口边缘链路上的持续拥塞以及包的成功传送。

图7A示出了生成显式端点拥塞通知ACK的示例性过程的流程图。在操作期间，系统可以持续监测出口边缘链路的输出缓冲区。系统然后可以在输出缓冲区处接收包(操作702)。在接收到包后，系统可以计算输出缓冲区的这三个拥塞参数(数据总量、包总数和缓冲区深度变化率)(操作704)。系统可以进一步确定这些参数中的任何参数是否超过对应的阈值(操作706)。如果至少一个参数超过阈值，则认为存在拥塞。因此，系统可以生成与包的流相对应的显式端点拥塞通知ACK包并将其发送到上游交换机(操作708)。如果未检测到拥塞，则系统可以恢复正常运行。

图7B示出了示例性端点拥塞管理逻辑块。在该示例中，端点拥塞管理逻辑块730可以包括输出缓冲区监测器732、拥塞参数计算逻辑块734和端点拥塞通知ACK生成逻辑块736。在操作期间，输出缓冲区监测器732可以监测与出口边缘链路相关联的输出缓冲区的状态。基于被监测的输出缓冲区的状态，拥塞参数计算逻辑块734可以计算这三个拥塞参数(参见图7A中流程图中的操作704)。当这些参数之一超过对应的阈值时，端点拥塞通知ACK生成逻辑块736可以生成端点拥塞通知ACK并将该ACK发送到上游交换机。

图8示出了响应于包从输出缓冲区出队而生成ACK的示例性过程的流程图。在该示例中，系统首先将包从输出缓冲区中出队(操作802)。然后系统可以计算输出缓冲区的这三个拥塞参数(数据总量、包总数和缓冲区深度变化率)(操作804)。系统可以确定这些参数中的任何参数是否超过对应的阈值(操作806)。如果至少一个参数超过阈值，则认为存在拥塞。因此，系统可以生成具有指示持续拥塞的标记标志的ACK包(操作808)。如果未检测到拥塞，则系统可以生成常规的ACK包(操作809)。系统随后可以将ACK包发送到上游交换机(操作810)，并且将出队的数据包传输到出口边缘链路上(操作812)。

应注意，图7B所示的端点拥塞管理逻辑块也可以执行图8中所示的流程图所描述的操作。换言之，端点拥塞管理逻辑块730可以在包到达输出缓冲区以及包从输出缓冲区离开时潜在地生成端点拥塞通知ACK。

当端点拥塞通知ACK经过结构时，路径上的交换机的IFCT可以对与ACK相对应的流应用带宽限制。实际上，结构可以在数据路径上的每个交换机处以分布式方式减慢该流的传送速度。当端点拥塞通知ACK通过IFCT时，其值可以作为ep_congestion值存储在流的表条目中，该ep_congestion值可以用于为流选择期望的最大带宽。ep_congestion的每个值都可以有一组对应的高水位值、目标水位值和丢弃水位值。对于高水平的拥塞，此时ep_congestion具有较高值，水位值可以具有较低值，使得可以更积极地缓解拥塞。对于低水平的拥塞，此时ep_congestion具有较低值，可以使用一组不同的更大的高水位值、目标水位值和丢弃水位值，以获得更高的流带宽。例如，可以使用由ep_congestion值索引的表。对于每个ep_congestion值，该表可以指示一组对应的高水位值、目标水位值和丢弃水位值。该表的条目可以预先确定，使得当接收到端点拥塞通知ACK时，交换机可以使用ep_congestion值在该表中执行查找，并将这三个对应的水位值应用于识别的流。

在一些情况下，如果源以贪婪的方式注入数据，仅减慢网络内部的转发速度可能不足以完全消除拥塞。为了解决该问题，入口边缘交换机可以被配置为指示源设备(其通常驻留在结构之外)以细粒度、逐流的方式限制数据注入。这种交换机到主机的流控制机制可以称为细粒度流控制(FGFC)。

特别地，尤其是在HPC环境中，终端主机或计算节点可能具有大量的运行大量线程、进程或虚拟机的核，其中每个核都可以通过公共物理网络接口控制器(NIC)将其自己的数据流注入到网络中。当存在拥塞时，基于逐端口的流控制只能限制NIC上单个端口的整体数据速率，其可以是40Gb/s或更高。反推整个端口上的总数据速率可能会导致对未造成拥塞的流不公平。FGFC可以将各个流或相关联流分组的概念扩展到它们的最终源，这可以是在其中一个核上执行的单个线程。

为了减慢来自源的数据注入，入口边缘交换机上的FGFC逻辑块(例如，图4A中的边缘交换机406中的FGFC逻辑块434)可以使用暂停-信用混合方法来限制与特定流或流分组相关联的传入数据。基于暂停的方法通常涉及接收端向发射器端发出暂停命令，作为响应，发射器端可以停止传输，直到进一步的通知。对于基于信用的方法，接收端可以向发射端发出传输信用，这允许发射器发送更多数据，但最多只能发送由信用值指定的量。这种机制允许接收端更精确地控制其输入缓冲区深度以避免溢出，同时允许继续传输。FGFC可以使用混合方法，其中在检测到拥塞时，入口边缘交换机可以针对一个或多个流向终端主机NIC(如图4A中终端主机402上的NIC 401)发出具有设置的定时器值的FGFC帧。在接收到FGFC帧之后，入口边缘交换机可以开启基于信用的流控制模式。作为响应，NIC可以基于接收到的信用来限制对应(多个)流的传输数据速率，同时允许其他流以正常数据速率传输。在预定的定时器到期之后，终端主机NIC可以恢复(多个)被限制流的正常传输，除非接收到另一个暂停命令。应注意，被限制流可以通过从包得到的任何字段来标识。被限制流可以特定于在终端主机上执行的单个进程或线程。

FGFC可以使用带有组织唯一标识符(OUI)扩展Ether_Type字段的以太网帧来实施边缘交换机与终端主机NIC之间的控制通信。这些帧可以指示以下一项或多项：(1)被控制的流所使用的协议；(2)用于指示生成需要被限制的包的源(例如，应用、进程或线程)的标识符；(3)流控制要持续的暂停时间值(其可以在后续FGFC帧因错误而丢失时防止加锁)，以及(4)信用值，可以为零，指示在暂停期间可以发送的帧的数量或数据量。

应注意，用于指示受制于流控制的源流的标识符可以基于与流相关联的协议而不同。对于第2层以太网虚拟局域网(VLAN)流量，标识符可以包括VLAN编号。对于IPv4流量，标识符可以包括源/目的地IP地址对、包含UDP或TCP端口号的UDP或TCP/IP5元组、或可选的流标签。对于IPv6流量，标识符可以包括一个或多个IPv6地址或IPv6流标签。对于专有HPC协议流量，标识符可以包括进程或线程ID。通常，该标识符也存储在边缘交换机的EFCT中，因为它用于将对应的流量映射到流ID。

为了触发FGFC，入口边缘交换机的IFCT可以监测其特定于流的输入队列。对于每个队列，对应的IFCT条目可以指示三个水位值：高、目标、丢弃，其可以用来衡量队列深度。在一些示例中，这些水位值可以作为附加字段包括在如图4C所示的IFCT中，或者可以存储在单独的表中并由IFCT中的字段链接。当队列深度小于目标值时，不需要FGFC。当队列深度达到目标水位值时，IFCT可以与FGFC逻辑块通信以发起与终端主机的NIC的FGFC。当队列深度降低到低于丢弃水位值时，可以停止FGFC并恢复流的正常传输。

图9A示出了示例性FGFC过程的流程图。在操作期间，在入口边缘交换机处，系统可以监测特定于流的输入队列(操作902)。对于相应的流，系统可以进一步确定FGFC当前是否已开启(操作904)。如果当前针对该流开启了FGFC，则系统可以确定队列深度是否低于丢弃水位(操作906)。如果队列深度尚未降低到丢弃水位以下，则系统可以继续在FGFC模式下基于信用的传输(操作912)。如果队列深度已经降低到低于丢弃水位，则系统可以恢复到流的正常传输(操作914)。回到操作904，如果FGFC当前没有开启，则系统可以确定队列深度是否大于目标水位(操作908)。如果是，系统可以发起流的FGFC(操作910)。边缘交换机中的FGFC逻辑块可以从与流相对应的EFCT条目中获得流标识信息(例如VLAN标签、TCP/IP 5元组、线程ID等)，并将FGFC以太网帧发送到终端主机上的NIC。随后，系统可以继续监测输入队列(操作902)。如果队列深度不大于目标水位，则系统可以继续常规数据传输(操作914)

为了促进FGFC，NIC可以被配置为处理FGFC以太网帧，使得NIC可以与终端主机上正在生成数据的应用或进程通信。FGFC以太网帧的解析和与应用或进程的通信可以在软件、硬件或两者的组合中完成。图9B示出了支持FGFC的NIC的示例。在该示例中，NIC 930可以包括处理器932、存储器934、发射器936、接收器938、FGFC逻辑块940和通信逻辑块942。在操作期间，发射器936和接收器938可以经由边缘链路执行与边缘交换机的通信。通信逻辑块942可以经由数据总线(如高速外围部件互连(PCIe)总线)与NIC 930所在的终端主机的中央处理单元进行通信。NIC 930内部的处理器932和存储器934可以执行数据的本地处理。在操作期间，FGFC逻辑块940可以与边缘交换机一起工作以逐流的方式应用FGFC。另外，FGFC逻辑块940可以经由通信逻辑块942与终端主机的中央处理单元通信，以限制与受制于FGFC的特定流相对应的单个应用或进程的数据注入，从而控制注入到结构的数据量。

如上所述，网络中可能发生两种类型的拥塞。第一种类型是端点拥塞，第二种类型是结构链路拥塞。图10示出了结构链路拥塞的示例。在该示例中，两个中间交换机1002和1006经由结构链路1004进行通信。多个源/目的地对可以经由结构链路1004发送流量。因此，结构链路1004可能会经历拥塞，但通向和远离结构链路1004的链路可能不会拥塞。当这种拥塞发生时，结构链路1004可能看起来是“热点”。

为了缓解结构链路拥塞，交换机可以应用基于逐流信用的动态流控制。在交换机处，如果输入队列开始填满，并且该流的queue_extent值达到预定阈值，则交换机可以生成特殊的ACK来向上游交换机的IFCT通知拥塞。这种特殊的逐跳ACK可以称为“HeadroomACK(净空ACK)”。在收到HeadroomACK后，上游交换机的IFCT可以对下游交换机启动基于信用的流控制。在下游IFCT条目中，可以置位标志上游计量(UM)以指示现在基于信用来计量来自上游交换机的数据传输。HeadroomACK包还可以包括信用值。

当上游交换机收到HeadroomACK时，可以在IFCT的对应条目中置位称为下游计量(DM)的标志。IFCT还可以在IFCT条目中存储有符号的净空字段，该净空字段具有HeadroomACK所携带的信用值(即，净空值指示信用的数量)。该净空字段可以表示可以被转发到下游交换机的数据量。这为对应的流建立了基于信用的流控制。如果上游IFCT在流条目中的DM标志已被置位的情况下接收到HeadroomACK，则可以将HeadroomACK所携带的信用值添加到现有的净空值中。

如果净空值不大于零(即，无可用信用)，则由上游IFCT接收到的新包可能被阻塞。这些包可以填充该流的输入队列，并可能进而导致IFCT对其上游IFCT发起基于逐流信用的流控制，依此类推。如果净空值大于零，则可以将存储在输入队列中的包出队并转发到下游交换机，并且可以将净空值递减所转发包的大小，这可能导致净空值变为零或负。

由于流被限制向下游IFCT发送新包，下游IFCT的输入队列可以以某种速率开始消耗，具体取决于其下游拥塞。如上所述，每个流的输入队列可以具有三个队列深度水位值，即，高、目标和丢弃，这些水位值可以用于管理基于信用的流控制。目标水位可以近似为期望流带宽的理想队列深度。其表示有足够的缓冲可用于向下游传输数据。当出现拥塞时，基于信用的流控制机制可以试图将流的queue_extent值保持在该目标水位附近。

如果queue_extent值介于高水位与丢弃水位之间，并且大于目标水位，则在转发包时，可以将略小于该包大小的信用与HeadroomACK一起返回给上游交换机。如果queue_extent的值未超过目标水位，则在转发包时，可以将略大于该包大小的信用与HeadroomACK一起返回给上游交换机。

如果queue_extent深度大于高水位，则在转发包时不返回任何信用。这种机制可以更快地降低queue_extent值，并且通常在第一次检测到拥塞时使用。如果拥塞清除，则流的输入队列可以更快地变为空。当队列深度小于丢弃水位时，可以关闭基于信用的流控制。这可以通过清除IFCT条目中的UM标志并将具有最大信用值的HeadroomACK返回到上游交换机来完成。当被上游IFCT接收时，HeadroomACK会清除条目的DM标志，并关闭针对净空值的流控制。

应注意，在典型的网络拓扑中，可能有多个交换机，并且两个端点之间可能有多个数据路径。在多路径网络中，可以使用各种方法来控制结构链路拥塞。例如，本文档稍后描述的注入限制可以控制整个结构中的最大数据总量。这意味着如果特定结构链路过载，则流可以使用不通过拥塞链路的不同数据路径。可以检测过载链路并为一组流生成“重新路由”ACK。重新路由ACK可以临时阻塞上游交换机中的流，并且当该流的所有ACK都返回时，流可以解除阻塞并可以自由使用结构上的不同路径。然后，基于负载的动态自适应路由机制可以引导前导包使用不同的非拥塞结构链路。进而，整个结构上的负载可以变得更加均衡。

图11示出了在拥塞结构链路上应用基于信用的流控制的示例过程的流程图。在操作期间，交换机系统可以监测其特定于流的输入队列(操作1102)。系统可以确定其IFCT中的条目是否置位了UM标志(操作1104)。如果置位了UM标志，这意味着基于信用的流控制已开启，则系统可以进一步确定queue_extent值是否小于丢弃水位值(操作1106)。如果queue_extent值小于丢弃水位值，则系统可以清除UM标志、关闭基于信用的流控制、并恢复正常的数据传输(操作1014)。如果queue_extent值大于丢弃水位值，则系统可以继续基于信用的流控制(操作1106)。回到操作1104，如果未置位UM标志，这意味着系统处于常规传输模式，则系统可以确定queue_extent值是否大于目标水位值(操作1108)。如果是，系统可以发起基于信用的流控制并向上游交换机发送HeadroomACK(操作1110)。如果queue_extent值不大于目标水位值，则系统可以继续常规数据传输(操作1112)。

通常，流通道交换机可以使用几种拥塞检测和控制机制的组合。例如，可以使用可以从最终结构出口边缘端口返回的端点拥塞通知ACK报告不同程度的端点拥塞。该ACK类型可以用于管理流入严重拥塞的出口边缘端口的流的带宽。该系统还可以使用基于逐跳信用的流控制来管理结构链路拥塞。这种逐跳拥塞管理机制可以有效应对低到中等程度的拥塞，因为响应时间可以比网络级的往返延迟短得多。

如果拥塞很严重，这可能是由大范围的incast引起的，则系统还可以应用逐流的注入限制。可以基于ep_congestion值确定流的注入限制。可以将注入限制与流所穿过的所有IFCT中的flow_extent值进行比较。如果flow_extent大于该限制，则IFCT可以阻塞该流的包从输入队列转发。这种机制可以将整个流上的包转发速率降低到少至单个包。

该系统还可以保护无关流量免受因大量贡献者的incast造成的极端拥塞的影响。在这种情况下，可以将ep_congestion值设置为较高的值，并且可以将流的平均数据量减少到包的一小部分。这可以通过仅在自接收到前一个包的ACK起经过可编程延迟之后才将单个流的下一个包从入口边缘端口的IFCT释放到结构中来实现。

除了逐流的注入限制之外，系统还可以逐个入口端口测量已注入结构中的数据量，并设置注入限制以对端口可以注入到结构中的数据总量施加上限。由于每个入口端口都可以应用该注入限制，因此系统可以控制结构内所允许的最大数据量。限制进入结构的数据总量可以确保在带宽稀缺的情况下不会发生缓冲区耗尽。因此，不使用带宽减少的路径的流量不会受到影响。

为了促进逐端口的注入限制，IFCT可以维持总流量计数。每次从边缘端口将包注入结构时，总计数都会递增。当返回流的ACK时，总流量计数可以递减。一旦返回了入口端口的所有流的所有ACK(即，当所有流的flow_extent值之和变为零时)，总流量计数可以设置为零。

图12示出了促进流通道(例如，其可以对应于图4A中的交换机406)的示例性边缘交换系统。在该示例中，交换机1202可以包括多个通信端口，如端口1220。每个端口可以包括发射器和接收器。交换机1202还可以包括处理器1204、存储设备1206和流通道交换逻辑块1208。流通道交换模块1208可以耦接到所有通信端口并且可以进一步包括交叉开关交换机1210、EFCT逻辑块1212、IFCT逻辑块1214和OFCT逻辑块1216。

交叉开关交换机1210可以包括一个或多个交叉开关交换机芯片，该交叉开关交换机芯片可以被配置为在通信端口之间转发数据包和控制包(如ACK包)。EFCT逻辑块1212可以处理从边缘链路接收的包并且基于包中的一个或多个报头字段将接收的包映射到对应的流。另外，EFCT逻辑块1212可以组装FGFC以太网帧，该以太网帧可以传送到终端主机以控制由各个进程或线程注入的数据量。IFCT逻辑块1214可以包括IFCT，并且响应于控制包(如端点拥塞通知ACK和基于结构链路信用的流控制ACK)来执行各种流控制方法。OFCT逻辑块1216可以包括存储OFCT的存储器单元，并且与另一个交换机的IFCT逻辑块通信以在包被转发到下一跳交换机时更新包的流ID。

图13示出了促进流通道(例如，其可以对应于图4A中的交换机408和430)的示例性中间交换机系统。在该示例中，交换机1302可以包括多个通信端口，如端口1320。每个端口可以包括发射器和接收器。交换机1302还可以包括处理器1304、存储设备1306和流通道交换逻辑块1308。流通道交换模块1308可以耦接到所有通信端口并且可以进一步包括交叉开关交换机1310、EFCT逻辑块1312、IFCT逻辑块1314和OFCT逻辑块1316。

交叉开关交换机1310可以包括一个或多个交叉开关交换机芯片，该交叉开关交换机芯片可以被配置为在通信端口之间转发数据包和控制包(如ACK包)。EFCT逻辑块1312可以处理从边缘链路接收的包并且基于包中的一个或多个报头字段将接收的包映射到对应的流。另外，EFCT逻辑块1312可以组装FGFC以太网帧，该以太网帧可以传送到终端主机以控制由各个进程或线程注入的数据量。IFCT逻辑块1314可以包括IFCT，并且响应于控制包(如端点拥塞通知ACK和基于结构链路信用的流控制ACK)来执行各种流控制方法。OFCT逻辑块1316可以包括存储OFCT的存储器单元，并且与另一个交换机的IFCT逻辑块通信以在包被转发到下一跳交换机时更新包的流ID。

总之，本公开描述了一种数据驱动的智能联网系统，该系统可以采用快速、有效的拥塞控制来适应动态流量。所述系统可以维护各个包流的状态信息，这些信息可以基于已注入数据而动态建立或释放。包流可以映射到其第2层、第3层或其他特定于协议的报头信息。在到达交换机时，可以为每个流提供特定于流的输入队列。相应流的包在到达网络的出口点后被确认，并且确认包沿相同的数据路径反向发送回流的入口点。因此，每个交换机可以获得每个流的状态信息，并以逐流的方式执行流控制。这种流控制允许更好地利用网络，同时提供多功能的流量工程和拥塞控制能力。

上述方法和过程可以由硬件逻辑块、模块或装置来执行。硬件逻辑块、模块或装置可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、在特定时间执行代码的专用或共享处理器、以及现在已知或以后开发的其他可编程逻辑设备。在激活硬件逻辑块、模块或装置时，这些硬件模块或装置执行其中所包括的方法和过程。

本文描述的方法和过程还可以体现为代码或数据，该代码或数据可以存储在存储设备或计算机可读存储介质中。当处理器读取并执行存储的代码或数据时，处理器可以执行这些方法和过程。

本发明实施例的先前描述仅出于说明和描述的目的而呈现。所述描述并非旨在是穷举的或将本发明限制为所公开的形式。相应地，对于本领域普通技术人员而言，许多的修改和变化将是显而易见的。另外，以上公开并非旨在限制本发明。本发明的范围由所附权利要求限定。