阅读说明：本技术 用于高速外设部件互连（PCIe）系统的机架式交换机设备 (Rack-mounted switch device for peripheral component interconnect express (PCIe) system ) 是由 C·R·隆 J·布雷克斯通 A·R·海德 B·M·鲁斯特 S·沃尔什 B·施拉姆 于 2018-03-07 设计创作，主要内容包括：本文提供了机架式高速外设部件互连(PCIe)交换机组件。一个示例PCIe交换机组件包括：外壳,其包围所述PCIe交换机组件的元件；第一多个PCIe互连端口,其位于所述PCIe交换机组件的前侧；以及第二多个PCIe互连端口,其位于所述PCIe交换机组件的后侧。提供一个或多个冗余交叉链路端口以利用至少另一PCIe交换机组件处理故障转移通信。PCIe交换机电路通信地联接到形成集群互连PCIe结构的所述第一多个PCIe互连端口和所述第二多个PCIe互连端口。控制处理器被配置为控制至少所述PCIe交换机电路和所述一个或多个冗余交叉链路端口的操作。(A rack-mounted peripheral component interconnect express (PCIe) switch assembly is provided herein. One example PCIe switch component includes: a housing enclosing elements of the PCIe switch component; a first plurality of PCIe interconnect ports located at a front side of the PCIe switch component; and a second plurality of PCIe interconnect ports located on a back side of the PCIe switch component. One or more redundant cross-link ports are provided to handle failover communications with at least another PCIe switch component. PCIe switch circuitry is communicatively coupled to the first plurality of PCIe interconnect ports and the second plurality of PCIe interconnect ports forming a cluster interconnect PCIe fabric. The control processor is configured to control operation of at least the PCIe switch circuit and the one or more redundant cross-link ports.)

用于高速外设部件互连（PCIe）系统的机架式交换机设备

相关申请

本申请在此要求享有2017年3月7日提交的、题为“RACKMOUNT SWITCH DEVICESFOR PERIPHERAL COMPONENT INTERCONNECT EXPRESS(PCIe)SYSTEMS”的美国临时专利申请62/468,222的权益和优先权，该美国临时专利申请在此通过引用的方式全部并入本文。本申请还要求享有2017年4月27日提交的、题为“REDUNDANCY AMONG RACKMOUNT SWITCHDEVICES FOR PERIPHERAL COMPONENT INTERCONNECT EXPRESS(PCIe)SYSTEMS”的美国临时专利申请 62/490,986的权益和优先权，该美国临时专利申请在此通过引用的方式全部并入本文。

背景技术

已经提出了网络存储和计算系统，其在企业级存储环境中存储和处理大量数据。这些网络存储系统通常向终端用户或其他外部系统提供通过一个或多个网络接口对批量数据存储的访问。除了数据存储之外，远程计算系统还包括可以向终端用户提供远程计算资源的各种处理系统。这些网络存储系统和远程计算系统可以包括在高密度装置中，例如机架式环境中。一些计算设备采用高速外设部件互连(PCIe)接口来连接***设备和存储设备。但是，典型的PCIe实施方案采用点对点主机设备架构。

发明内容

本文提供了机架式高速外设部件互连(PCIe)交换机组件。一个示例 PCIe交换机组件包括：外壳，其包围所述PCIe交换机组件的元件；第一多个PCIe互连端口，其位于所述PCIe交换机组件的前侧；以及第二多个 PCIe互连端口，其位于所述PCIe交换机组件的后侧。提供一个或多个冗余交叉链路端口以利用至少另一PCIe交换机组件处理故障转移通信。PCIe 交换机电路通信地联接到形成集群互连PCIe结构的所述第一多个PCIe互连端口和所述第二多个PCIe互连端口。控制处理器被配置为控制至少所述PCIe交换机电路和所述一个或多个冗余交叉链路端口的操作。

附图说明

参考以下附图可以更好地理解本公开内容的许多方面。附图中的部件不一定按比例绘制，而是将重点放在清楚地示出本公开内容的原理上。此外，在附图中，相同的附图标记在所有若干视图中标示对应的零件。虽然结合这些附图描述了若干实施方案，但是本公开内容不限于本文中公开的实施方案。相反，其目的是涵盖所有替代方案、改型和等同物。

图1示出了示例性PCIe交换机设备的实施方式。

图2示出了示例性PCIe交换机设备的实施方式。

图3示出了示例性PCIe交换机设备的实施方式。

图4示出了示例性PCIe交换机设备的实施方式。

图5示出了示例性机架式PCIe交换机设备的实施方式。

图6示出了示例性PCIe交换机电路的实施方式。

图7示出了示例性PCIe交换机电路的实施方式。

图8A示出了一个实施方式中的示例性PCIe交换机控制。

图8B示出了一个实施方式中的示例性PCIe交换机控制。

图9示出了一个实施方式中的示例性PCIe交换机显示器。

具体实施方式

本文的示例示出了各种高速外设部件互连(PCIe)交换机设备的实施方式。PCIe交换机设备可以在各种PCIe主机和端点之间提供交换结构。可以提供多个PCIe兼容端口以使用相关联的PCIe链路来互连机架式环境中的其他设备。图1-图5示出了机架式PCIe交换机组件，其具有16个前端PCIe端口和8个后端PCIe端口，总共24个PCIe端口。当经由相关联的布线联接时，PCIe端口互连PCIe结构的PCIe元件，该PCIe结构包括图1中未示出的其他系统。

在图1中，在视图100中示出了两个交换机组件110，视图100示出了俯视/前部等距视图。交换机组件110包括用于容纳和结构支撑交换机组件110的元件的结构元件。外壳115可包括底架元件、框架、紧固元件、机架式特征、通风特征以及其他元件。外壳115的尺寸可以根据标准化计算机机架高度的倍数来确定，例如1U或2U。组件110的外壳115包括包含顶盖111、112和113的各种底架元件。盖111包括位于组件110的内部风扇上方的可移除的或顶部的盖。盖111可以打开以提供对外壳内的风扇的维修访问。在许多示例中，外壳115还包括风扇或其他冷却和通风元件，用于向交换机组件110的元件提供气流。外壳115还可包括电源元件，以转换外部电源或向交换机组件110的元件提供各种形式的电功率。

详细视图101示出了组件110的前侧。组件110的前侧包括位于用于组件110的内部风扇的通风特征116下方的第一多个PCIe端口120。在图 1中，显示了四组四个PCIe端口，包括16个前端PCIe端口。在此示例中， PCIe端口包括微型串行连接SCSI(SAS)HD连接器、四通道小型可插拔 (Quad Small Form Factor Pluggable，QSFFP)插孔、QSFP/QSFP+插孔、或zSFP+互连件，但其他端口/插孔也是可能的。

在本文的示例中，PCIe端口120被分组为多个具有四(4)个端口的集合。每个交换机组件的前侧具有4x4端口配置，后侧具有2x4端口配置，这允许连接到具有多达x16总线并支持x4和x8等总线宽度的其他交换机、设备或服务器。每个PCIe端口120还可以具有底部安装的指示器(例如发光二极管(LED))，其通过相关联的PCIe端口连接器发光，以帮助引导客户连接电缆、排除故障以及指示连接和错误。

盖111-113、手柄114、外壳115和通风特征116均可包括各种材料，例如金属、合金、聚合物、碳复合材料或其他材料。在一些示例中，盖 111-113、手柄114、外壳115和通风特征116均包括铝材料。手柄114被包括在组件110的前侧的每个端部上，以帮助将组件110***到机架式系统中和将组件110从机架式系统中移除。在一些示例中，手柄114联接到闩锁机构。当手柄114被用户拉动时，闩锁机构将联接于闩锁机构的闩锁特征缩回到相关联的手柄。每个闩锁特征将相关联的交换机组件110保持在壳体或机架式系统中。

图1中还可看到冗余交叉链路180，其包括至少一个x4 PCIe链路，该链路将两个交换机组件110的管理控制器联接在一起，用于在交换机组件之间进行故障转移。在第一交换机组件经历故障的情况下，故障的交换机组件的控制/管理可以由通过链路180联接的相邻交换机组件接管。链路 180通过交换机组件110上的一个或多个冗余交叉链路端口211联接，冗余交叉链路端口211被配置为利用至少另一PCIe交换机组件来处理故障转移通信。冗余交叉链路端口211经由链路180可以允许第一PCIe交换机组件控制一个或多个其他PCIe交换机组件的操作，例如通过在多个PCIe交换机组件和多个PCIe交换机电路实体之间共享单个管理处理器。在该示例中，链路180可以使用端口联接，该端口包括微型串行连接SCSI(SAS) HD连接器、四通道小型可插拔(Quad Small Form Factor Pluggable， QSFFP)插孔、QSFP/QSFP+插孔、或zSFP+互连件，但其他端口/插孔也是可能的。

在图2中，在视图200中示出了交换机组件110。图2中显示了与图1 中类似的元件。在图2中可以包括其他电气部件，但是为了清楚起见被省略了。视图200示出了俯视/前部等距视图，其中盖被移除以暴露外壳115 内的风扇组件130的维修孔以及暴露其他内部部件。图2还示出了闩锁 118，其可以将相关联的交换机组件110保持在壳体或机架式系统中。如上所述，闩锁118可以联接到手柄114和闩锁机构。

风扇组件130可包括多个风扇单元，这些风扇单元可移除以进行维修、清洁和更换。可以包括盖闩锁以保持盖111闭合，直到操作者打开盖111。可以采用弹簧加载或摩擦配合闩锁，以及其他闩锁类型，包括磁性紧固件。

在图2中，风扇组件130包括用于使外壳115内的空气流动的旋转风扇元件。这些旋转风扇元件可包括一个或多个连接到中心轴或中心轴杆的翅片，所述中心轴或中心轴杆响应于电动机或电驱动器而旋转。风扇组件 130可各自包括任何风扇类型，例如轴流式、离心式和交叉流动式、或其他风扇类型，其包括相关联的管道、百叶窗、翅片或其他定向元件。风扇组件130的控制可以包括比例控制特征，例如用于声学噪声最小化的比例 -积分-微分(PID)控制。

通过交换机组件110的控制电路监测风扇盖111的移除。一旦检测到移除，例如经由感测交换机或其他感测电路检测到移除，控制电路可以触发交换机组件110的一个或多个维修事件。例如，如果在盖111打开后风扇组件130从主组件被移除，则控制电路可以：(1)启动计时器，(2)增大交换机组件110内的温度传感器的温度轮询频率，(3)响应于时间或温度阈值-警告用户交换机组件110即将断电，以及(4)出于安全将交换机组件110断电以保护内部部件免受热损坏。

电源组件160包括输入功率端口161和安装特征163，该安装特征将电源组件160保持在外壳115中。电源组件160可通过松开安装特征163 而从外壳115移除。两个电源162包括在冗余或并联配置中以向组件110 的内部部件提供功率。每个输入功率端口可以向相关联的其中一个电源 162提供输入功率。

电路板155用于承载组件110的一个或多个电路元件。电路板155包括各种电路、连接器、材料、互连件、涂层、标记、紧固件特征和其他元件的组件。通常，电路板155包括单独的印刷电路板作为基座，该基座上安装有各种部件并且在其中形成电子或光学互连件。电路板155可以固定在底架115上，以获得结构支撑和振动弹性。电路板155包括各种外部连接器，例如PCIe端口和以太网端口。

电路板155被配置为在组件110的部件之间传送功率和信号。信令包括PCIe信令、边带信令、控制信令、离散信令、数字信令或模拟信令、以及其他信令。通常，输入功率从一电源经由输入功率端口161提供给电源162。包括电源162的功率控制电路，该功率控制电路经由与电路板155 相关联的信令过滤、调节、转换和分配输入功率到电路板155的各个部件。通过电源或在电路板155上可以使用并转换各种电压。电路板155可以包括另外的电源控制电路。

在图2中，包括控制处理器151以及在散热器153下面包括的一个或多个PCIe交换机电路。可以包括可选的数据存储设备152以支持控制处理器151的操作。控制处理器151可以包括模块化CPU组件，该模块化 CPU组件经由一个或多个连接器联接到电路板155。此外，除了控制处理器151之外，电路板155还可以包括各种微控制器(μC)，现场可编程门阵列(FPGA)或其他处理和逻辑电路。

图2还包括夹层电路板210。夹层电路板210经由一个或多个连接器联接到电路板155。夹层电路板210包括用于交换机组件110的另外的外部端口，即端口211和212。端口211包括支持图1中的链路180进行交换机组件之间的故障转移的冗余交叉链路端口。端口212包括控制平面互连件，例如万兆以太网端口(10GbE)。端口212可以包括小型可插拔加 (SFP+)端口或千兆位接口转换器(GBIC)端口、10GbE等。夹层板210 可以切换以支持各种端口配置，例如支持SFP+端口的第一夹层配置和支持GBIC端口的第二夹层配置等。控制平面将交换机组件110的处理元件联接到其他控制处理器和PCIe结构管理处理器。夹层端口下方是管理端口 122。管理端口122包括被交换机组件110的其他部分防火墙保护的本地以太网端口，并且可以通过以太网电缆联接到系统管理员设备或工具，用于收件箱管理功能和监测。

在图3中，视图300中示出了交换机组件110。图3中显示了与图1- 图2中类似的元件。详细视图301示出了俯视/前部等距视图，其中盖111 向上平铺以为外壳115内的风扇组件130暴露维修孔。风扇组件130可以包括多个风扇单元，这些风扇单元可以移除以便维修、清洁和更换。可以包括盖闩锁117以保持盖111闭合，直到操作者打开盖111。可以采用弹簧加载的闩锁或摩擦配合的闩锁，以及其他闩锁类型。

在图4中，视图400中示出了交换机组件110。图4中显示了与图1- 图3中类似的元件。视图400示出了从外壳115移除电源组件160的顶部/ 后部等距视图。可以执行移除以进行维护、更换或升级。

在图5中，视图500中示出了交换机组件110。图5中显示了与图1- 图4中类似的元件。视图500示出了两个交换机组件的俯视/前部等距视图，这两个交换机组件经由相关联的闩锁118并排安装并且安装在包括前垂直构件170和后垂直构件171的机架式系统中。水平轨道172被配置为支撑机架式组件内的两个交换机组件。在进一步的示例中，四个交换机组件110 可以设置在1U机架式空间的单个“层”中。如图5所示，可以提供两个前交换机组件，另外两个交换机组件面向后方。

图6示出了组件110的内部电路部件的示例性实施方式。图6是示出了作为包括交换机设备110的电气和软件元件的电路和元件的示例的结构交换机组件620的框图。应当理解，组件620的元件可以组合到单个模块上，或者包括在独立的模块中。

结构交换机组件620包括一个或多个PCIe交换机621、一个或多个具有相关联的可选的保持电路623的功率控制模块622、控制处理系统624、网络交换机625、数据存储器626和通风扇640。结构交换机组件620提供包括PCIe链路602-604的高速外设部件互连(PCIe)结构的至少一部分。 PCIe链路602为计算/存储集群的设备提供外部互连件，以便互连各种计算/存储机架式模块。PCIe链路603-604为控制处理系统624提供内部PCIe 通信链路以及互连一个或多个PCIe交换机621。结构交换机组件620还经由网络交换机625提供一个或多个以太网网络链路607。各种边带或辅助链路628也可以用在结构交换机组件620中，例如系统管理总线(SMBus) 链路、联合测试行动组(JTAG)链路、集成电路总线(Inter-IntegratedCircuit， I2C，内置集成电路)链路、串行***接口(SPI)、控制器局域网(CAN) 接口、通用异步接收器/发送器(UART)接口、通用串行总线(USB)接口或任何其他通信接口。可以包括另外的通信链路，为清楚起见未在图6 中示出。

PCIe链路602-604中的每一个可以包括PCIe信令的各种宽度或通道。 PCIe可以支持多倍总线宽度，例如x1、x4、x8和x16等，其中每个倍数的总线宽度包括用于数据传输的附加“通道”。PCIe还支持边带信令的传输，例如SMBus和JTAG、以及相关联的时钟、功率和自举等其他信令。例如，链路602-604中的每一个可以包括具有四个通道“x4”PCIe链路的 PCIe链路、具有八个通道“x8”PCIe链路的PCIe链路、或具有16个通道“x16”PCIe链路的PCIe链路、以及其他通道宽度的链路。

在结构交换机组件620中可以包括一个或多个冗余和热插拔功率控制模块622，例如图2和图4所示，用于电源162和电源模块160。这些功率控制模块可以是冗余的以在功率控制模块之一发生故障期间，为结构交换机组件620的元件供电。功率控制模块622通过链路630接收源输入功率，并转换/调节输入功率以供结构交换机组件620的元件使用。功率控制模块622通过相关联的功率链路631将功率分配给结构交换机组件620的每个元件。功率控制模块622可以选择性地启用/禁用组件620中的每个元件的功率。功率控制模块622包括选择性地和单独地向结构交换机组件620 的任何元件供电的电路。功率控制模块622可以经由相关联的PCIe链路或边带链路(为清楚起见未在图6中示出)从控制处理系统624接收控制指令。在一些示例中，功率控制模块622的操作由讨论的用于控制处理系统624的处理元件提供。

功率控制模块622可以包括各种电源电子器件，例如功率调节器、升压转换器、降压转换器、降压-升压转换器、功率因子校正电路以及其他功率电子器件。各种磁性电子部件、固态电子部件和其他电子部件通常根据特定应用的最大功率消耗来确定尺寸，并且这些部件固定到相关联的电路板上。

可选地，可以采用保持电路。当采用保持电路时，保持电路623包括能量存储装置，用于存储通过功率链路630接收的功率，以在功率中断事件期间使用，所述功率中断事件例如输入功率损失。保持电路623可以包括电容存储装置，例如电容器阵列以及其他能量存储装置。过剩或剩余的保持功率可以保留以供将来使用、分流到虚拟负载中、或通过PCIe功率链路或其他功率链路重新分配给其他设备。

通风扇640各自包括用于使相关联的外壳内的空气移动的旋转风扇元件或鼓风机元件。这些旋转风扇元件可包括联接到中心轴或中心轴杆的一个或多个翅片，该中心轴或中心轴杆响应于电动机或电驱动器而旋转。通风扇640可各自包括任何风扇类型，例如轴流式、离心式和交叉流动式、或其他风扇或鼓风机类型，其包括相关联的通风管道、百叶窗、翅片或其他空气定向元件。在结构交换机组件620中可以采用热传感器或热测量电路来监测结构交换机组件620的元件的热状态。在图6中，各个离散的温度传感器可以分布在整个结构交换机组件620中，以测量与风扇640、外壳的结构材料、外壳外部的环境温度、外壳内部的温度、或者结构交换机组件620的部件所相关的温度或其他热信息。

网络交换机625可以包括一个或多个以太网交换机以提供以太网链路 607，其包括收发器、变压器、隔离电路、缓冲器等。以太网链路607可以包括千兆以太网(1GbE)、万兆以太网(10GbE)、40千兆以太网(40GbE) 或100千兆以太网(100GbE)、以及其他速度和格式的网络链路。网络交换机625可以承载以太网通信、以及任何相关联的因特网协议(IP)和传输控制协议(TCP)通信、以及其他网络通信格式和协议的通信。

控制处理系统624包括一个或多个微处理器或微控制器以及任何相关联的存储器626。在一些示例中，控制处理系统624可以是控制处理器151 的多个部分的实现方式。控制处理系统624通过PCIe链路604和以太网链路607以及可选的边带通信628(如上所述的包括USB链路、I2C链路或串行链路等)进行通信。

控制处理系统624可以累积PCIe结构交换机组件的统计数据和使用信息。外部系统可以通过以太网链路607经由网络交换机625或经由集群互连件602来检索该统计数据或使用信息。结构交换机组件620还提供控制平面的扩展，以用于通过以太网链路607进行集群控制平面互连。

控制处理系统624可以在单个处理设备内实现，但也可以分布在执行程序指令时协作的多个处理设备或子系统上。控制处理系统624的示例包括通用中央处理单元、微处理器、专用处理器和逻辑设备、以及任何其他类型的处理设备。控制处理系统624可以包括一个或多个非暂时性存储器设备626，例如RAM、固态存储设备(SSD)或其他存储器，以存储可由控制处理系统624执行以如本文所讨论的那样操作的指令。控制处理系统 624可以通过链路604和607监测结构交换机组件620的使用统计信息、通信状态或其他使用信息。控制处理系统624可以在结构交换机组件620 内的正常操作和数据传输期间跟踪该使用信息。在一些示例中，存储器设备626包括一个或多个M.2型固态驱动器(SSD)存储器设备。

存储器设备626的元件可以共同包括非暂时性数据存储系统，但是变化是可能的。存储器设备626可以包括控制处理系统624可读并且能够存储软件的任何存储介质。存储器设备626可以包括用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的以任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器设备626可以包括非易失性存储介质，例如固态存储介质、闪存、相变存储器或磁存储器、包括其组合。存储器设备626可以实现为单个存储设备，但也可以在多个存储设备或子系统上实现。存储器设备626可以包括能够与控制处理系统 624通信的附加元件，例如控制器。

存储在存储器设备626上或存储器设备626中的软件可以包括计算机程序指令、固件或一些其他形式的机器可读处理指令，其具有在执行时处理系统直接控制处理系统624如本文所述进行操作的进程。例如，软件驱动控制处理系统624以控制PCIe交换机的故障转移过程和电源模块、监测存储设备的操作统计信息和状态、监测电源状态、和指示电源电路622 控制可选的保持功率或操作功率的流动，以及其他操作。该软件还可以包括用户软件应用程序。该软件可以作为单个应用程序或多个应用程序实现。通常，软件在被加载到处理系统中并被执行时，可以将处理系统从通用设备转换成如本文所述被定制的专用设备。

软件模块650-653每个包括可执行指令，其可由控制处理系统624或功率控制模块622执行，用于根据本文所讨论的过程操作结构交换机组件620的元件。具体地，故障转移管理器650监测至少PCIe交换机621的操作状态，以确定一个或多个PCIe交换机或相关联链路何时经历错误、故障或其他问题。故障转移管理器650可以控制由第一PCIe交换机处理的通信到第二PCIe交换机的故障转移，例如控制通信分区、逻辑分区、非透明端口配置、逻辑域配置或PCIe交换机之间的其他配置和分区。当采用冗余PCIe交换机时，故障转移管理器650可以配置备用PCIe交换机以处理其他非功能性主PCIe交换机的通信，并确保可以在PCIe结构和集群互连件上维持通信处理。

故障转移管理器650通过为相关联的PCIe交换机循环供电来重启各个PCIe交换机。在其他示例中，可以向PCIe交换机发出重置命令。在另一些其他示例中，向受影响的PCIe交换机发出PCIe命令，其命令那些特定PCIe交换机的重置。故障转移管理器650可以读取配置信息并将配置信息存储在SSD626中，该配置信息包括用于受影响的PCIe交换机的配置状态或PCIe路由信息，并且一旦该PCIe交换机被重置就使用所存储的状态或PCIe路由信息重新配置PCIe交换机。配置状态或PCIe路由信息可以包括PCIe交换机的标识、PCIe交换机的地址、PCIe交换机的逻辑分区或非透明端口配置、以及其他状态、配置和信息。

在重启过程期间，可以使用冗余或备用PCIe交换机将经由受影响的 PCIe交换机通信地联接的任何系统隔离于重启过程，以使得系统不知道故障、问题或相关联的重启。如果重置过程无法解决特定PCIe交换机的问题，则可以使该PCIe交换机断电。在受影响的PCIe交换机的重置/循环供电过程中和当任何特定的PCIe交换机出现故障时，剩余的PCIe交换机可以继续通过相关联的PCIe接口进行操作。因此，通过在单独的PCIe交换机故障期间继续操作PCIe结构可以实现增强的操作，并且通过使用上述过程可以在无需外部/主机系统参与或中断的情况下，由故障转移管理器 650解决那些单独的PCIe交换机故障。

统计监测器651监测结构交换机组件620的元件的使用状态或使用统计信息。使用统计信息包括链路的数据传输速率、链路的错误率、链路错误的累积数量、以及其他统计信息。使用统计信息可以由控制处理系统624 收集并存储在数据结构中，例如数据库或表格，并存储在存储器设备626 或其他存储元件中。

功率控制器652监测操作过程期间的功率统计信息、功率状态统计信息、功率活动状态、电压电平、相位测量、电流消耗、保持电路状态或电平、功率模块***状态、热水平以及其他统计信息。响应于统计监测器651 以及诸如由功率控制模块622监测的离散信号之类的其他信号，功率控制器652指示功率电路对相关联的存储设备或模块加电或断电。响应于相关联的PCIe交换机、网络交换机的操作状态；通过PCIe、以太网或边带接口中的任一者接收的命令；或其他因素，功率控制器652可以对结构交换机组件620的元件加电或断电。

热控制器653控制风扇640的操作。热控制器653可以根据结构交换机组件620的操作状态、热状态、温度阈值或统计信息来调节风扇640的风扇速度和风扇操作。在结构交换机组件620的操作期间，各种温度传感器可以监测结构交换机组件620的外壳温度。可以调节由一个或多个风扇 640提供的气流以改变外壳的气流状态。例如，可以监测当前风扇速度以及外壳内的当前温度，并且可以调节风扇640以通过改变风扇640的旋转速度来调节气流速率。在使用百叶窗式或翅片式气流孔的示例中，可调节百叶窗或翅片以改变气流。热控制器653可以调节风扇速度，并且可以从风扇640或从其他传感器接收反馈以指示当前风扇速度和相关联的温度。

软件模块650-653可以在由控制处理系统624执行和操作期间驻留在存储器设备626的RAM部分中，并且可以在断电状态驻留在存储器设备 626的非易失性存储空间中，以及在其他状态期间位于其他位置。在针对计算机操作系统和应用所描述的启动或引导过程期间，软件模块650-653 可以加载到RAM中。存储器设备626的非易失性存储部分可以包括一个或多个存储系统，其包括闪存(诸如NAND闪存或NOR闪存)、相变存储器、磁存储器、以及其他固态存储技术。

控制处理系统624通常旨在表示计算系统，其中至少部署和执行软件模块650-653以便呈现或以其他方式实现本文描述的操作。然而，控制处理系统624还可以表示任何如下的计算系统：在该计算系统上至少这些软件模块650-653可以被分级，并且软件模块650-653可以从该计算系统被分发、被传输、被下载或以其他方式被提供给又一个计算系统以用于部署和执行、或者另外的分发。应当理解，软件模块650-653中的一个或多个可以由控制处理系统624或功率控制模块622的处理元件中的任何一个来存储、部署、执行和操作。

每个PCIe交换机621包括一个或多个PCIe交叉点交换机，交叉点交换机至少基于由相关联的PCIe链路承载的通信在逻辑上互连相关联的 PCIe链路中的各个链路。每个PCIe交换机621在由每个PCIe交换机621 处理的任何PCIe接口之间建立交换连接。在一些示例中，每个PCIe交换机621包括PLX/Broadcom/Avago PEX8796 24端口、96通道PCIe交换机芯片、PEX8725 10端口、24通道PCIe交换机芯片、PEX97xx芯片、PEX9797 芯片或其他PEX87xx/PEX97xx芯片。在一些示例中，经由一个或多个PCIe 交换机621建立冗余，例如在PCIe交换机中具有主要和辅助/备用PCIe交换机。从主要PCIe交换机到辅助/备用PCIe交换机的故障转移可以由至少控制处理系统624处理。在一些示例中，可以使用链接到不同PCIe交换机的冗余PCIe链路在不同的PCIe交换机中提供主要和辅助功能。在其他示例中，可以使用链接到同一PCIe交换机的冗余链路在同一PCIe交换机中提供主要功能和辅助功能。

PCIe交换机621每个包括集群互连接口602，所述集群互连接口602 用于互连在另外的外壳中的另外的计算和存储系统的模块。集群互连件通过相关联的外部连接器和外部布线在外部系统(如计算和存储系统)之间提供PCIe互连。这些连接可以是由任何所包括的PCIe交换机以及未示出的其他PCIe交换机提供的PCIe链路，用于经由PCIe链路将存储系统的其他模块进行互连。用于集群互连的PCIe链路可以终止于外部连接器或插孔，例如微型串行连接SCSI(SAS)连接器HD、四通道小型可插拔 (QSFFP)、QSFP/QSFP+、或zSFP+互连件，它们用于承载通过相关联的布线(例如微型SAS或QSFFP布线)的PCIe信令。在进一步的示例中，采用驱动12Gb/s的MiniSAS HD电缆，相比较，标准SAS电缆驱动6Gb/s。 12Gb/s至少可以支持PCIe第3代。

PCIe链路602-604还可以承载由主机处理器或主机系统发出的NVMe (非易失性存储器主机控制器接口规范，NVM Express)通信。NVMe(NVM Express)是大容量存储设备(例如硬盘驱动器和固态存储设备)的接口标准。NVMe可以取代串行ATA(SATA)接口，以与个人计算机和服务器环境中的大容量存储设备连接。但是，这些NVMe接口限于一对一的主机驱动器关系，类似于SATA设备。在本文讨论的示例中，可以采用PCIe 接口来传输NVMe通信并且将包括许多存储驱动器的多驱动系统在PCIe 接口上呈现为一个或多个NVMe虚拟逻辑单元号(VLUN)。

图7示出了交换机组件110的内部电气部件的示例性实施方式。图7 是示出交换机组件700的框图。交换机组件700包括壳体或外壳710以及主印刷电路板(PCB)711。各种子模块也被包括在内并经由一个或多个单独的连接器633-636联接到电路板711。这些子模块包括夹层电路板720、计算模块(CPU)721和两个垂直堆叠的M.2SSD 722。包括可移除电源模块162以及风扇组件/模块130。电源模块162经由外部连接器630接收输入功率并且经由内部连接器631提供转换后的内部功率。风扇模块130经由连接器632联接到电路板711，该连接器632提供功率和控制信令。

夹层电路板720可以包括上面所讨论的针对图2中的夹层电路板210 的元件。夹层电路板720包括用于交换机组件700的另外的外部端口，即端口607和680。端口680包括支持图1中的链路180进行交换机组件之间的故障转移的冗余交叉链路端口。端口607包括控制平面互连件，例如万兆以太网端口(10GbE)。端口607可以包括小型可插拔加(SFP+)或千兆位接口转换器(GBIC)端口、10GbE等。夹层板720可以切换以支持各种端口配置，例如支持SFP+端口的第一夹层配置和支持GBIC端口的第二夹层配置等。控制平面将交换机组件700的处理元件联接到其他控制处理器和PCIe结构管理处理器。夹层端口下方是管理端口640、通用串行总线(USB)C型连接器628和PCIe端口602。

图8A和图8B示出了交换机组件110的内部电气部件的示例性实施方式。图8A是示出了交换机组件配置800的框图。图8B是示出了交换机组件配置801的框图。

在配置800中，使用处理系统624以冗余配置呈现两个交换机组件 620A-620B，该处理系统624可以包括CPU或其他微处理器。x1 PCIe接口联接在每个处理系统624和PCIe交换机621之间，用于PCIe通信监听、交换机管理和交换机/通信流控制。包括两个x4 PCIe冗余链路作为PCIe 交叉链路880。如果其中一个交换机组件的处理系统624发生故障，则另一个交换机组件的处理系统可以充当故障转移处理器以控制故障的交换机组件中的至少PCIe交换机621的操作。

在配置801中，使用FPGA824以冗余配置呈现两个交换机组件620A-620B，该FPGA824可包括具有嵌入式微处理器或微控制器的可编程逻辑或离散逻辑。x1 PCIe接口联接在每个FPGA 824和PCIe交换机621 之间，用于PCIe通信监听、交换机管理和交换机/通信流控制。包括一个作为PCIe交叉链路881的x4 PCIe冗余链路，该x4 PCIe冗余链路直接联接FPGA 824而不是如图8A所示的交叉配置。如果其中一个交换机组件的 FPGA 824发生故障，则另一个交换机组件的FPGA 824可以充当故障转移处理器，以控制故障交换机组件中的至少PCIe交换机621的操作。

在图9中，在视图900中示出了两个堆叠的交换机组件110。图9中示出了与图1-图2中类似的元件。提供图9以强调进入每个交换机组件的气流。在一些示例中，上部/顶部交换机组件被省略或者包括另一上部模块，该另一上部模块不包括交换机组件110。当被下部交换机组件110上方的模块堆叠或以其他方式阻塞时，仍然为位于风扇盖111下方的内部风扇组件元件提供气流930。这部分地由成角度的前面通风特征116提供。

在图9中还可以看到用户显示器910。用户显示器910可以可选地附接到每个交换机组件110的正面，并向用户提供各种视觉或图形信息，例如经由警报、声音、图形用户界面或其他接口提供各种视觉或图形信息。用户显示器910可以使用各种紧固件、闩锁或其他机构来附接。在一些示例中，用户显示器910经由磁性紧固件联接并且允许容易地从交换机组件 110移除用户显示器910以供用户检查、用户操作、或快速/容易地移除/ 替换。

在又进一步的示例中，用户显示器910包括可以显示任何数量的图形用户界面元素的有机发光二极管(OLED)阵列或显示屏。显示器可以包括位于交换机组件110的正面上的端口附近的指示器，指示器可以显示状态、通信指示、警报、错误或其他信息。此外，还可以显示整个组件的状态、通信指示、警报、错误或其他信息。可以采用各种图形图标或符号来向用户显示信息。而且，可以包括近场(例如NFC)或个人区域网络(例如蓝牙)收发器以允许用户利用便携式用户设备发送/接收管理信息或者配置显示器本身。此外，当用户显示器110可移除以供用户手持使用时，可以建立无线链接，无线链接将用户显示器110联接到交换机组件110的管理状态或信息。

所包括的描述和附图描绘了具体实施方式，以教导本领域技术人员如何制作和使用最佳模式。出于教导发明原理的目的，已经简化或省略了一些常规方面。本领域技术人员将理解落入本发明范围内的这些实施方案的变型。本领域技术人员还将理解，上述特征可以以各种方式组合以形成多个实施方案。因此，本发明不限于上述具体实施方案，而是仅由权利要求及其等同物限制。