具体实施方式

将参考下面讨论的细节来描述本发明的各种实施方式和各方面，并且附图将示出各种实施方式。下面的描述和附图是对本发明的说明，并不构成对本发明的限制。描述了许多具体细节以提供对本发明的各种实施方式的透彻理解。然而，在某些情况下，为了提供本发明的实施方式的简洁讨论，没有描述公知的或常规的细节。

在说明书中提及“一个实施方式”或“实施方式”意味着结合该实施方式描述的特定特征、结构或特性可包括于本发明的至少一个实施方式中。在说明书的各处出现的短语“在一个实施方式中”不一定都指同一实施方式。

根据一些实施方式，提供了一种用于具有多个高密度机架的数据中心的、具有创新冷却单元的冷却系统。冷却系统可用于IT部件的电子机架的下一代冷却架构中，如前所述，该IT部件的电子机架通过空气冷却和液体冷却进行混合冷却。冷却系统还通过提供不同的液体/流体冷却和空气冷却配置来满足机架或IT设备的动态配置的要求。本发明的实施方式提供了在现代数据中心行业中非常需要的弹性解决方案，并且是一种重要的趋势。另外，本发明的实施方式解决了传统冷却系统中存在的问题，诸如具有混合(液体-空气)冷却技术的动态机架配置、功率密度和IT设备的动态变化、灵活性、弹性和其它要求、由于性能考虑而导致的操作条件的动态变化。本发明的实施方式还能够为液体冷却回路提供大的温度范围，因为对于某些电子部件(例如，CPU、ASIC或GPU)，更好的能量充分性或性能增强可能需要较低的温度，同时以较低的总拥有成本(TCO)维持整个冷却系统。另外，本发明的实施方式为不同类型的场景提供了强有力的住所，例如从部件级到全系统级。

在一些实施方式中，这里公开的冷却系统用于数据中心IT设备。IT部件的电子机架使用冷却水和冷却空气二者进行混合冷却。冷却系统通过使用一个或多个冷却分配单元向液体冷却装置和空气冷却装置提供冷却流体。在用于液体/流体冷却回路的系统中还使用增强冷却回路。它用于在需要时为液体冷却部件提供增强的热环境。该方法可理解为设计和操作系统，以提供通常用于大多数类型的IT设备或集群的大多数所需的增强条件。这是为了提高系统设计的灵活性和弹性。增强冷却单元连接至制冷循环回路或类似的回路，制冷循环回路或类似的回路在一定的时间段内提供类似功能。在一个实施方式中，增强冷却单元也可嵌入到冷却分配单元中。本文还公开了一种系统级结构，其包括在IT和冷却单元之间使用的次分配部分和主回路部分以及增强冷却部分。

根据一方面，描述了一种用于数据中心的电子机架的冷却系统。该系统包括通过流体冷却回路联接至电子机架的机架歧管的冷却剂分配单元(CDU)。CDU供应分配至机架歧管的冷却流体，并从机架歧管接收返回的温/热流体。该系统还包括增强冷却单元，以接收冷却流体的第一分配部分的第一部分，并进一步将冷却流体的第一分配部分的第一部分冷却到比通过制冷回路供应的冷却流体的温度低的温度。该系统还包括第一外部冷却单元，该第一外部冷却单元通过冷却流体回路连接至CDU，以将冷却流体供应至CDU。该系统还包括空气冷却单元，以接收冷却流体的第二分配部分，并使用冷却流体的第二分配部分来冷却用于电子机架的热排气。

在一个实施方式中，该系统包括第一三通阀和第二三通阀，第一三通阀用于接收供应的冷却流体，并将供应的冷却流体分配至第一分配部分和第二分配部分中，第二三通阀用于接收冷却流体的第一分配部分，并将冷却流体的第一分配部分的第一部分输送至增强冷却单元，并将冷却流体的第一分配部分的第二部分输送至流体分配回路上的机架歧管。增强冷却单元可将冷却流体的第一分配部分的进一步冷却的第一部分供应至流体冷却回路。该系统还包括通过制冷回路连接至增强冷却单元的冷凝单元。增强冷却单元以及第一三通阀和第二三通阀包括于CDU中。CDU还可包括在返回的温/热流体和供应的冷却流体之间传递热量的热交换器、以及将供应的冷却流体输送至第一三通阀中的液体泵。CDU还包括联接至增强冷却单元、第二三通阀、热交换器和增强冷却单元的多个入口和出口。

根据另一方面，描述了一种用于数据中心的电子机架的冷却系统。该系统包括联接至电子机架的机架歧管的多个冷却剂分配单元(CDU)。CDU包括第一CDU，以供应分配至机架歧管的第一冷却流体，并从机架歧管接收返回的温/热流体。第一CDU包括增强冷却单元，以接收第一冷却流体的第一分配部分的第一部分，并通过制冷回路进一步冷却第一冷却流体的第一分配部分的第一部分。CDU还包括第二CDU，用于供应通过流体冷却分配回路分配至机架歧管的第二冷却流体，并从机架歧管接收返回的温/热流体。第二CDU包括增强冷却单元，以接收第二冷却流体的第一分配部分的第一部分，并通过冷流体分配回路进一步冷却第二冷却流体的第一分配部分的第一部分。该系统还包括空气冷却单元，以接收第一冷却流体的第二分配部分和第二冷却流体的第二分配部分，并使用第一冷却流体的第二分配部分和第二冷却流体的第二分配部分来冷却电子机架。在一个实施方式中，可存在多个空气冷却单元接收来自多个CDU的冷却流体的多个第二分配部分的冷却流体源。

在一个实施方式中，该系统还包括通过冷却流体回路连接至第一CDU以将第一冷却流体供应至第一CDU的第一外部冷却单元。第一外部冷却单元还可通过冷却流体分配回路连接至第二CDU，以将第二冷却流体供应至第二CDU。该系统还可包括通过制冷回路连接至第一CDU的增强冷却单元的第二外部冷却单元。第二外部冷却单元还可通过却流体分配回路连接至第二CDU的增强冷却单元。

在一个实施方式中，第一CDU还包括第一三通阀，以接收所供应的第一冷却流体，并将所供应的第一冷却流体分配至第一冷却流体的第一分配部分和第二分配部分中。第一CDU还可包括第二三通阀，以接收第一冷却流体的第一分配部分，并通过流体冷却分配回路将第一冷却流体的第一分配部分的第一部分输送至第一CDU的增强冷却单元，并将第一冷却流体的第一分配部分的第二部分输送至机架歧管。

在一个实施方式中，第二CDU还包括第一三通阀，以接收所供应的第二冷却流体，并将所供应的第二冷却流体分配至第二冷却流体的第一分配部分和第二分配部分中。第二CDU还可包括第二三通阀，以接收第二冷却流体的第一分配部分，并将第二冷却流体的第一分配部分的第一部分输送至第二CDU的增强冷却单元，并将第二冷却流体的第一分配部分的第二部分输送至流体冷却分配回路上的机架歧管。

根据又一方面，描述了一种数据中心系统。该系统包括可独立部署的部分，该可独立部署的部分包括机架部分，该机架部分具有：(i)容纳多个服务器底架的电子机架，每个服务器底架均对应于一个或多个服务器，其中该电子机架包括机架歧管，用于接收冷却流体和从该电子机架返回温/热流体，以及(ii)空气冷却单元，用于冷却用于电子机架的气流。该系统还包括第二分配部分，该第二分配部分包括：(i)流体冷却分配回路，用于将冷却流体输送至电子机架；(ii)系统返回分配回路，用于从电子机架和空气冷却单元输送返回的温/热流体；以及(iii)空气冷却分配回路，用于将冷却流体的分配部分输送至空气冷却单元。该系统还包括增强冷却部分，所述增强冷却部分包括：(i)第一冷却剂分配单元(CDU)，所述第一冷却剂分配单元(CDU)用于将所述冷却流体的第一部分供应至机架歧管，从机架歧管接收温/热流体的第一部分，以及通过空气冷却分配回路将冷却流体的另一分配部分供应至空气冷却单元，并通过系统返回分配回路接收温/热流体；以及(ii)第二CDU，通过流体冷却分配回路将冷却流体的第二部分供应至机架歧管，以通过系统返回分配回路接收温/热流体的第二部分，以及通过空气冷却分配回路将冷却流体的分配部分供应至空气冷却单元，并通过系统返回分配回路接收温/热流体。

图1是示出根据一个实施方式的数据中心或数据中心单元的示例的框图。在该示例中，图1示出了数据中心的至少部分的俯视图。参照图1，根据一个实施方式，数据中心系统100包括一行或多行IT组件、设备或工具101-102的电子机架(IT)，诸如通过网络(例如，因特网)向各种客户机提供数据服务的计算机服务器或计算节点。在该实施方式中，每行均包括诸如电子机架110A-110N的电子机架阵列。然而，可实现更多或更少的电子机架行。通常，行101-102平行排列，其前端彼此面对，以及后端彼此背对，从而在行之间形成通道103，以允许管理人员在其中行走。然而，也可应用其它配置或布置。例如，两行电子机架可背对背地彼此面对，而不在它们之间形成过道，同时它们的前端彼此背对背。电子机架的后端可联接至房间冷却液体歧管。本公开中提出的当前方法可在不同的配置上实现，包括这里未讨论的配置。

在一个实施方式中，电子机架(例如，电子机架110A-110N)中的每个都包括外壳，以容纳在其中操作的设置成堆叠部的多个IT组件。电子机架可包括冷却液体歧管、多个服务器槽(例如，配置有相同或类似形状因子的标准架或底架)、以及能够插入到槽中和从槽中取出的多个服务器底架(也称为刀片服务器或服务器架)。每个服务器底架均表示具有一个或多个处理器、存储器和/或永久存储设备(例如，硬盘)的计算节点，其中计算节点中可包括在其中操作的一个或多个服务器。处理器中的至少一个附接至液体冷板(也称为冷板部件)以接收冷却液体。另外，一个或多个可选的冷却风扇与服务器底架相关联，以向其中容纳的计算节点提供空气冷却。注意，冷却系统120可联接至多个数据中心系统，诸如数据中心系统100。可存在多个联接至数据中心或集群的多个冷却系统。

在一个实施方式中，冷却系统120包括连接至建筑物/容纳容器外部的冷却塔或干燥冷却器的外部液体回路。冷却系统120可包括但不限于蒸发冷却、自由空气、对大热质量的拒绝、以及废热回收设计的冷却器系统。冷却系统120可包括或联接至提供冷却液体的冷却液体源。

在一个实施方式中，每个服务器底架均模块化地联接至冷却液体歧管，使得可从电子机架中移除服务器底架，而不影响电子机架和冷却液体歧管上的剩余服务器底架的操作。在另一实施方式中，每个服务器底架均通过快速释放联接部件联接至冷却液体歧管，该快速释放联接部件具有联接到柔性软管以将冷却液体分配至处理器的服务器液体出口连接器和服务器液体入口连接器。服务器液体入口连接器将通过机架液体入口连接器从安装在电子机架后端上的排热液体歧管接收排热液体。服务器液体出口连接器用于将携带从处理器经机架液体出口连接器交换到冷却液体歧管的更温或更热的液体发射回电子机架内的冷却剂分配单元(CDU)。

在一个实施方式中，冷却液体歧管设置在每个电子机架的后端上，并联接至液体供应线路132(也称为房间供应歧管)，以从冷却系统120接收冷却液体。冷却液体通过液体分配回路分配，该液体分配回路附接至冷板部件，在该冷板部件上安装有处理器，以从处理器去冷却量。冷板配置成类似于具有连接或嵌入其中的液体分配管的散热器。所得到的携带有从处理器交换的热量的较温或较热的液体经由液体返回线路131(也称为房间返回歧管)传回冷却系统120。

液体供应/返回线路131-132被称为数据中心或房间液体供应/返回线路(例如，整体液体供应/返回线路)，液体供应/返回线路131-132向行101-102的所有电子机架供应冷却液体。液体供应线路132和液体返回线路131联接至位于电子机架中的每个内的CDU的热交换器，从而形成主回路。热交换器的第二回路联接至电子机架中的服务器底架中的每个，以将冷却液输送至处理器的冷板。

在一个实施方式中，数据中心系统100还包括可选的气流输送系统135，以产生气流，从而使气流通过电子机架的服务器底架的空气空间，以交换由于计算节点(例如服务器)的操作而由计算节点产生的热量，并将经气流交换的热量排放到外壳/房间/建筑物外部的外部环境或冷却系统(例如，气-液热交换器)以降低气流温度。例如，空气供应系统135产生凉/冷空气流，以从通道103通过电子机架110A-110N循环，从而带走交换的热量。

冷气流通过电子机架的前端进入电子机架，以及温/热气流从电子机架的后端离开电子机架。带有交换的热量的温/热空气从房间/建筑物排出或使用诸如液-气热交换器的独立冷却系统进行冷却。因而，冷却系统是混合液体-空气冷却系统，其中由处理器产生的热量的部分通过例如相应的冷板由冷却液体去除，而由处理器(或其它电子设备或处理装置)产生的其余部分热量通过气流冷却去除。

图2是示出根据一个实施方式的冷却系统的示例的示意图。参照图2，电子机架201联接至冷却系统200，以从冷却系统200接收冷却液/流体。电子机架201代表如图1所示的任何电子机架，例如，电子机架110A-110N。如图所示，电子机架201可包括服务器底架211和机架(或冷却液体)歧管213。服务器底架211可包括液体冷板212(也称为冷板组件)，其联接至歧管213，以接收来自歧管213的冷却流体，并将温/热流体返回歧管213。使用从歧管213接收的冷却流体，冷板212(其上安装有服务器底架211的IT部件)可去除由IT部件产生的热量。

继续参考图2，冷却系统200可包括但不限于增强冷却单元221、冷凝单元(或冷凝器、或外部冷却单元)222、CDU 223、空气冷却单元224和外部冷却单元225。CDU 223通过经由三通阀242-243将流体供应至机架歧管213而将冷却流体供应至机架201，其中机架歧管213将流体输送至冷板212。CDU 223还可将冷却流体供应至空气冷却单元224(液体-空气热交换器)，使得空气冷却单元224可使用供应的冷却流体来冷却用于机架201的再循环空气。例如，在一个实施方式中，冷却液流过空气冷却单元224，并与从机架201(服务器底架211)排出的温/热空气进行热交换，并循环到空气冷却单元224中。由于在空气冷却单元内热交换，热空气被冷却，并且可产生凉/冷空气，并将其供应至机架201以冷却机架201，同时温/热流体从空气冷却单元224排出，以与歧管213产生的温/热流体混合。在一个实施方式中，空气冷却单元224可集成为机架201的部分。需要注意的是，冷却气流未在图中示出。冷却空气供应至机架201，然后热的排气进入空气冷却单元224。空气冷却单元224将冷却空气供应回机架201。

在一些实施方式中，三通阀242配置成将不同量的流体分配至机架歧管213和空气冷却单元224。也就是说，阀242可用于调节诸如空气冷却部分和液体冷却部分的不同冷却部分的冷却能力输送。例如，在附接或联接至机架歧管213的液体/流体分配回路上，三通阀243用于将全部或部分冷却流体引导到增强冷却单元221(例如，液-液热交换器)。增强冷却单元221可用于增强液体分配回路或整个冷却回路上的冷却能力。在增强冷却单元221内，由于增强冷却单元221通过连接或联接至冷凝单元222的制冷回路进行冷却，因而冷却流体可进一步冷却到低得多的温度。然后，从冷凝单元222输送至增强冷却单元221的凉/冷流体可经由双通阀244输送至流体冷却回路250，以便输送至机架歧管213(阀244在系统200中具有单元较好，尽管在一些实施方式中可为可选的，但是也可提供用于增强系统控制的附加特征)。注意，冷凝单元222可为任何种类的市售或定制的冷凝单元或(冷凝器)。因而，这里将不描述冷凝单元222的细节。在一个实施方式中，通过增强冷却单元221供应的凉/冷流体可与由流体冷却回路250上的CDU 223供应的冷流体混合，并且流体混合物输送至歧管213。

在一个实施方式中，CDU 223可包括热交换器231和液体泵232。CDU 223包括泵控制器(未示出)、以及一些其它部件，诸如贮液器、电源、监测传感器等。注意，CDU 223可为任何种类的市场上可买到的或定制的CDU。因而，这里将不描述CDU 223的细节。热交换器231可经由冷却流体回路连接至外部冷却单元225。热交换器231可经由液体泵241从外部冷却单元225接收冷却流体。在一个实施方式中，来自由歧管213输送(和由空气冷却单元224输送)的温流体的热量可在被提取到外部冷却单元225之前传递至冷流体，同时经过热交换器231。使用液体泵232将来自外部冷却单元225的冷却流体传递到液体分配回路上。在一个实施方式中，热交换器231可为液-液热交换器。在一个实施方式中，外部冷却单元225可为在建筑物/容纳容器外部的冷却塔(开环或闭环)、蒸发冷却盘管、干燥冷却器等。

注意，图2仅示出了冷却系统200和相应的关键结构的简化表示，其中仅示出了每个部件(单元221-225)中的一个。如前所述，数据中心系统(数据中心系统100)可包括IT部件的多行电子机架。因而，系统200可包括多个单元221-225中的每一个，用于冷却那些行的电子机架。

图3是示出根据一个实施方式的冷却系统的另一示例的示意图。在图3的冷却系统300中，增强冷却单元221集成到CDU 223中。三通阀342-343也包括于CDU 223中，并用于操纵流体。例如，通过将不同量的流体分配至机架歧管213和空气冷却单元224，以与阀242类似的方式使用阀342。因此，阀342可用于调节诸如空气冷却部分和液体冷却部分的不同冷却部分的冷却能力输送。与阀243类似，三通阀343用于引导由阀342分配的完全或部分冷却流体，以增强冷却单元221(如前所述，因而在此不再描述)。然而，在图3中，CDU 223包括多个入口端口和出口端口361-367。例如，出口端口361将增强冷却单元221连接至机架歧管213，以及出口端口362将阀343连接至机架歧管213。端口361-362可在不同或相同的流体温度下同时独立地向歧管213供应凉/冷流体，尽管它们可在不同或相同的流体温度下以交替的方式提供流体。在一些实施方式中，由端口361-362供应的流体在歧管213中混合。在一个实施方式中，入口端口363将歧管213连接至热交换器231，以接收来自歧管213和空气冷却单元224的返回的温/热流体。出口端口364和入口端口365连接热交换器231和外部冷却单元325A之间的冷却回路，如先前在图2中关于热交换器231和外部冷却单元225所描述的。出口端口366和入口端口367连接增强冷却单元221和外部冷却单元325B之间的制冷回路。在冷却系统300中，在增强冷却单元221内，由于增强冷却单元221通过连接或联接至外部冷却单元325B的制冷回路进行冷却，因而冷却流体可进一步冷却到较低的温度。在一些实施方式中，外部冷却单元325B可为冷凝单元(例如，图2的冷凝单元222、或任何其它类型的冷却单元)。在一个实施方式中，外部冷却单元325A-B中的每一个均为图2在的外部冷却单元225。因而，这里将不再描述外部冷却单元325A-B的细节。

图4是示出根据一个实施方式的具有交替冷却分配单元(CDU)的冷却系统的示例的示意图。在图4中，冷却系统400类似于图3的冷却系统300。然而，图3的端口361-362基于CDU 223内的内部设计变化而在CDU 223中组合。也就是说，三通阀442可以以与图3的阀342类似的方式将凉/冷流体分配至空气冷却单元224和三通阀443。然而，在冷却系统400中，阀443配置成将流体分配回增强冷却单元221(类似于图3的阀343)，并且还分配回端口461(而不是直接分配至歧管213)。因而，端口461可承载通过增强冷却单元221供应的流体和通过阀443供应的流体的流体混合物。端口462-467的配置类似于图3的端口362-367，因而，这里不再描述端口462-467的细节。在一些实施方式中，图4中的机架歧管213的相应设计不同于图3中的机架歧管213的设计。例如，图3的歧管213可能需要另外的入口端口来接收CDU 223的冷却流体。

图5是示出根据一个实施方式的冷却系统的又一示例的示意图。在图5的冷却系统500中，引入空气冷却分配回路503、冷却流体分配回路504和冷流体分配回路505。这将提高冷却系统设计的弹性。在图5中，多个CDU 523A-B可用于将流体分配至流体冷却分配回路501。例如，在系统500中，冷却剂分配回路可包括流体冷却分配回路501、系统返回分配回路502和空气冷却分配回路503。在电子机架201和CDU 523A-B之间使用回路501-503。在这些分配回路上组装连接端口，并且将冷却单元、CDU和其它流体回路连接至这些分配回路。在CDU 523A-B和外部冷却单元325A-B之间使用冷却流体分配回路504和冷流体分配回路505。在一些实施方式中，在回路501-505中的每一个中使用的流体可彼此不同，从而具有彼此不同的温度。然而，在其它实施方式中，在回路501-505的一些或全部中使用的流体可为相同流体。注意，可在图中未示出的分配回路上使用附加的控制阀或止回阀。

注意，在系统500中，CDU 523A-B和外部冷却单元325A-B可分离联接，以及回路501-505用作用于分配和接收流体的池。外部冷却单元325A-B和CDU 523A-B可通过池交换流体。因而，这不仅提供了冗余设计的灵活性，而且易于服务，同时提高了基础设施成本效率。

图6是示出根据一个实施方式的具有不同部分的冷却系统和数据中心系统布局的示例的示意图。在图6中，系统500分为五个部分，即机架部分(或IT部分)601、辅助分配部分602、增强冷却部分603、主回路部分604和冷却单元部分605。这提供了系统500中不同部分或模块的边界。这种部分(或部/模块)的分类将简化系统500的系统设计和部署过程，因为部分601-605可进行单独和独立地设计和部署，从而提高效率。这对于开发系统标准化也很重要，因为对于模块来说，只需要容量、或连接方法以及某些关键参数或规范就能够连接至整个系统并正常工作。另外，这将显著提高可靠性，因为大部分功能是移动封装在CDU(CDU523A-B)内的部件。CDU可容易地在系统500中进行替换和服务，而不会引起系统连续操作的重大中断。利用主回路部分604，外部冷却单元325B可用于在CDU 523A或CDU 523B或两者中向服务器底架211提供增强的冷却能力。对于冷却回路中的不同的其它冷却单元，通过部分602提供类似的功能。

在一些实施方式中，辅助分配部分602和主回路部分604用作源池，从而提高系统的弹性。作为例子，制冷回路(在CDU和外部冷却单元之间)可用于在多个CDU配置中的增强冷却部分603中的不同增强回路。在分配部分602和主回路部分604上可使用阀(三通阀442-443)来控制流体。图6还提供了用于设计用于混合(液体-空气)冷却架的冷却系统的紧凑且高效的方法的概念。例如，可将机架部分601视为是交付点(PoD)。因而，系统500可用于计算PoD、存储PoD或异构高性能计算PoD，且可使用通用增强冷却部分(增强冷却部分603)，专用于单个PoD或多个PoD。

每个部分的部署可彼此独立。这意味着即使每个部分的相应设计和规格也可由不同的供应商提供，也可集成在一起并适当地工作。

在前面的说明书中，已参考本发明的特定示例性实施方式描述了本发明的实施方式。显然，可对其进行各种修改，而不背离如所附权利要求书中所阐述的本发明的更宽的精神和范围。因此，将说明书和附图视为说明性的，而不是限制性的。