摘要：液冷技术是解决数据中心节能降碳的重要手段，尤其是单相浸没液冷冷却技术，节能效果显著，应用日渐成熟可靠，逐渐受到业内青睐和选择。但液冷技术的应用和设计相对传统机房暖通设计有一定的差异和不同，加之当前落地的液冷数据中心项目比较有限，从业人员对此相对比较陌生，结合液冷项目实践，分析了浸没液冷技术的特点以及和传统冷却方式设计上的差异，总结了设计关键点，尤其是液冷冷却液系统的设计；针对新建和改造的液冷数据中心，对冷源的选择以及冷却水系统的设计提出了不同的方案，为后续液冷技术的应用提供参考和探讨。
关键词：单相浸没液冷；数据中心；液冷机柜；冷却液；CDU；冷却水
算力是数字经济的重要发展要素，是推动数字经济发展的核心支撑力；数据中心作为算力的主要承载体，其发展和规模化建设不可或缺。但数据中心运行消耗了大量的电力资源，据有关部门统计，2021年我国数据中心年用电量已占全社会用电的1%左右，使用绿色能源以及节能降碳成了数据中心重要目标和课题，尤其是新建数据中心，国家标准以及各地政策均对电能使用效率（PUE）提出了严格的要求和限制。
在国家双碳战略背景下，以及各地对PUE的严格限制下，数据中心领域各种节能技术百花齐放，液冷以其先天节能的属性逐渐受到青睐。尤其是在夏热冬冷，夏热冬暖，温和地区区域，液冷技术节能效果尤其显著。当前，主要使用的液冷技术分为间接接触的冷板液冷，相变液冷以及单相浸没液冷和单相喷淋，各有自身的优劣势[5-6]，笔者结合参与落地的采用单相浸没液冷冷却技术的数据中心，分析和总结一些实践思考供同行探讨，以便后续液冷项目更好的落地。
1、浸没液冷相比传统冷却系统的不同
浸没液冷技术主要是利用特定液体的两大特点，即液体高效换热特性和良好的绝缘性，对服务器进行冷却。系统架构比较简洁，具体循环流程见图 1，图中液冷机柜用于浸没服务器见图 2，冷却液分配单元（CDU）用于控制热交换和驱动冷却液循环，冷却塔（或者干冷器）为整个液冷系统运行散热的“冷源”。 从流程图来看，浸没液冷已经不再需要依赖压缩机制冷，主要依靠自然冷源进行热交换。相比传统风冷服务器的冷冻水（或者直膨机）系统，浸没液冷主要特点如下：
1）液冷机柜和冷却循环系统耦合度非常高，设计需要更加关注液冷机柜和CDU组成的循环系统；
2）浸没液冷机柜内的服务器从传统的水平插拔变成了垂直上下安装，插拔方式的变化导致平面布置的机柜率下降，设计需要更加关注液冷机柜的排布以提高出柜率。
3）冷却液成本较高，在系统设计过程中需要关注如何降低冷却液的用量。
4）机柜内充满了冷却液，不同冷却液密度不同，设计过程中需要关注到楼板承重。如下是某项目A和某项目B结合如上原则，设计的两种不同布置方案。系统架构为2个CDU（1用1备）连接6个液冷机柜，组成一套冷却液循环系统，再通过冷却水管路连接所有CDU，组成整个冷却水系统，所有管路均布置到架空地板下，见图 3~图 6。 两种方案均是基于如上分析的原则设计：
1）将液冷机柜背靠背或者面对面规模化布置，再通过CDU连接尽可能多的液冷机柜，类似多联机一拖多的方式，提高出柜率。
2）将液冷机柜和CDU就近布置，缩短冷却液循环的距离，减少管路系统的冷却液用量；
3）将CDU集中布置到一个区域或者集中到几个有序区域，使液冷设备管路和冷却水管路有明确的物理分区，一方面可以使各功能区有序布局，另一方面能够更加简洁的实现冷却水管路和阀门冗余设计。
两种方案相似但有不同，最明显的差异是冷却液管路的不同。为了实现冷却液循环的连续性，避免单点故障，根据各自建筑条件，项目A冷却液管路采用双供双回的方式，项目B采用环形管路的方式，均可实现系统的冗余，见图 5 和图 6。通过对比分析，两种方式实现的功能和可靠性是一致的，系统管路各有特点，实际应用过程中可以结合不同建筑布局、尺寸面积、出柜率，以及运维通道等进行选择。 2、新建浸没液冷数据中心冷源的选择
新建浸没液冷数据中心，除液冷机柜和CDU外，冷源选择至关重要。由于液体的高效换热特性，允许冷却液在供液温度远高于风冷环境的温度工况下运行，依然保持CPU核心温度良好。根据中国电子学会发布的规范，液体供液温度可以在25℃~50℃范围内运行[7]，在这样广而高的温度范围内，可以有多种换热冷源选择，通常比较经济和可靠的是干冷器和冷却塔，如果周边有可利用的废水废冷，也是一种好的选择。对于小规模的液冷，冷源常以干冷器为主，冷却液通过干冷器和室外空气进行换热，系统部件少控制简单。对于稍有规模体量的机房，冷源以冷却塔为主。冷却塔选择开式冷却塔还是闭式冷却塔，也是实际项目中最难以抉择的。
笔者结合两种冷却塔实际运行情况，对比分析两者的优缺点。闭式冷却塔由于冷却水不与外界环境直接接触，水质易于控制是其最大的优点，也是很多设计师的优先选择。但在实际项目落地过程中发现，闭式冷却塔体积大占地面积多，价格较高，同等设计工况下闭式塔要比开式塔价格高3倍~5倍；尤其是数据中心行业对设备品牌比较注重，使得闭式冷却塔占了不小比例的投资成本。其次，对于北方寒冷地区如果使用闭式冷却塔，管路中还需要投加乙二醇，乙二醇属于有机物，容易滋生细菌微生物；长时间运行后，乙二醇水溶液如果控制不好易被氧化，形成羧酸等，腐蚀管道和换热盘管[8-9]，图 7 是某项目闭式塔加乙二醇运行后的水质，已经有明显的腐蚀。另外，闭式冷却塔由于利用水的喷淋进行热交换，多增加一个耗电设备喷淋泵；同时，对于添加乙二醇的冷却水，由于乙二醇比热容较低为2.35kJ/kg·℃，只有水的一半左右，导致系统循环换热效率降低，根据不同乙二醇添加比例，系统运行功耗增加约10%~20%。如果能权衡应对好如上优缺点，闭式塔将会是一个系统运行良好的选择。 开式塔在常规冷冻水系统中使用较普遍，优点之一价格较低。其次，开式塔系统简洁，不需要闭式系统的定压装置，没有喷淋泵，无需添加乙二醇防冻，运行维护简单。且同等工况下设备功率低，甚至可以选择一些无风机冷却塔来搭配运行，可以把PUE降到极致。但开式塔最大的缺点就是循环水与外界环境直接接触，需重点关注水质处理，目前开式塔系统水质控制好和坏的案例均存在，一方面是水处理厂家参差不齐的原因，另一方面是碳钢管道自身在开式系统中容易腐蚀。笔者有幸参与开式塔系统水质控制良好的项目，见图 8水质清澈良好。具体措施为采用镀锌管道法兰连接，而非采用碳钢管道外表面刷防锈漆的方式，采用镀锌管道的系统，日常运行只需要应对结垢和夏季藻类细菌滋生的问题，水处理的成本大幅降低。且使用镀锌管道造成的成本增加不到管路成本的10%，完全可以从水处理减少的费用中来覆盖这部分增加。通过如上措施，不但能节约成本，还能良好的控制水质，以及减少水处理化学品的使用。 笔者从不同方面分析对比了两种类型的塔在实际使用中的优缺点及应对措施，实际项目中可以结合如上分析有针对性的选择。就笔者个人观点而言，建议选择开式冷却塔，当前，浸没液冷还没有大规模使用，液冷设备和冷却液的成本相对较高，使用开式冷却塔可以适当降低每kW服务器功率的造价指标，通过采取适当的措施又能良好的控制水质，在满足功能的前提性，造价低的方案将会是更好的选择。
3、既有机房改造为浸没液冷机房冷源的选择
为践行推进双碳目标，上海和深圳陆续发布了实施方案，尤其是对于老旧存量数据中心机房，对能耗不达标的进行限制、淘汰以及升级改造[10-11]，这部分机房PUE本身比较高，如果在现有系统上做一些改造，PUE下降不明显，但由风冷改造为液冷会是一种成效显著的方式。既有机房改造液冷的难度在于冷源冗余的设计。笔者结合过往项目实践提供如下方案供参考。
方案1）：新增一套冷却水系统独立于现有在用系统，这和新建机房设计基本相似，但大多数项目通常不具备良好的条件，不同项目会有不同的制约。
方案 2）：利用旧的现有冷却水和冷冻水作为液冷冷源的主备来设计。通常改造项目多数是把现有的风冷机房拆除，利用这部分电力和物理空间改造为液冷机房，系统就有多余的冷却水可以使用，作为液冷的主用冷源；同时原有拆掉的空调末端有多余的冷冻水管路可以就近使用，这样就有了备用冷源，虽然使用了压缩机产生的高品位的低温冷冻水，但对于液冷系统作为应急备用，并不会造成能耗明显增加，详见图 9。 系统改造过程中，需要特别关注如下几方面。一是原有冷却水系统水质运行情况，如果水质运行不良，为避免切换到冷冻水作为冷源运行时污染冷冻水系统，可以在冷冻水回水管路上增加过滤器进行处理后再回到总的冷冻水大管网系统中。二是切换过程中，需要分别核算下液冷CDU分别在冷却水系统和冷冻水系统运行时管网的压力大小，两者接近最优，如果冷冻水运行的压力高于冷却水运行的压力，切换过程中重点关注阀门切换的时间，同时要监测好冷冻水系统自身的补水处于正常运行工况，避免冷冻水压力快速下降，影响到自身的运行。三是冷却水管路上的阀门设置，要避免过设计超配阀门，避免不加分析的直接使用传统冷冻水系统管路的阀门设计方式。按照GB50174-2017《数据中心设计规范》，末端设备如冷冻水精密空调通常按照N+1设计，也即是有1台备用；为实现运行过程中阀门单点故障时检修更换，通常末端设备，会连续设计2个阀门，见图 10[12]，当其中一个阀门故障时，可以关闭该故障阀门左右相邻的阀门，只需要停机1台设备，而不影响主用设备数量的正常使用。但是对于液冷系统，通常CDU是1用1备，相邻的一组也是1用1备，两组CDU之间的阀门，完全可以有原来的2个阀门只保留1个阀门；当其中一个阀门故障时，可以通过关闭A1和A2阀门来实现隔断功能，见图 11。虽然需要停机2台CDU，但2组设备各有1台备用不会影响到设备的正常使用。 通过如上分析，对于既有数据中心，如上方案2）利用现有冷却水和冷冻水，既省去了新增冷却设备和管道阀门的投资，又实现了液冷冷却水系统的冗余和备份，不失为一种推动既有机房改造液冷的经济性方案。
4、结语
当前我国数字经济蓬勃发展，特别是5G、人工智能、物联网等新技术的探索和应用，促使数据中心行业仍在快速发展，特别是高功率的服务器部署越来越多，液冷技术不仅很好的解决了高功率机柜的冷却散热问题，又能很好的践行节能降碳的发展目标。本文针对单相浸没液冷系统的设计和应用，包括冷却液和冷却水系统，新建和老旧数据中心机房，结合实例进行了分析总结，形成如下结论：
1）分析了浸没液冷系统的特点，以及和传统冷冻水方案的不同，总结了浸没液冷暖通设计需要关注的重点；
2）结合过往项目的实践经验，对比分析了开式冷却塔和闭式冷却塔作为液冷系统冷源使用的优缺点和应对措施，为后续应用提供有针对性的参考。
3）结合既有机房改造液冷机房的特点，提出了一种液冷冷源系统设计的经济性方案，供业内从业人员参考和探讨。

来源：数据中心基础设施运营管理，作者：赵路平、谢洪明、徐明微、赵毅峰
免责声明：本公众号部分分享的资料来自网络收集和整理，所有文字和图片版权归属于原作者所有，且仅代表作者个人观点，与本站无关，文章仅供读者学习交流使用，并请自行核实相关内容，如文章内容涉及侵权，请联系后台管理员删除。