推理为主的机房改造:功率、隔离与验收顺序

一、负载曲线不同,规格书就该不同
据公开报道,有算力厂商在行业会议上判断,大模型进入以推理为主的干活阶段,全球 Token 消耗会持续上升,促使 AI 基础设施同步进化。这是别人的判断,也不是本文的依据;本文要处理的是它落到机房上的那一部分:既有设施要按新的负载曲线改一遍,而不是多买几台机器。
训练与推理的物理特征不同,这一点必须写进规格条款,不能只写在方案的前言里。
- 训练看持续功率与网络东西向带宽。它一旦起跑就是长时间平稳高功率,功率曲线接近满量程,散热与配电按稳态设计即可;真正卡住它的是节点间通信,规格要落在持续带宽与时延抖动上。
- 推理看尖峰倍数、启动时间和跨可用区调度。请求会瞬时把利用率拉起来,冷机启动与模型换入要花时间,业务高峰前能不能把算力拉起来才是问题;它的功率曲线是脉冲状的,峰值与均值的差比训练大得多。
- 两者的差异要落成三个可核对的字段:峰值与持续功率之比、从空载到满负荷的拉起时间上限、跨可用区或跨机房调度的容忍边界。字段填不出来,后面所有改造决策都是凭感觉。
把推理负载按训练的规格去配,最常见的结果不是不够用,而是配电容量看着很富余、真实尖峰来时受限,同时稳态负载下的能效很差。
二、供配电的三关
第一关是容量口径:按峰值还是按均值申报和结算。改造既有设施时,历史容量口径往往按稳态负载谈定的,推理的尖峰结构会把这层错配暴露出来。我们的要求是把口径写进合同的计量条款,同时明确在什么功率形态下触发限制、限制由谁执行、被限制时业务侧看到什么现象。口径不一致时,最坏情况是运维在毫不知情的情况下被封顶。
第二关是续航时间:UPS 与柴发在不同负载形态下的实际支撑时长。UPS 的续航随负载功率非线性下降,尖峰负载下按均值估的时长会明显偏短;柴发启动有爬坡,这段空档要靠储能覆盖。这三段时间要分别量,写成一条时间轴,而不是接受一句”备份多少分钟”的标称值。
第三关是动态负载下的功率封顶策略。封顶不是把上限压低就行,它涉及谁来决定、按什么粒度(单机柜、单组、单租户)、被限的一方向谁解释。要提前定三件事:封顶的动作顺序(先降频、再限并发、最后调度走)、触发的观测依据(是入口电流还是芯片侧功耗遥测)、以及恢复条件(何时确认可以解除,避免反复振荡)。这三件事没定就上线,业务会把封顶理解为随机故障。
三、制冷的改造顺序:先测热点,改完复测
制冷是最容易被”先按经验改一版”的地方,而它的正确顺序恰恰相反:先测真实热点分布,再决定改送风还是把液冷边界推到哪一层。
- 测量要在真实负载形态下做,不能靠空柜或者模拟脚本。脉冲负载下的热点位置和稳态测试时并不重合,温度传感器的布置要覆盖进风、回风与设备表面关键点位。
- 改造选项要按实测分区,而不是整机房统一改:局部高密度区优先做送风与隔断调整,超出风冷能力的部分才谈液冷;液冷边界一旦推进,机柜、管路、漏液检测与运维动线都要跟着改,牵动的范围远超制冷本身。
- 改完必须复测,而不是签字。复测内容与改造前的测量点位、负载形态保持一致,否则前后不可比;复测结果要留档,作为下一轮扩容的基线。签字只证明有人验收过流程,不证明热点已经消失。
四、网络与存储:推理带来的读带宽问题
推理负载对网络与存储的要求和训练不同,改造时容易沿用旧结论。
请求分发这一层,推理的入口流量是短连接高并发,分发要靠近用户侧并且能按模型版本与档位分流;这跟训练那种长时间大流的模式完全是两套配置。缓存层与模型仓库带来的是读带宽压力:权重与分片在扩容、换版、冷启动时需要批量读取,如果这些读取挤在业务时段发生,就会与在线请求的存储访问相互干扰。我们要求把模型仓库的读窗口单独规划,冷数据换入安排在低谷时段,并为换版预留独立带宽,不与推理流量共用。
东西向流量对训练任务的干扰要单独提。训练最怕通信抖动,而改造后如果推理与训练共用网络平面,推理侧的批量读取和同步动作会污染训练的通信时延。分区是比扩容便宜得多的解法:把东西向流量按用途切开,明确哪一段允许跨区调度、哪一段不允许,并把这条边界写成配置而不是口头约定。
五、隔离、故障域与改造期的可观测最小视图
改造期的隔离设计要按业务与租户分区,不能只按机柜位置分区。目的是让一次电气或制冷故障的影响半径可以被提前说明:单柜故障会影响谁、单路供电失守会波及哪个分区、某个租户的尖峰会不会拖垮同柜其他业务。这三个问题答不出来,SLA 就只能写得很虚。
故障域本身已有大量成熟讨论,本文不重复;改造场景下真正新增的是可观测最小视图的问题——改造期间需要看到什么,才能判定改造有效而不是感觉有效。最小视图至少要含这几项:分回路实时功率与历史曲线、进回风温差与关键点位温度、UPS 与柴发的状态与切换记录、被封顶或降载的事件、单柜维度的负载与告警、改造前后同一测点的对照读数。这些视图要在改造开始前就建好,因为改造中途补埋传感器会污染基线。
六、验收顺序五步与责任划分
验收顺序是洹拓在改造类项目里坚持的固定五步,一步不省。
| 步骤 | 内容 | 完成判据 | 常见塌法 |
|---|---|---|---|
| 基线测量 | 在改造前的真实负载形态下量功率、温度、时延与故障事件 | 有一批标注了测点与负载形态的原始数据 | 用标称值代替实测,后续无法归因 |
| 改造方案设计 | 按尖峰倍数、拉起时间、分区边界出方案 | 方案里每条改动都能指回基线里的具体问题 | 按经验统一改,改动与问题对不上 |
| 灰度上量 | 先在一个分区按受控比例上真实负载 | 灰度期间无越限事件且有完整记录 | 灰度只做功能验证,不做负载验证 |
| 真实负载压测 | 用业务侧真实流量形态压到目标尖峰 | 尖峰、拉起时间、封顶动作都按预期发生 | 用均值流量代替脉冲,压测通过上线翻车 |
| 改后基线留存 | 同一批测点、同一形态重跑一遍并归档 | 前后对照可比较,归档可被下轮扩容引用 | 只留结论报告,原始数据散落在个人电脑 |
责任划分要在开工前落到字段上,我们要求这几栏必须有名字:基线数据的保存责任方与保存期限;改后复测的执行方与验收方;复测不通过时的返工责任与判定依据;运行期新增负载超限时的告知路径与处理权限;计量口径变更(含合同条款)的批准人;事故与异常事件的记录归属。这里最关键的是两条——谁负责改后复测、谁负责保留基线数据。这两条不落名,交付方与场地方在出现争议时都会各说各话:一方说改完了没问题,一方说从来没坏过,但没有基线就没有可比。
能耗与计量口径要提醒一句:改造期 PUE 会失真,因为它同时受负载率骤变、测点临时调整和试运行空转的影响,此时用它评估改造效果没有意义。同期要同时看单机架产出与单位算力能耗,这两个指标不受空转影响,能真实反映改造有没有把效率提上去;等运行态稳定后再回到原有口径做长周期比较。写进验收条款时,我们建议把”改造期不适用 PUE 考核”明确写出来,避免双方在这段窗口里各取所需地解读数字。