机架之间的带宽要上一档，先算功耗和误码这两本账｜洹拓科技
一、带宽那一列最好看，另外两本账容易被跳过
据公开消息，一家芯片厂商与一家云厂商达成协议共建人工智能数据中心基础设施，其中一条线是合作开发速率更高的光互联方案，公开报道给出了一个更高的速率档位，并点名用到串行解串器与光数字信号处理这两项底层技术，动机被表述为基础设施日益增长的规模与带宽需求。这里出现的速率说法，我们只当作公开报道提到的档位，不作为本篇判断的依据，更不能当作给客户承诺扩容时的输入。
原因很直接：机房决策里最难看的两本账，恰恰是带宽新闻里从来不写的那两本，一本是每比特能耗，一本是误码与重传的代价，再加上一本更没人愿意谈的可维护性。速率翻倍在宣传材料上是一行字，在机房里是供电余量、散热改造、备件池、测试仪表和运维培训五件事。我们的经验是，扩容评审如果只把带宽写进方案、把另外三项留给“运维后面再看”，最后一定以另一种形式回来，要么发现端口装不满，要么发现链路能通但抖动压不住。
二、速率上一档带来的四项连带变化
| 连带变化 | 为什么会变 | 为什么在评审里被忽略 |
|---|---|---|
| 每比特功耗与总功耗上限 | 更高速率的串行解串与光模块通常更费电，还要加上为它做的散热开销；机房供电与冷源是硬边界 | 采购按端口数和速率谈，功耗归到机房那一侧，两边从没合在一张表上看过 |
| 误码率与纠错带来的延迟代价 | 速率越高，原始误码越难压，往往靠前向纠错换取可用性；纠错本身是固定时延，兜底的丢包重传又把时延变成不确定的长尾 | 标称速率到底是纠错前的还是纠错后的，材料里通常不写口径 |
| 可达距离与拓扑约束 | 更高速率常意味着更短的铜缆可达距离或更贵的光学方案，进而倒逼汇聚层位置与机柜排布 | 先下单再发现拓扑要改，改动成本落进项目尾款 |
| 故障域与爆炸半径 | 单端口承载更多流量后，一次链路故障波及的作业范围更大，重调度的时间也更长 | 只看平均可用性，不看单次故障的恢复代价 |
四项里第三项最容易被低估，因为它不是钱的问题而是空间的问题。互连距离决定了交换机能不能放在机柜顶部、跨机柜的线要不要走桥架、一个集群的物理边界在哪。速率档位一变，这些假设全部要重核一遍，而图纸上的改动会连带电力、制冷和消防的审批。
第二项要单独说一句。纠错换来的是可用，不是免费。对训练任务，额外时延被摊在大块搬运里，影响体现为吞吐；对推理与交互类流量，它体现为尾延迟，而尾延迟直接进客户的体验指标。同一个集群两类负载混跑时，必须分别测量，不能用一个平均数说话。
三、机柜内与跨机柜是两类流量，混算必错
两种视角的差别不只是距离。机柜内部看的是延迟与抖动，那里跑的是每步都要同步的高频小消息，怕的是偶发长尾，一次慢同步就把整步拖住。跨机柜看的是带宽与可靠性，那里跑的是周期性的批量搬运和检查点写入，怕的是吞吐上不去和故障后重来的代价。
估算法要拆开。第一步按通信模式把流量分成两类，每步同步的小消息与周期性的批量搬运，分别列出单条消息大小、频率与同步点。第二步给小消息一类要求：可容忍的单跳时延与抖动上限，注意是上限而不是平均。第三步给批量搬运一类要求：可持续带宽与并发时的公平性。三个数字填完，才知道“带宽上一档”对你的应用到底解决了什么。把两类流量合成一个总带宽去算，结论必然是错的，因为它默认两类流量的时间分布一样，而真实负载里它们互相抢。
四、代际升级前后要问的四个采购与运维问题
一个代际的光互联进入机房，我们只问四个问题，答不上来就暂缓。
- 现有机房的供电与散热余量够不够。按端口数乘以单端口典型功耗算增量，再核对制冷冗余与气流组织；不要接受“支持后续升级”这种口头说法，要拿到能核对的数字。
- 光模块备件与更换培训谁做。换代初期故障率通常偏高，备件池规模、借还流程与更换培训要写进运维合同，而不是等第一次故障再讨论。
- 故障定位工具是否支持新代际。链路质量计数、误码统计与协商记录能不能看到，历史数据在不在同一个平台上。看不见内部状态的链路，故障时只能靠替换法试，试一次就是一个停机窗口。
- 新旧速率混跑时的协商与降级行为。会不会出现一侧降速导致整条路径抖动，混跑期间的性能基线要单独测一次，不能拿全新或全旧的结果替代。
这四个问题的共同点是它们都不是设备问题，而是运营问题。带宽决定了设备选型，这四问决定了这套设备三年内的可用水平。
五、互连规格要写进训练方案评审，而不是等运维给结果
对做模型训练与推理服务的团队，互连能力决定了同一批数据在多机之间搬运的策略，进而决定你敢不敢把某个并行切法做大。所以互连规格要写进训练方案设计评审，而不是等运维给出结果之后再调整方案，那时方案已定、数据已切、代码已改，唯一的出路是把规模缩回去。
评审时固定问三句。这个切法每一步要在机器之间搬多少数据，最慢那条链路会不会把整步拖住；如果一次链路故障发生，从检测到作业回到断点需要多久；这两个答案和当初选并行方式的假设是否一致。把三句写进方案模板，让算法与运维用同一张表说话，比让两边各自开会有效得多。我们交付这类项目时，会把互连参数当作方案的一等输入而不是背景资料，因为“可扩展规模”这四个字，一半是互连给的。
六、固定三列度量、供应去耦与规模的三段列法
比较不同互连方案时，我们只用固定三列，写进选型记录，不允许临时加列。
- 每比特能耗。它决定机房余量能不能撑住端口数量，也决定长期电费归属。
- 每单位带宽的单价。它把速率数字换成财务口径，避免用更贵的档位买到用不满的带宽。
- 故障恢复时长。它把可用性的承诺变成可演练的数字，也是运维质量的真实体现。
三列分别对应机房余量、财务口径与可用性口径，比只看带宽诚实，因为它们都是要在现场兑现的。
另一面是合规与尽调。两家厂商共建基础设施，意味着你的上游可能同时依赖这两家，要在依赖清单里做去耦评估：逐个组件标注所属厂商、代际与是否存在可替代路径；重点看同一家同时提供计算与互连时，一次固件或驱动问题会不会同时命中两层；关键路径要么保留第二供应源，要么保留第二技术路线，并接受它更贵。这属于供应链管理，不是猜测，写进尽调表比写在邮件里可靠。
给客户的一句实话放在最后：可扩展规模的上限很少由算力决定，常常由数据搬运能不能跟上决定。评估时按“计算能力、互连带宽、故障恢复”三段列，任何一段缺项就不能承诺规模。洹拓这边把这三段作为规模类方案的必填栏，缺项的方案一律不盖章，因为它给出的不是一个数字，而是一个无法兑现的承诺。