每兆瓦能出多少词元：自研推理芯片的账要从电力口径开始算
一、分母从卡换成电，账单的结构就变了
据公开报道，有云厂商公布了新一代自研推理芯片，规划把这一系列的部署规模推到吉瓦级，并给出一个推理能效提升的百分比，宣称每兆瓦可处理的量优于主流 GPU 系统，定位面向长上下文推理、低延迟对话与多步骤智能体任务。这里的厂商、芯片名称、规模规划与百分比一律只作为新闻事实转述，都不作为本篇的判断依据。本篇只接其中一个信号：当宣传口径用”每兆瓦”做分母的时候，客户侧的计量单位已经换了，而换单位这件事的成本没有出现在同一张报表里。
传统口径是”每张卡多少钱、每张卡跑多少”，客户可以按卡数估预算、按卡数排容量。电力口径一出来，比较的基准变成整个机架、整栋机房乃至整个园区的供电能力，客户看到的效率数字是厂商在自家条件下算出来的，而客户付的钱仍然是按请求、按算力时长或按实例计费的。两套口径之间的换算，就是本篇要处理的部分。
电力口径与算力口径会分家，原因不在芯片本身，在于同样算力背后差异极大的功耗条件。同一颗芯片在不同精度模式下能耗差别很大，在风冷与液冷下能维持的持续频率也不同；再往外一层，数据中心的总用电里还包含制冷、照明与配电损耗，业界用整体能效指标去描述它，但客户购买的是算力而不是电表读数。更麻烦的是边界问题：报给客户的功率是设备入口的功率，还是把制冷损耗摊进去之后的功率，这两种口径同一个数字可以差出很大一截。我们看厂商材料时，先找出这个数字的分母到底划在哪里，找不到就把能效声明整段搁置。
二、”每兆瓦词元”要成立，得先锁住五个变量
每兆瓦产出多少词元，本身是一个可以严肃计算的量，但它对工况极度敏感。我们的经验是下面五个变量必须同时锁住，少锁一个，同一套硬件给出的结论就能翻转。
第一个是上下文长度。长上下文意味着 KV 缓存膨胀，容量与带宽都吃紧，同样的功耗下产出的有效词元下降；宣称面向长上下文优化的芯片，如果基准用的是短上下文，那个数字与客户场景无关。第二个是批量大小。大批次摊薄权重读取的功耗，但会拉高单请求延迟，能效与体验在这一点上直接冲突。第三个是思考预算。允许模型先做一段内部推理再生成答案，总生成量上升，”每兆瓦词元”会变好看，但每兆瓦完成的任务数未必变多。第四个是模型结构与注意力实现，同样参数量的模型在不同结构下对内存带宽的需求差别明显。第五个是量化位宽，位宽降下来能耗与占用都降，代价是数值行为变化需要重新验证。
这五个变量里，厂商公告通常一个都不给，因为给了就没法跨机型比。所以我们的态度是：能效数字用来判断厂商的工程方向，不用来推算自己的成本。真正用来推算成本的，是后面那套软件迁移的账。
三、自研后端上线后，租户可见性只有三档
对客户来说，一颗新芯片上线之后最重要的问题不是它多快，而是我能不能知道自己在用它。我们把它分成三档来看，这三档对应三种完全不同的应对。
完全透明这一档，是服务方把后端类型作为可选参数暴露出来，客户可以指定、可以在回包里读到实际后端。这一档下客户可以自己做异构对比，用固定提示集在同一工况下把两种后端跑一遍，得到属于自己业务分布的差值，这个差值比厂商的百分比有用得多。
可选后端这一档，是客户可以提出偏好但服务方保留调度权，比如指定后端繁忙时自动落到另一个。这一档最容易被忽略的风险是行为不一致：两个后端在不同数值路径上跑同一权重，边界输入的结论可能不同。应对方式是把后端标识写进日志和审计字段，出问题时能定位到是哪一批请求走了哪条路径。
强制迁移这一档，是原后端在某时点后不再接受新请求，流量整体切到新硬件。这一档下客户没有对比的机会，只有被动验证的压力，因此合同里要争取的是提前通知期与回退窗口，而不是争取更好的数字。洹拓在云服务合同评审里把这一档单独列出，要求写明迁移前多久通知、迁移后出现精度或延迟问题时的处置流程。
四、代际切换真正要付的钱在软件清单上
芯片换代的成本不会消失，它会以工程工时的形式回到客户的栏位里。下面是我们做异构迁移检查表时的固定项，这张表是我们评估一个自研后端能不能接的判据，任何一行填不出来，就意味着这项风险要靠现场试错来消化。
| 检查项 | 需要拿到的证据 | 不满足时的处置 |
|---|---|---|
| 算子覆盖度 | 目标后端上的算子支持清单，以及不支持项的降级方式 | 用自有模型跑一次编译与执行日志盘点，出现逐层退回通用实现则暂缓接入 |
| 数值一致性容差 | 同输入下新旧后端逐层输出与最终结果的偏差范围 | 先建立容差基线并按业务定线，未定线不得用于生产判定 |
| 精度回归用例 | 覆盖分类、抽取、代码、长上下文与多步骤任务的分层用例集 | 补齐用例后再比对；任一分层通过率下降即触发人工复核 |
| 采样与生成行为 | 同一随机种子下重复生成的一致程度、截断与终止符处理 | 不一致则该后端只用于对结果不敏感的场景 |
| 回退判定线 | 触发回退的指标、判定人、回退所需时间 | 无明确回退路径时，不允许承接需要承诺效果的业务 |
| 观测字段可用性 | 后端标识、配置指纹、延迟分位与错误率是否可分别采集 | 缺字段则要求服务方补充，否则迁移后无法归因 |
六项里最贵的是精度回归用例，因为它要求把业务分层拆开各建一批。我们的做法是复用已有的业务分层抽样集，不额外造数据，只在新后端上重跑一遍，并把两次结果并列存档。第二贵的是回退判定线，它不是技术问题而是流程问题，需要客户方、使用方和交付方三方事先达成一致，事后补基本补不上。
五、机房侧的四张账与芯片换代的关系
即便软件全部适配完成，电力口径的宣传仍然掩盖了一部分物理约束。机房侧有四张账，换代时会同时被重新打开。
供电容量决定了你能装多少，它由变压器与配电链路的余量决定，不是由机柜数量决定；一批低功耗设备如果集中在少数机柜，反而可能撞上局部容量上限。制冷决定了设备能持续跑在什么频率上，风冷与液冷的转换涉及管路、承重与漏液防护，这些改动的工期通常比硬件到货更晚。机柜功率密度决定了同一位置能不能塞下新设备，老机房的配电与走线往往是按上一代功耗设计的。故障域决定了出事时会影响多大范围，供电单元、冷却回路与网络边界共同画出故障半径，密度提高之后同样的单次故障会波及更多算力。
这四张账对客户的意义是：厂商的吉瓦级规划与自己无关，自己在某个区域某个机房的可用容量才有关系。当我们把业务部署到某个可用区时，会把上面的四问写成一份容量问询发给服务方，得到”当前可扩容区间”这样的答复才算数，得到”未来会建很多”这种答复一律不计入容量计划。
六、读这类公告时该问的五个问题
采购方在会议室里读芯片公告，我们的提问固定是五句。第一句：这个数字的分母是什么功率口径，含不含制冷与配电损耗。第二句：基准工况的上下文长度、批量与思考预算分别是多少，与我们的线上分布差多远。第三句：这个后端对我们是可选、可指定还是强制迁移，迁移前通知多久。第四句：算子覆盖与数值一致性有什么可核验材料，我们能不能用自己的模型跑一遍。第五句：出问题时的回退路径是什么，回退到哪一种已知可用配置。
电力口径换算还有三条注意事项要提前定。第一，不要用厂商的能效百分比乘以自己的单价来推算节省，两边的工况不同，乘出来的数是幻觉；要推就先用自己的固定提示集在两种后端上各跑一遍，用实测差值代替公告百分比。第二，把成本模型从卡数改为功率或容量单位时，同时保留一层与请求量的对应关系，否则一线团队失去可以用来对照预算的计量单位。第三，跨代际的历史数据不要直接连成一条曲线，后端标识与量化位宽变化都会在曲线上留下台阶，先按配置指纹分组再谈趋势。
这类公告对从业者真正的价值，是把行业计量的重心从”有多少卡”推向”每度电能出多少结果”。方向是好的，但落到具体项目上，客户付的还是软件适配与验证的钱。把上面那张检查表填完，再决定要不要跟着换代。