一份专门测决策的榜单：登顶分数能说明什么、不能说明什么
一、榜单新闻里真正可用的信息只有一条
据公开报道，有一个专门测决策能力的公开指数，一款模型在上面排名第一，参评模型上百项。分数与数量都不作为本篇的判据：名次会随新提交滚动，分数依赖评分口径，这两个数字离开榜单页的说明就没有意义。这篇只回答交付现场常碰到的一个问题：客户拿着登顶截图来问要不要换模型，我们该怎么读这份榜单。
先说立场：专门测决策的公开榜单出现，本身是好事。答题类评测测知识储备，生成类评测测流畅度，而生产系统需要的是模型在一串约束下选动作，这两件事的差距行业早就感觉到了。决策评测也更难做：题目往往要配一个可执行的环境或接口模拟器，成本远高于放一堆问答题，所以能公开维护下来本身就值得肯定。但综合得分恰恰是选型里最没用的一个数：它把几种不同的能力压成一个值，再让上百个模型在这个值上排成一条线。真正能用的是它底下的三样东西：任务构成、评分口径，以及题目有没有可能被见过。
二、四类任务族暴露的是四种能力
决策类评测通常能拆出四类任务族，各自考验的能力并不相通。
| 任务族 | 考什么 | 暴露的能力 | 常见失败形态 |
|---|---|---|---|
| 带约束的规划 | 给定目标与限制条件排出可执行步骤 | 约束处理与前瞻 | 结果碰对但中途违反约束 |
| 多步工具选择 | 每一步从可用接口里选下一个动作 | 接口理解与状态跟踪 | 重复调用同一工具、参数格式错 |
| 不确定下的信息收集 | 该追问还是该直接执行 | 缺口感知与自信校准 | 缺前置条件硬开工，或追问不休 |
| 需要拒绝或追问的情形 | 请求越界时的处理 | 弃权与澄清能力 | 对超范围请求给出自信的错动作 |
一个模型完全可能规划强而工具弱，靠规划项把综合分拉满。所以读榜的第一个动作，是把总分拆回类别，对照我方场景看每类的占比与权重，而不是盯着那条总排名的线。
三、三种评分口径会让同一模型拿到不同名次
同一批任务，评分口径至少有三种。只看最终结果：简单直观，宽容试错，但不关心模型走了多少步、中间有没有越界。结果加步数：把效率计进来，会偏爱一次做对的模型，惩罚反复试探的模型。过程合规：每一步都要通过约束检查，同样做对的模型，只要中途绕了违规的路就直接扣分甚至清零。
三种口径给出的排序可以完全不同，一个爱试错的模型在第一种口径下名次很高，在第三种口径下可能掉出前列。读任何榜单，先找口径说明；找不到的，这份榜单降级为存在性证据。不同榜单的登顶经常换人，未必是模型退步，多半是尺子不同。把两个榜单的名次放在一起比较之前，先确认它们量的是不是同一种东西。
比口径更容易被忽略的是分数归因：一个模型的得分上涨，未必是决策变好了，可能只是输出格式更贴合评测器的解析规则、拒绝话术恰好命中了评分关键词，或者在某一类题的模板上训练得更充分。凡是只看总分不看逐题行为记录的选型，都会把这类归因错误当成能力进步。
四、读榜五个动作
我们把读一份新榜单固化成五个动作，每个动作都有明确的看什么和缺了怎么办。
| 动作 | 看什么 | 合格表现 | 缺失时的处理 |
|---|---|---|---|
| 看任务分布 | 类别占比与我方场景的重合度 | 我方高频动作在榜单有对应任务族 | 重合度低，名次只作背景材料 |
| 看构造方式 | 题目怎么生成、是否公开说明与样例 | 有公开的题目构造文档 | 完全不透明，则无法排除模型见过题 |
| 看离散度 | 同一任务族内部分数的散布 | 族内成绩稳定 | 族内忽高忽低，说明靠个别题型得分 |
| 看提交时间 | 榜单更新频率与我方关注模型的提交时间 | 数据与我方决策时间接近 | 长期不更新，结论使用前先复核 |
| 看第三方复现 | 有没有独立复现或交叉验证记录 | 有公开复现 | 没有，就把自行复现列进选型工作量 |
五个动作做完，一份榜单能提供的有效信息大概就浮出来了：它到底测没测你关心的那类决策，以及它的分数可不可能虚高。这五个动作加起来花不了半天，却能在谈判桌上拦下大多数只拿总分来推销的方案，投入产出比在选型工作里名列前茅。
五、防污染三项自查与上线前三步
决策类任务和数学题、代码题一样存在数据污染风险：训练语料里进过相似题目，分数就会虚高，而且这类污染比知识问答更难察觉，因为决策题的表述空间大、变体多，沾半边就算见过。三项自查值得长期做：自建留出集，题目从不出门；把内部真实工单改写成评测题，它比公开题更贴近我方分布；定期换题，同一套题用得越久，流出去的机会越多。
从榜单好名次到能上线，中间还缺三步。第一步离线同任务对照，用我方自己的题库、我方的判据，把候选模型和现用模型放在同一张桌上比；这一步最容易被预算砍掉，但它淘汰掉的是绝大多数名不副实的候选。第二步影子流量并行，真实请求复制一份给候选模型，但不采纳它的任何输出，只观察行为差异；影子期要覆盖业务的完整周期，短窗口里看到的平静不代表真平静。第三步小范围限权试用，把可用工具收紧到最小集合，再放进真实流程，观察期内所有危险动作按发生计数。三步走完，才有资格谈换不换。
六、把榜单写进采购评估表的正确方式
榜单名次可以进采购评估表，但只能作为筛选阶段的证据之一，且必须附局限说明。洹拓给客户的评估模板里，核心是一张映射表，把榜单的每个任务族落到我方的具体业务动作上，名次本身只占一格。
| 榜单任务族 | 我方对应动作 | 对应强度 | 我方侧证据 | 结论 |
|---|---|---|---|---|
| 带约束的规划 | 工单排产、跨系统流程编排 | 强 | 离线对照的约束违反率 | 名次可作参考 |
| 多步工具选择 | 内部接口调用与状态维护 | 强 | 影子流量的调用格式错误数 | 以实测为准 |
| 信息收集 | 需求澄清、异常确认 | 中 | 限权试用中的追问恰当率 | 名次权重调低 |
| 拒绝与追问 | 越权请求与危险操作拦截 | 中 | 越界动作计数 | 需专项补测 |
说到底，这类榜单的价值是把决策能力变成可公开讨论的对象，比各家自报成绩强得多，这不是要贬低它。但它永远替代不了在我方分布上的实测。名次是线索，不是结论，把线索当结论用的人，将来出了问题回头去找榜单问责，是找不到人的。