AI 评委给图打八分却说不出好在哪：偏好模型的三类可检查偏差
一、评委给的那个分，为什么可能等于没给
一张 AI 生成图或者一次 AI 编辑到底好不好，通行做法是训练一个”评委”模型（偏好模型或奖励模型）来打分，用来筛训练数据、指导生成、做自动验收。这类打分有个很日常的病症：像找人看方案，对方扫一眼说”挺好的八分”，追问哪里好、哪里还能改，就说不上来了。对一个要接进流程的打分器，”说不出好在哪”不是它表达能力的缺陷，而是那个分数本身没有承载信息——它可能只是在复述训练时人类偏好的相关量，而不是在度量图的质量。
分歧的来源可以归成三类，而且三类都能用很便宜的动作查出来。我们的立场是先查这三类，再谈要不要把评委接进流程：这三类偏差不会随模型规模或数据量增加而自行消失，它们来自”用偏好数据学一个标量”这件事本身。还有一个放大器要提前说清：如果这个分数要回头去优化生成器（拿它当奖励信号），共变偏差不会被留着当噪声，而是会被优化成一个稳定策略——生成器会学会产出”评委喜欢的图”，而不是人喜欢的图。
二、第一类偏差：与偏好共变的表层特征
人类偏好数据里，亮度、对比度、饱和度、锐化程度、背景虚化、人脸数量、画面里有没有文字水印这些统计量，和”好看”确实相关——因为标注场景里那些被偏爱的图本来就普遍做了这些处理。评委学到的往往就是这个相关性，而不是构图、语义一致性这些真正要评的东西。相关不是因果，但它足以让打分器在扰动下给出与质量无关的响应。
验证法是单变量扰动，做法很机械：
- 取一批图（同一主体、不同题材，覆盖后续真实会进来的分布），对每张只做一个受控改动：饱和度、亮度、对比度、锐化半径、高斯模糊半径、局部裁切，一次只动一个，其余像素一字不变。
- 把改动强度做成一条递增序列，从可忽略到明显过度，让评委对每个副本打分。
- 画”扰动强度—分数”曲线，看两件事：斜率和单调区间是否与可辨幅度匹配。合理的表现是：在人眼几乎看不出的强度区间，分数应基本不动；进入不适区间后单调下降；过曝、糊成一片这类明显劣化应有可见跌幅。
- 判定线用”人眼可辨幅度”作对照：同一批扰动副本先给标注员做双人独立判读，标出他们开始能察觉的强度点。评委的分数在察觉点之前就开始明显爬升，或者在察觉点之后几乎不动，都属于共变偏差。
关键在”单变量”。把亮度、对比度、饱和度一起提上去再打分，得到的曲线什么都证明不了——这正是很多”评委看起来挺准”的来源：真实数据里这几个量本来就同向变化，相关性于是显得稳固。逐轴扰动才能把它们拆开。
还有一项要顺带查：换一批生成来源它还准不准。评委通常在某个分布上训练或校准，把它放到另一条生成管线出来的图上，表层特征与”好图”的相关结构会变。分布内看着稳、跨一个来源就漂的，说明它依赖的还是统计相关而非语义判断。
三、第二类偏差：量表压缩，先看分布再决定它能不能当分用
第二类偏差和输入无关，和标签分布有关。人类偏好标注里，大量样本会落在中间分段（拿不准的、还可以的、不至于差），两端样本稀少。用这种数据训出来的标量输出倾向于给”安全分”：分数挤在中间那一小段，比如常见的六到八之间。这时它已经不再是一个绝对量表，而是一个被伪装成分数的排序器。
验证法只需要一张图：打分分布直方图，横轴是评委给出的分值分箱，纵轴是样本频次，样本要覆盖真实会进来的题材而不是精挑的好图。看的时候要问三个问题。
- 是否堆叠：如果九成以上的分数落在相邻的两个分箱里，那么它提供的信息基本只有相对次序；此时任何”超过某个阈值就算合格”的规则都是虚构的确定性，因为阈值附近根本没有分布支撑。
- 是否随输入变化而动：把明显差的图和明显好的图分别投进去，看分数是否真的离开那个堆叠区。不离开的，是常数函数加了点抖动。
- 是否两端不可达：满分端与零分端如果永远没有样本抵达，那么”打八分”听起来像好评，实际可能只是它的中位数。
结论要下得很实：量表压缩不是精度问题，是口径问题。一旦确认它在做排序，就只能当排序器用——取相对序、做候选筛选、按分位切；不要把它的小数当质量刻度，也不要在报表里给它配”平均分”这种指标（平均分在压缩量表上几乎不随质量变，只随题材构成变）。要恢复成可用的绝对量表，需要的不是重新训练，而是两端样本与分项标注：明确标出”确实很差”和”确实很好”的一批锚点，把量纲拉开。这件事归标注，不归模型。
四、第三类偏差：维度混同，用故意错配的样本验
人给图打分时其实同时在评几件事：是否符合提示词要求、有没有解剖与结构错误、审美水准、是否满足品牌或业务规范（主体位置、留白、禁用元素）。把它们压成一个标量，是这类评委最常见的做法，也是最难复查的做法——好图各项都高、差图各项都低时，一个总分看起来够用。只有让各项反向的时候，混同才会暴露。
所以验证法是构造故意错配的样本对，成对准备、成对判读：
- 语义不达标但画质很好：提示词要夜景，出来的是白天拍摄但曝光、层次、构图都无可指摘。评委给高分——说明画质轴吃掉了语义轴。
- 语义完全达标但画质差：主体、动作、数量、文字要求全部满足，画面糊、噪点重。评委给低分——同上，方向反过来。
- **合规越界但很”好看”**：主体位置或留白违反业务规范，甚至带明显的多余元素，视觉冲击力强。这类样本专门用来测它有没有规范轴。
- 解剖错误藏在好图里：多指、咬合错位、反射不对，整体观感很好。测的是它到底有没有结构正确性这条轴，还是只被整体观感带着走。
判读规则很简单：要求评委输出分项而不是一总分，然后用错配样本检查分项之间是否真的独立响应。如果四项在错配样本上一起升一起降，那它输出的仍是同一个总分被复制了四遍。分项输出不只是方便解释——它是让”这个分因为哪一维低”变成一个可以核对的事实，而不是一句事后编的话。这一步做不到，后面所有”评委觉得不行”的返工指令都无法落到具体的修改动作上。
五、人评一致性是天花板，两种用途两套验收
先测人和人，再谈人和模型：同一批图交给两名标注员独立打，记录分歧率与分歧集中在哪些题材、哪些维度上。评委不可能比人更稳定，除非你接受它”稳定地偏向某个错误的东西”——偏差一旦被优化进奖励信号，这种稳定恰好会被当成优点。所以评审材料里我们要求报一致性数值（人和人之间的、人与模型分维度的），不报单一平均分。
用途不同，验收标准完全不同，混用是这类系统最大的事故来源：
| 用途 | 必须回答的问题 | 最小样本设计 | 通过标准 |
|---|---|---|---|
| 离线筛训练数据 | 相对次序对不对，把最差的切掉是否有效 | 覆盖真实来源分层的批量样本，加人工复核的分位抽样 | 高分位与低分位的人工复核通过率可接受，中间段不参与决策 |
| 生成候选排序 | 同一批候选里能不能挑出人愿意留的那几张 | 同一提示多次生成的成组样本，做人工首选与评委首选对照 | 一致性不低于人工标注员之间的水平，否则排序无意义 |
| 当奖励信号优化生成器 | 被优化的方向是不是人想要的方向 | 扰动轴曲线 + 错配样本 + 优化前后各留一组盲评 | 关键轴无单调失真，盲评未发现”评委涨、人评平”的分离 |
| 在线自动验收 | 绝对阈值定在哪，误放和误拦各由谁承担 | 分层抽样 + 边界带专门加密度 + 申诉样本全量复核 | 误放率、误拦率、申诉改判率三项都被度量且有责任人 |
表里最后一行的门槛最高：自动验收要的是绝对判定，而三类偏差里量表压缩直接摧毁绝对量纲，维度混同则让它把”不合规”判成”不好看”。因此我们的默认结论是：没做过一致性证据补齐的评委，不允许放在自动验收的位置上，只能放在筛与排序的位置。要升格，先补两端锚点、补分项输出、补误放误拦的代价评估。
六、洹拓视角：上线前的最小审计动作
评委这类东西不需要一次性大审查，需要的是每次变更都会跑的几件小动作。我们把它压成四条，可执行、可留档：
- 留一批锚点图：人工按分项标过的一批图，覆盖好、中、差与四类错配情形，每批带标注记录与标注员标识。锚点集纳入版本管理，改动要留原因，不允许为了让某次评测好看而换图。
- 换评委先跑锚点集看排序变化：权重、提示模板、图像预处理任何一项变了，第一件事是看锚点集上的相对序怎么变、哪些对调了位置，报告变化量而不是报告绝对分。绝对分跨模型不可比，这是量表压缩的必然结果。
- 高分段与低分段各抽样人工复核：中段样本不复核（那里信息最少），两端复核（那里决定筛子和验收的可信度）。复核结果按维度和扰动轴分别记，形成下一轮标注的补充样本。
- 记录被评委否掉的样本的申诉率与改判率：申诉率上升说明评委在拦人，改判率上升说明拦错了。这两个数是”评委是否还能待在自动验收位上”的唯一持续证据；没人申诉只可能是流程里根本没有申诉入口，不是它准。
给一个明确的判断：评委的分数应当作为排序信号加异常筛子使用，不作为验收结论。这两个角色之间的差距不是精度，而是证据类型——排序只需要序对，验收需要绝对量纲、维度可分与一致性上界三项都成立。在自研交付里，我们把这三项写成上线检查表里的必填字段，缺一项就把这个打分器降级到候选筛选位置，由人来签最后那道判断。反过来说，什么条件下这套保守做法不划算：只做内部生成、不进任何对外流程、失败代价只是重跑一次的场景，直接拿排序当筛子用就够，不必补一致性证据；把自动验收接进对外交付的时点，才是必须补齐的时点。洹拓科技内部把这句话定成规矩——**打分器可以说”这几张里这张相对最好”，不可以说”这张可以交”**。