一年处置上千万条 AI 评价，真正的成本在申诉那一侧
一、识别是最便宜的一段，成本全在处置之后
据公开报道，某点评平台一年处置了上千万条 AI 生成的评价。这个数字我们只作为引子，不作为本篇的判断依据。真正值得做内容治理的人盯的，是这条链路的后半段。
一条批量处置的总成本可以拆成四块：识别成本、误伤成本、申诉处理成本、恢复之后的信任成本。第一块最容易投入，也最容易对外讲；后三块常被漏算，却是长期真正花钱、花人的地方。识别模型上线只是把闸门建起来，误伤了多少真人、这些人怎么申诉、复核要多少带宽、被错误处置的内容恢复之后用户还信不信这套规则，才是决定这套治理能不能长期跑下去的东西。我们把链路摊开，一段一段看该怎么设计。
二、判定信号分三层，只靠文本层必然误伤真人
判一条评价是不是机器生成，可用的信号有三个来源，落在不同层，能力与代价各不一样。
| 信号层 | 看什么 | 强项 | 单用时的致命弱点 |
|---|---|---|---|
| 内容层 | 模板化程度、句式统计、用词分布 | 便宜、可规模化 | 真人照抄好评模板会被误判 |
| 图像层 | 合成痕迹、重复素材、跨区域拼贴 | 对批量配图有效 | 纯文字评价覆盖不到 |
| 行为层 | 账号发帖时序、设备与关联网络 | 能识别有组织批量 | 对单条高质量内容不敏感 |
三层必须合起来用，原因很直接：单靠文本层一定会误伤真人。真实用户写好评时，本来就会照着商家给的模板抄、会写得工整、会用一堆赞美的固定词，这些特征和机器生成的表面特征高度重叠。你把文本层的阈值调严，误伤一片正常用户；调松，批量内容照过。文本层单独拿出来永远在误伤和漏放之间来回摆，只能靠行为层的时序、图像层的素材做旁证，把判断从”这句话像不像机器写的”挪到”这个账号这波动作像不像有组织”。
这里要划一条硬边界：本篇只讨论治理侧怎么降低误伤、怎么把申诉做扎实，不提供任何让生成内容躲过识别的方法。识别信号的作用是让处置更准，不是教人绕过它。
三、处置动作按置信度与后果分档，每一档都要可逆
判完了不等于要下架。处置应该是分档的，横轴是判定置信度、纵轴是内容一旦被误判或漏判的后果严重性，两轴一起决定动作。
- 低置信、低后果：不处理，只在内部标记，继续观察这条内容的后续信号。
- 中置信：降权展示，不删除，让它少被看到，给用户补证和自然消长的空间。
- 高置信或中高后果：折叠并要求补充凭证，把内容收起来，给一次举证的机会再定。
- 高置信且后果严重，或被认定违法：下架并通知被处置者，说明理由并开启申诉。
双轴分档的意义在于，不至于因为文本层一个高分就把一条普通用户的评价直接删掉。分档之后有个必须写进设计的纪律：除了被认定违法的那一档，其余处置动作都要可撤销，而且撤销之后不留残余标记。很多平台的坑在这里——申诉成功了，内容恢复了，但账号上还挂着一个历史风险标记，后续每一次分发都被隐性降权。这种”恢复但带污点”的做法，把申诉处理成本悄悄转嫁成了信任成本，用户感到规则不可信，之后再也不申诉，直接流失。撤销要撤干净，恢复就是回到处置前的状态。
四、申诉通道的四个要点，把被处置者的自证成本封顶
申诉是处置链路的必经环节，不是给客户添麻烦的额外步骤。它的四个设计要点，缺一个都会把成本推高。
第一，申诉入口必须出现在被处置者能看到的位置。把入口藏在帮助中心第三级页面里，等于没有申诉通道，误伤只能靠舆情爆发才被看见。第二，要求补充的凭证要具体，不能只写”请提供证明”。要哪张照片、哪个订单号、录制视频要多长、拍到什么算数，一次说清，而不是让用户猜着提交、被打回来再猜。第三，复核时限要明确，给用户一个可等的确定窗口，而不是”我们会尽快”。第四，复核结论要写明是哪一条信号出了错。只给”经核实违规”的结论，用户不知道系统凭什么判他，也没法在下一次避免同样的误判；写明”本次是行为层的关联特征触发了误判”，既是对用户的交代，也是回流给模型的修正信号。
有一条和申诉质量直接相关：被处置者的自证成本要封顶。补充凭证这件事很容易滑向变相骚扰——今天要多一张图、明天要一段录屏，反复追加要求，把人耗到主动放弃。工程上要规定自证材料的上限和最长时限，要求一次列全，超过约定次数仍无法判定时按有利于被处置者的方向处置，而不是无限期挂在待证状态。
五、复核带宽按处置档位估，判定质量看分桶不看总数
申诉要人处理，人的带宽要提前估。估法不是拍一个数，而是从比例反推：申诉量占被处置量的比例，按四档处置分别算——下架档的申诉率通常远高于降权档，混在一起算会低估高后果档的人力。算出每档的日均申诉条数，再除以单个复核人单位时间的处理能力，就是这条线需要的复核人数。更重要的是把复核率本身当信号用：某一周申诉率异常升高，很可能不是用户变坏了，而是模型或阈值改动导致的退化，要把它当作报警，触发一次判定回查，而不是单纯加班消化。
判定质量也不能只看准确率这一个数。在一个真实内容远多于违规内容的池子里，总准确率会被大量正常样本摊平，看着很高，却掩盖了对特定人群或品类的系统性误伤。要看的是按人群、按品类分桶之后的误伤率与申诉率：某一类高频写长评的真实用户是不是误伤率明显偏高，某个品类的正常内容是不是申诉集中。总数掩盖问题，分桶暴露问题。哪个桶的申诉成功率高，就说明那个桶的判定信号不适配，要单独调整，而不是全局动阈值。
六、灰产与真实用户分开处置，用披露代替部分判定，每周盯四个数
最后一层是把对的人和对的事分开。有组织的批量生成和一个普通用户用工具润色文案，是两件不同的事，处置策略应该不同：前者是有规模、有协同、以数量占位的行为，适合按行为层的关联特征整批处置；后者只是借工具把话说得更顺，内容本身可能真实。对后者，删除往往是过度反应，更合适的做法是要求标注来源、而不是直接下架。把这两类混进同一条规则里，必然要么放过灰产、要么伤到个人。
在判定困难的时候，还有一条替代路径值得用：与其强行判真假，不如要求披露。当系统无法确定一条评价是不是 AI 辅助生成时，让发布者勾选是否使用了 AI 辅助，把这作为一项元数据带在内容上，比硬下一个可能被推翻的判定更可控。披露项也要验真——把自报的披露状态和模型的分层信号做抽样比对，发现某类账号一边自报”未使用”一边持续命中内容层特征，就把这个桶拉去复核。披露不是免责，而是把不可判定的灰区变成可管理的分类。
整套治理要能被观测，我们建议每周固定看四个数，它们互相咬合：处置量看闸门的开口大小；申诉率看误伤的趋势，涨了先怀疑模型；申诉成功率看判定质量，这个数高说明处置在错；被恢复条目的后续举报率看恢复之后的真实表现，用来验证当初的复核结论对不对。四个数一起看，才能既防误伤、又防放水。
洹拓把这条链路的落地纪律收成一句话：识别模型解决的是能不能抓到，申诉与复核机制解决的是这套规则值不值得被信任；批量处置的账，要从误伤那一段开始算，而不是从模型上线那天算完就停。