换一种语言做推理训练，变的不是分数是可比性｜洹拓科技
一、值得抄的是做法，不是那句结论
据公开报道，有一项多语言推理训练的对照实验，把同一批基座模型分别放进十余种语言做强化学习训练，跑了二百余组，报道给出的中文与英文性能差距是一个百分点量级的单点数值。这句话在我们这里不作为任何选型依据，也不外推到别的任务集与别的模型族。我们想搬过来的东西是另一件：它把”训练用什么语言”从一个默认设置，改成了一个可以摆出来对照的变量。
多数团队的现状是反过来的。训练语料主要是什么语言，模型就”支持”什么语言；等业务侧发现中文输出不对，再把语言当成一个缺陷去修。两种做法的差别不在预算，在于语言有没有进实验设计。一旦进了实验设计，就必须回答三个很具体的问题：换语言之后数据变了没有，奖励判分变了没有，评测口径变了没有。这三问没答，”差距很小”和”差距很大”一样没有价值。
二、六件套：缺一项，数字就不能拿去决策
一项多语言推理训练的实验要能被别人复用，至少交齐六项配置。
- 基座模型与参数规模。同组必须逐项对齐。跨规模混着比，读到的是规模差不是语言差。
- 训练数据语种与配比。写明每种语言的占比、题目来源与清洗规则。如果中文组是把英文组翻出来的，要说明翻译方式与人工复核比例，否则”语言”和”数据来源”两个变量是绑死的。
- 奖励函数的判分依据。只按最终答案判，还是含过程分。含过程分时，判分用的模型自身对语言敏感，这一项不写清，其余五项都失去意义。
- 每组的采样数与训练步数。同语言不同采样量带来的波动，常常大于同采样量不同语言带来的差别。
- 评测集语种与训练语种是否同一。这是最容易被漏的一项。用英文题集去评中文训练出来的模型，测到的是跨语言迁移能力，不是训练语言本身的作用，两者的结论方向可以完全相反。
- 差距的置信区间与样本量。给了点估计就必须给区间和组数。
单点差值为什么不能单独读：同一语言重复几组之间本来就有方差。如果组间波动本身就在两个百分点量级，那么一个百分点量级的点差落在噪声带里。这时正确的读法是”分不出来”，而不是”略低一点”。把”分不出来”写成”略低”，会引出后面一串错的决定：换语言、换供应商、重训一遍。反过来也成立，”分不出来”不等于”一样好”，它只说明当前实验精度不足以判定差异存在。要做的是把重复组数与采样量提上去，而不是给一个差值配一段解释。
三、把推理与表意拆开：跨语言用例怎么设计
想知道推理能力和语言能力是不是各自独立，有一套便宜的做法：同一道题分别用两种语言输入，再要求模型用第三种语言作答。第三个语种要挑训练里少见或没作为主训练语言用过的，这样两种输入语言之间的差别才能归到”题意理解”，答案语言的差别才能归到”表意通道”。
四条判据按顺序看：
- 同题同语言重复采样，结论一致率。这是自身稳定性基线，也是最该先看的一条。
- 换输入语言、答案语言不变，结论一致率。测的是题意解耦。
- 换答案语言，结论一致率。测的是表意通道是否反过来影响结论。
- 换答案语言，中间步骤的完整度与术语正确率。测的是可读性层。
如果第一条就低，问题在采样与奖励设计，不在语言，换语言训练只会把噪声搬个地方。第二、三条高而第四条低，说明模型”会想但讲不清”，这类模型用在需要审计推理过程的场景上，要额外做一遍输出规范化，把中间步骤重写成团队定义的格式。第三条就大幅摆动，那”换语言不掉分”在你的任务上不成立，得回去查数据配比和判分依据，而不是怪模型。
四、中文推理链的三类特有失真，每类配一组回归用例
第一类，数学符号与量词的混排。中文推理链里经常一句话之内切换两套记法：前半句是自然语言量词，后半句是不等式。失真的位置通常在转换那一步，而不是计算那一步。回归用例：取一批含”至少””不超过””恰好””互不相同”这类限定的题，要求模型在每一步都保留符号与原句的对应关系，比对时按量词类型分桶统计，看错集中在哪一类转换上。
第二类，单位与十进制的写法差异。四位分节的读法在换算成国际单位或科学计数时容易错位，面积与体积这类需要平方立方的换算更容易。回归用例：面积、体积、流量三类带单位的题，每题写成”中文读法、数字、换算结果”三段式对照，检查中间步骤里单位是被丢掉、被改写还是被换错量纲；再放几道需要连续两次换算的题，看错误是否随换算次数上升。
第三类，长句指代距离变长导致的回指错误。中文技术与法规文本常用长句，主语出现在很早的位置，多步推理里模型容易把动作归到错误的对象上。回归用例：构造一段有多个候选指代对象的描述，要求模型逐步列出”这一步作用于哪个对象”，比对对象标识；错误率按指代距离分桶，如果距离越远错得越多，就是回指问题，不是知识问题。
三类用例都要进回归集，改动奖励函数或数据配比之后重跑，看分桶结果是否移动。只看总体准确率会把这些结构性失真平均掉，等它在业务里暴露时已经换了一个形态。
五、数据侧的四个不对称与语言档位的四项成本
对照实验之外，数据本身在语种之间并不同构，四个不对称最常见：
- 同一道题在不同语种里的表述复杂度不等价。直译会改变难度，长句拆短、限定前置都能把题变简单，于是”语言差异”里混进了”难度差异”。
- 可验证答案的标注密度不等价。某个语种题库带标准答案与可执行校验的比例更高，奖励信号就更密，训练收益自然更高，这和语言无关。
- 拒答与安全过滤的触发率不等价。某个语种下被判为不可回答的比例更高时，实际参与训练的有效样本数就少，组数相同不等于样本量相同。
- 代码与公式的分词切分不等价。同一份公式在不同语种下的切分点不同，影响长度上限、采样效率和计费。
把语言当成一个档位来做成本对比时，要算四项：分词计费口径差异，即同一句话在不同切分下的长度量级差；采样重试率，即不合格输出触发的重采比例，必须按语种分别统计；判分脚本对非英文标点的容错，全角半角、书名号、百分号写法都能让字符串比对失败，这类失败会被误记成模型能力问题；人工复核的语种带宽，即谁能看出中文推理链里的那三类失真。这四项在报表里通常都归在”推理成本”下面，拆不出来就没法比较档位。
六、支持度写成三档，而不是一句话
上线侧的度量，我们建议把”支持中文”拆成三档写进验收单，每档有独立判据和独立用例集，任何一档不通过都不得写成”部分支持”。
| 档位 | 判据 | 用例集来源 | 未通过时的处置 |
|---|---|---|---|
| 中文输入可用 | 不做翻译直接提问，结论正确率与同题英文输入的一致率达到团队阈值；指代与量词分桶无集中错误 | 线上真实提问抽样，覆盖高频与长尾 | 回到输入规范化，不改训练 |
| 中文思维链可读 | 中间步骤能按团队定义的格式解析，每步可指名作用对象；术语与单位在步骤间不丢失 | 第四节三类失真用例集全量 | 加输出规范化层，并记录规范化前后差异 |
| 中文输出满足业务术语表 | 输出词与术语表逐项匹配，同义改写比例在规定范围内，数值与单位的写法符合交付格式 | 客户提供的术语表与历史交付文档 | 术语约束进解码后处理，争议由客户裁定 |
三档的用处在于把责任分清：第一档不过，是模型与数据的问题；第二档不过，是格式与规范化的问题；第三档不过，是术语对齐的问题，往往不需要重训。这一整套做法在洹拓的交付里落成两件事——立项时先索要上面六件套，缺项写进风险清单；验收时只按三档出结论，不引用任何单点差值。至于语言这个变量在你的业务里到底值不值得重训一次，判据不在别人的百分点上，在你自己的分桶错误率和重试率上。