原生思维链训练与照搬他人思维链训练的两条曲线差距

一、这份报告里我们能用的只有一条相对关系

公开报道转述了一份以个人作者名义发布的技术报告,作者是王琰,媒体给它的一句话概括是”一人、合法、反超原版”。报道里描述了报告中的一张图:两条实线是用原生思维链训出来的模型,颜色分别对应两位老师(Claude 的 Fable 5 与 GPT-6.1-SOL);三条虚线是对照组,其中蓝色虚线是直接用 Claude 的 Fable 5 思维链训练得到的结果;在作者给出的报告里,两条实线高于蓝色虚线。

我们对这条线能做的处理只有一种:把它当作作者报告中的相对结果记录下来,不把它当作我们已经复核过的结论,也不引用媒体那句”反超原版”作为事实。原因很直接——单人报告的外部复核能力有限:题目集从哪来、筛选与判对错用的什么规则、评测口径是否与教师模型完全一致,这些拿不到就没办法验证;而这类对照实验恰恰是”口径决定结论”的那一类。媒体把它定性为”把整个行业最贵的一道护城河变成可以绕过去的工程问题”,这句话里可讨论的是后半句(工程上确实有另一条路径),不是前半句(哪家厂商的护城河到底是什么,需要重新排一遍才能回答)。下面把三件事说清:这两条训练路径的差别在哪一层、”合法”这条线到底画在哪里、以及对企业自研的实际含义。

二、原生思维链与照搬输出:差别在状态分布,不在文本

原生思维链的生成方式是让目标模型自己对题目产出推理,再做筛选与纠错:同一道题采样多条,按最终答案正确性、步骤一致性、格式合规性淘汰,保留下来的自我生成轨迹再回头训练自己。这在训练数据分布上的含义是——每个被学习的 token,都出现在模型自己会到达的前缀之后。照搬他模型的输出是标准的 off-policy 蒸馏:拿到的序列是另一个模型的状态转移轨迹,学生是在别人的状态分布上被监督的。

这个差别不是新现象。序列模型的蒸馏里它早就存在:教师强制给出的前缀是”正确路径”的前缀,学生自己解码时会走到教师从未教过它的区域;软标签蒸馏解决的是目标分布的形状,而不是访问分布的错配;要修错配,办法就是让学生自己生成、再给它的生成打标签(拒绝采样、自纠正、把学生 rollout 重新拿去评)这一族做法。所以这份报告里真正变化的不是机理,是规模门槛——这类对照实验过去要一整条训练与评测流水线才跑得动,现在一个人也做得起。机理本身该按常识对待,不该当作新发现。

工程上能观测到的差别落在四处:

  1. 表层格式与内部表征不同步。token 序列的可统计规律最容易学,所以照搬路径训出来的模型,思维链的样子、分段习惯、常用句式都很像老师。看输出格式判断”学到了没有”是错的判据,要判就得看分布外行为。
  2. 纠错能力缺训练信号。老师的轨迹里没有”自己走错一步之后怎么绕回来”的状态,因为老师较少走到那种状态。学生一旦在自己犯错的区域解码,就没有对应的监督,表现为回溯中断、沿着错误前提继续推到底。这和曝光偏差是同一个家族的问题。
  3. 推理长度与真实难度脱钩。模仿长度分布很容易,把长度分配给难题、短答给易题很难。分数不变、输出变长是这类模型常见的观感变化。
  4. 换题型时退化不同步。同一份题上两者接近;把题目换成需要组合、需要中途验证、需要拒绝无解情形的题型,差距才显出来。判”照搬是否够用”的关键测试就是这个分布外切片,不是同池题上的总分。

结论要保守一点:on-policy 的那份代价(算力花在生成和过滤上,需要可靠的答案判定器,否则会筛出”看起来顺”而不是”对”的推理)不是仪式,它买到的是访问分布与自身匹配、纠错状态被覆盖、长度与难度相关这三件事。这三件事在任何一次评测里都可能表现为很小的差;在需要模型自己承担错误的流程里,会表现为很难解释的差。

三、”合法”这条线要拆成三条,不许含糊

第一条:输出能不能用来训练。 这件事的答案只在一个地方——服务商条款原文。我们的要求很机械:把条款原文摘录进交付文档,标注访问日期与版本,因为条款会改,留档的那一版才是当时判断的依据;同一份条款对不同主体(内部研究、商用产品、再分发)通常分层规定,所以要按”我们拿它做什么”逐条对照,而不是按”它有没有写禁止”一句话过。API 输出的日志留存、二次使用、是否禁止用于构建竞争性能力,都属于要逐条摘录的范围。这里我们不断言任何一家的条款具体写了什么——**判断依据必须是原文,不是二手转述,也不是”大家都这样”**。

第二条:来源要不要说明。 用他人模型的输出训练,然后对外表述为自己的推理能力,这不是技术问题而是陈述是否属实的问题。我们的口径很直白:训练数据的来源要进模型卡与交付文档,字段包括来源主体、获取方式、许可依据、清洗与过滤规则、大致规模区间。写不出这几栏的方案,我们不签;愿意说明来源的”照搬”在合规上是可以讨论的,隐瞒来源不是。

第三条:思维链本身算不算产品资产。 这条最容易被忽略,也最影响前面的推理。很多厂商对外输出的思维链是经过了截断、改写、延迟或安全过滤的展示文本,它与模型内部真正决定答案的过程不是一回事。作为训练目标,这类信息量本身就是有限的:学生能学到”这个任务的解答长什么样”,学不到”决策在哪一步分叉”。把”能不能拿到别人模型的中间推理”当成资产价值来估,估的是一个未经确认的对象。

四、护城河重排:可复制性从低到高

如果思维链不是不可绕过的东西,那行业里真正难复制的东西要重排一次。我们按可复制性从低到高排成五层,每一层都配上”售前怎么验客户拿到的到底是这一层”。

层级 长什么样 复制它需要什么 售前怎么验
单次提示技巧 提示词、少样本、输出格式约束 一次抄送,或者自己试几轮 要求现场换一批没见过的题跑一遍;提示词被藏起来但效果随题型变化剧烈,说明价值在这层
特定任务微调 在某类任务上得到的能力增益 同题材数据加一轮训练,加上对失败样本的判断力 让它做负例与拒答测试;只会答不会”知道什么时候不该答”的,通常停在这层
数据管道与评测体系 采集、清洗、标注、回归门禁这条流水线 时间、纪律和一批被返工教训改过的规则 追问评测集谁出、有无固定回归集、两次版本迭代间隔多久;答不上细节的,多半没在这层
长期算力与工程迭代速度 稳定的吞吐、故障处理、能把想法在短周期内跑完的能力 资金、运维经验和组织持续性 看迭代记录而不是看单次演示;能不能按客户提出的具体失败样本在可预期周期内出版本
私有数据与业务入口 独占语料、流程嵌入、权限与责任体系 无法用钱直接换,只能自己积累 请对方指认哪一段能力依赖我方数据;答不上来的,通常不是数据层,而是通用能力层

排完之后可以看出,媒体那句”最贵的护城河”其实排在第四层而不是第一层:贵的是持续迭代与工程纪律,不是某一段被输出的文本。而第三层和第五层是我们这类做交付的公司真正能替客户建的东西——思维链可以被绕过,评测体系和独占数据不能被绕过。

五、对企业自研的实际含义:三条动机,缺一条就该买 API

重排之后,”自研一个推理模型”的理由要重新算。我们认为站得住的只有三条:数据不出域(敏感数据不允许送到外部接口,或者出去一次要走很长的评审)、成本结构可控(调用量长期存在且规模可观,自有资产能把边际成本摊下来)、深度定制(需要改输出的结构、延迟预算、与业务系统的耦合形态,而这些改不动供应商的 API)。

反过来,什么条件下三条都不成立、就该直接采购 API:团队小、训练与推理两边都缺能长期投入的人;手里没有独占数据,训练素材和竞争对手同源;调用量还不足以摊平一轮迭代的开销;能力需求每几个月就换方向。这四条里中了两条以上,自研就是负资产——它会占掉本来该花在提示、检索、评测与流程集成上的精力。这类项目里我们把”买 API 加自己做编排与评测”当默认起点,自研是要被论证的那一方,而不是反过来。洹拓科技在给方案时把这条写进评审表:主张自研的一方必须逐条对应上面三条动机给出证据,给不出证据的按采购处理。

还有一个容易被这份报告带偏的点:一个人能做起来对照实验,说明的是验证的门槛低,不说明长期跑赢的门槛低。前者是设计一次实验,后者是数据、评测、故障处理与成本上一轮接一轮的持续投入,两者的难度不在同一个量级上,也不该由同一个报道结论来推断。

六、洹拓视角:该盯的是任务分布与独占数据

把三件事收成一个判断:把”能不能拿到别人模型的中间推理”当成护城河本身,是评估口径错了。它既不是教师方最难复制的资产(第四层和第五层才是),也不是学生方最容易兑现的资产(截断改写后的展示文本信息量有限,而分布错配会让表面相似掩盖纠错能力的缺失)。真正该盯的两件事从来不在思维链上:这个任务分布会不会长期存在(存在,就值得建第三层的评测体系;只是一阵风,就买接口),以及有没有独占数据(有,就值得自研;没有,自研出来的是同款能力的第二份复制)。

这份报告能带走的可用部分是方法层的:分布内同池题上的对照不能证明什么,要证就得看分布外切片和纠错状态;同理,供应商在同池题上给的分数不能证明什么,要让它在客户自己的失败样本上重跑。至于”反超”这个结论本身,我们把它留在作者报告的口径里,等外部复核;而上面第五层那条判断不需要等任何人复核——独占数据这件事,从来不是靠拿别人的输出获得的。