研究：推理时脚手架能力难经蒸馏迁移到模型权重

Jingchu Gai 等作者发表论文，研究推理时脚手架（harness）带来的能力提升能否通过蒸馏迁移到模型权重中。结果显示，即使脚手架简单、模型较小，脚手架仍显著优于蒸馏出的学生模型。 作者称，这一差距源于表示能力限制：脚手架可计算每次调用原语的 NL 完全闭包，而在 NL 不属于 TC^0 的猜想下，固定深度前向传播无法表示。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。