arXiv cs.MA· Dani Roytburg, Shreya Sridhar, Daphne Ippolito·· 10 小时前AI 评分34
如何衡量推理模型的弱到强可读性：提出 transfer utility 指标
Measuring Weak-to-Strong Legibility of Reasoning Models
AI 导读
研究提出 transfer utility 指标，通过弱模型在给定不完整推理轨迹时完成任务的表现来衡量推理轨迹的可读性。评估 12 个推理模型在三个任务上的 84k 条轨迹后发现，性能最高和最高效的模型生成的推理轨迹 transfer utility 排名最低。该指标还能预测弱监控模型验证数学或逻辑类程序密集轨迹的能力，但验证事实驱动轨迹时效果减弱。
正文 · AI 翻译
摘要：语言模型越来越多地被训练为在回答用户查询之前进行“推理”，在给出最终答案之前输出数百个中间 token。虽然推理的设计初衷是考虑模型的直接能力，但我们认为，推理语言模型（RLM）还应通过其推理轨迹与较弱模型之间的交互效应来评估。在安全监控和蒸馏等场景中，弱模型的性能越来越取决于可读性——即推理轨迹在多大程度上彻底且精确地外化了 RLM 的行为。现有基于效率的可读性指标无法捕捉“彻底性”，而是侧重于简洁性。因此，我们引入了迁移效用，一种衡量轨迹可读性的方法，它源自弱模型在不完整轨迹下完成任务时的交互。在三个任务上评估来自 12 个 RLM 的 84k 条轨迹后，我们发现，性能最高和最高效的模型所生成的推理轨迹在迁移效用上排名最低。我们还发现证据表明，迁移效用可以预测弱监控器验证数学或逻辑问题求解中程序密集轨迹的能力，不过在验证事实驱动轨迹时该效应会减弱。最后，我们表明开源奖励模型在正确性上与迁移效用信号脱钩。总之，这些发现揭示了弱到强可读性方面的现状权衡，并推动为未来应用建立以交互为先的框架。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 多智能体系统（cs.MA）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.20508 [cs.MA] |
| （或 arXiv:2603.20508v3 [cs.MA] 为本版本） | |
| https://doi.org/10.48550/arXiv.2603.20508 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniel Roytburg [查看邮箱]
[v1]
2026年3月20日星期五 21:23:29 UTC（3,277 KB）
[v2]
2026年6月2日星期二 07:42:23 UTC（3,004 KB）
[v3]
2026年11月6日星期五 07:29:27 UTC（1,399 KB）
来源：arXiv cs.MA · arxiv.org