arXiv cs.CL· Yuqi Zhang, Di Zhang·· 3 天前AI 评分29
RCCM:诊断推理提示词迁移中的收益与损害
RCCM: Diagnosing Gains and Harms in Reasoning-Prompt Transfer
AI 导读
RCCM(Reasoning-Control Capability Mismatch)通过将同一问题的答案与生成结束记录配对,诊断推理提示词迁移中的收益与损害。
正文 · AI 翻译
摘要:一个推理提示词可能改善一种部署,却损害另一种部署。RCCM(推理-控制能力失配)通过将同一问题的答案与生成如何结束的记录配对,来考察这些反转现象。在五个开放权重部署和九种策略中,总体准确率掩盖了问题层面的大量增益与损害;一项采用共同预算的 MATH500 评估在单独样本上考察了迁移效果。在另外 60 个问题上,简洁推理在 2,048 token 上限下提升了 Phi 在三个集合上的自动答案匹配,却大幅降低了 Qwen 的匹配。经作者审核的最终答案承诺给 Phi 带来较小的、统计上尚未确定的增益。保留一个答案阶段也能提升匹配,但会增加输入和调用成本。这些结果表明,为什么提示词的收益必须结合其执行和评估来解读:匹配参考答案并不一定意味着给出了答案,而表面上的压缩收益可能另有解释。RCCM 记录了这些证据,以便进行可复现的迁移比较。
| 评论: | 21 页,2 幅图。包含一个大小受限的可复现性子集作为辅助文件 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.19872 [cs.CL] |
| (或 arXiv:2610.19872v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.19872 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Yuqi Zhang [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 09:31:04 UTC(7,706 KB)
来源:arXiv cs.CL · arxiv.org