arXiv cs.CL· Minghan Wang, Boyuan Wang, Jinhang Zuo, Yuxin Tao, Fang Kong·· 9 天前AI 评分30
语言模型能否选择性依赖外部指导？Box²-Bench 基准发布
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
AI 导读
研究者提出 Box²-Bench，在固定模型与任务的前提下改变工作流可靠性，以隔离模型对指导的依赖调节能力，并将这种"从有用指导中获益、同时覆盖不可靠指导"的能力称为 thinking outside the box。
正文 · AI 翻译
摘要：Agent harness 通常通过人工设计的工作流来提升语言模型，但随着模型能力增强，不可靠的指导可能日益限制其执行。我们将从有用指导中获益、同时覆盖不可靠指导的能力称为跳出框框思考。我们提出 Box$^2$-Bench，它固定模型和任务，同时改变工作流的可靠性，以分离出模型如何调节其对指导的依赖。在 Box$^2$-Bench 上，前沿模型通常能从可靠指导中获益，但当指导具有误导性或变得不可靠时仍然脆弱。为测试这种能力能否被学习，我们使用不良工作流训练两个开放权重模型，保留良好工作流用于评估。我们探索了两种互补的训练策略：反事实监督微调可提升鲁棒性，而基于结果的强化学习可以将平衡转向更多使用有帮助的工作流。我们进一步发现，这种行为不仅限于工作流，还扩展到其他形式的外部信息，改善了同伴纠正以及对被污染记忆的鲁棒性。总之，我们的结果将对外部易错信息的选择性依赖识别为 agent 可靠性的一个维度，而这是仅靠任务表现无法捕捉的。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.39578 [cs.CL] |
| （或 arXiv:2609.39578v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.39578 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Boyuan Wang [查看邮箱]
[v1]
2026年9月30日星期三 12:10:24 UTC（16,005 KB）
[v2]
2026年10月8日星期四 04:08:50 UTC（16,005 KB）
来源：arXiv cs.CL · arxiv.org