arXiv cs.AI· Nghi D. Q. Bui·· 14 小时前AI 评分58
Thinking-in-Bets：测试时记录主张可减少 LLM 智能体的谄媚式修改
Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents
AI 导读
论文提出 Thinking-in-Bets，一种免训练方法：智能体在读取用户反馈前先写下主要主张、支撑检查与置信度的私有记录，被质疑时据此保留已验证工作、只复查不确定部分。
正文 · AI 翻译
摘要：语言模型智能体常常在用户提出质疑时放弃正确的工作，而仅仅告诉它们要坚持立场又会让它们忽视真正的错误。一旦智能体读到投诉，它往往会贬低自己先前的检查以迎合用户。我们提出 Thinking-in-Bets，这是一种无需训练的方法：智能体在阅读用户反馈之前，先写下一份简短的私密记录，列出其主要主张、支持这些主张的检查以及自身的置信度。当受到质疑时，智能体查阅这份主张清单，以保留已验证的工作，同时调查不确定或新受质疑的部分。我们在八个基准上评估了五个 Gemini 模型（3.5 Flash-Lite、3.5 Flash、3.6 Flash、3.8 Flash 和 4.0 Argon）：软件工程领域的 SWE-Together、SWE-Interact 和 DeepSWE，专业报告领域的 Agents' Last Exam，学术推理领域的 Humanity's Last Exam 和 SycEval，金融分析领域的 Vals Finance，以及命令行任务领域的 Terminal-Bench。在批评之前记录主张几乎消除了补丁审查中的错误反转，并在错误反驳下保护了通过的草稿报告，而在阅读投诉之后写同样的记录几乎无法挽回收益。在多轮编码中，回复前的主张记录大幅减少了错误投诉后不必要的文件编辑，并且对记录加以门控、仅在智能体不确定时才写入，既降低了 token 开销，又比基线修复了更多真实缺陷。即使在无用户反馈的非交互任务中，在草稿中列出关键主张并在提交前重新检查最薄弱的一项，也能在所有测试模型上同时提升答案准确率和置信度估计。
| 评论： | 项目页面：this https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34654 [cs.SE] |
| （或 arXiv:2610.34654v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34654 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nghi D. Q. Bui [查看邮箱]
[v1]
2026年10月26日星期一 00:35:07 UTC（620 KB）
来源：arXiv cs.AI · arxiv.org