RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 1 小时前AI 评分58
Microsoft 论文提出 Self-Disagreement 训练,让 LLM 面对错误质疑时守住正确答案
AI 导读
Microsoft Research 论文《Benchmarks Don't Talk Back: Learning Through Self-Disagreement》发现,当用户或其他智能体用错误论据质疑时,LLM 常放弃正确答案,增加准确率训练、采样或自我反思都无法修复。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-11-19 00:24· 17 分钟前AI 评分59
AI 导读
Microsoft Research 论文《Benchmarks Don't Talk Back: Learning Through Self-Disagreement》发现,当用户或其他智能体用错误论据质疑时,LLM 常放弃正确答案,更多准确率训练、采样或自我反思都无法修复。
正文 · 原文
微软新论文发现,LLM 在被错误论据质疑时会放弃正确答案,而准确率训练无法解决这一问题。
当用户或其他智能体对答案提出异议时,即使质疑是错误的,模型也常常放弃正确答案。更多准确率训练、更多采样或自我反思都无法解决这一问题。
Self-Disagreement 训练一个模型先给出答案,再写出反对该答案的最强论据,然后对该论据作出裁决并再次作答。标准答案检查器会奖励最终答案和裁决。
当质疑者出错时,基础版 Qwen3-8B 有 53.3% 的概率坚持正确答案,Gemma-2 9B 为 25.1%。经过训练后,两者坚持正确答案的概率均约为 89%,而仅做准确率训练并未带来这种能力。
如果你的模型会面临用户或其他智能体的质疑,请测试它放弃正确答案的频率,因为准确率分数不会体现这一点。
来源:Rohan Paul · x.com
来源:RadarAI · aihot.news