arXiv cs.CY· Yuan-Chen Chang, Niklas Herbster, Gauthier Gidel, Tommaso Tosato·· 2 天前AI 评分32
CATCH：面向可迁移 LLM 诚实性的持续对抗训练
CAT-alyzing Honesty: Continuous Adversarial Training for Transferable LLM Honesty
AI 导读
研究者提出持续对抗训练方法 CATCH，通过让模型靠近诚实回答、远离不诚实回答，在 Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B 上仅用数百条自报告场景目标即可训练出可跨基准迁移的诚实行为。
正文 · AI 翻译
摘要：大型语言模型（LLM）在诚实性至关重要的场景中日益普遍。然而，尽管经过对齐训练，这些模型仍表现出不诚实行为，例如输出与某些知识相矛盾或无法由上下文中所获取信息支持的断言。我们提出了面向一致性诚实的持续对抗训练（CATCH），其灵感来源于一种最初为稳健拒绝有害查询而开发的方法。CATCH 训练模型趋向诚实回答并远离不诚实回答，同时保持模型的能力。我们评估了两种架构（Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B）。我们表明，仅使用由自我报告场景构建的数百个目标进行训练，CATCH 就能学到一种诚实行为，该行为能够稳健地泛化并迁移到不同的基准测试中。它持续减少 MASK 上压力下的不诚实行为，增加 Among Us 多智能体游戏中的坦白，并提高 AuditBench 中模型隐藏行为的发现率。我们表明，CATCH 在提升诚实性方面优于提示和监督微调，并且与最先进的诚实性激活引导相当。然而，得益于对效用数据的新颖选择，CATCH 在保持效用方面超越了诚实性引导。
| 评论： | 9 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.22292 [cs.LG] |
| （或 arXiv:2610.22292v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22292 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tommaso Tosato [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:43:47 UTC（313 KB）
来源：arXiv cs.CY · arxiv.org