arXiv cs.CL· Minhyeon Oh, Chiyeong Heo, Geonwoo Noh, Hoyoung Kim, Jangwon Son, Jungseul Ok·· 11 小时前AI 评分52
BlackSwan：用猜想与反驳验证语言模型智能体的动作
Action Verification through Conjecture and Refutation for Language Model Agents
AI 导读
论文提出 BlackSwan，一种面向语言模型智能体的反驳式动作验证流程：先预测每个会改变状态的动作的预期效果，再构造可检验的出错假设，用已有观察或额外的非变更动作来检验，只有没有任何假设成立时才执行该动作。
正文 · AI 翻译
摘要：语言模型智能体越来越多地通过工具操纵外部环境来代表用户行事，而这些行为往往源自高层指令，其中关键的任务与环境特定上下文并未明确说明。为防止由此产生的不对齐行为，近期工作在执行前验证所提议的动作，主要方式是确立支持这些动作的条件是否成立。我们认为，这种以确认为导向的视角留下了一个根本性的盲点：一个错误的动作往往能通过所有询问它是否正确的检查。这促使我们为验证提出一个不同的问题：与其询问什么证据支持某个动作，智能体能否找到反驳它的证据？我们沿着这一方向提出了 BlackSwan，一种以反驳为导向的“预期—怀疑—检验”流程，它预测每个改变状态的动作的预期效果，针对其可能出错的方式构建具体且可实证检验的假设，并利用现有观察或额外的非改变状态动作来检验这些假设，仅当没有任何假设通过检验时才执行该动作。在具有挑战性的 AppWorld 任务上，BlackSwan 在骨干模型开启和关闭思考模式时，分别将成功率较最强基线提升 14.9 和 25.2 个百分点。即使不进行思考或使用上下文示例，它也优于配备了这些功能的更强基线。这些增益还可迁移到 AppWorld 之外，BlackSwan 将 WebShop 性能提升 12.7 个百分点。更广泛地说，我们的结果表明，语言模型智能体具有一种未被充分利用的能力，能够识别并自我纠正不对齐的动作，而这种能力可以通过在执行前主动猜想与反驳来系统性地激发。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02950 [cs.AI] |
| （或 arXiv:2611.02950v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02950 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minhyeon Oh [查看邮箱]
[v1]
2026年11月2日星期一 11:15:40 UTC（420 KB）
来源：arXiv cs.CL · arxiv.org