arXiv cs.MA· Sasha Robinson, Katherine M. Collins, Ilia Sucholutsky, Kelsey R. Allen·· 11 小时前AI 评分45
研究：前沿 LLM 智能体在任务中极易受恶意建议影响，提出警惕性框架
Under the Influence: Evaluating and Improving LLM Vigilance in Agentic Tasks
AI 导读
研究在危险网站导航、电商诈骗规避和不安全代码仓库修补三项任务中评估 LLM 智能体警惕性，发现所有前沿模型都极易受恶意影响，且模型性能本身与警惕性可分离。为此提出 vigilance harness，对模型估计的顾问建议价值做贝叶斯推理以决定是否采纳建议，可在保留正面影响的同时恢复基线性能。
正文 · AI 翻译
摘要：大型语言模型（LLM）正日益成为自主的助手，能够通过与软件数据库和互联网等开放世界领域交互来完成一系列复杂任务。这带来了巨大机遇，也带来了巨大风险：开放领域经常为自主智能体提供被他人影响的机会，例如决定是否接受拉取请求，或是否使用留言板上的建议来完成任务。关键在于，智能体必须能够辨别何时应将善意的建议纳入其推理，何时应拒绝恶意建议。这涉及警觉性的社会能力：即为了有效沟通而判断哪些信息应使用、哪些应丢弃的能力。尽管这一能力在人类中已有充分研究，但 LLM 智能体在多大程度上表现出警觉性仍相对未知。在此，我们在三项现实任务中考察了 LLM 智能体的警觉性：浏览危险网站、避免电商诈骗以及修补不安全的代码仓库。我们发现，所有前沿模型在所有环境中都极易受到恶意影响。我们还发现，模型性能本身与警觉性之间竟可相互分离。鉴于这些结果，我们提出了一种警觉性框架，该框架对模型关于顾问建议价值的估计进行贝叶斯推理，以决定是否采纳该建议。该警觉性框架有助于恢复基线性能，同时保留对智能体的正面影响所带来的益处，为更安全的智能体 AI 系统铺平道路。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2602.21262 [cs.CL] |
| （或 arXiv:2602.21262v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.21262 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kelsey Allen [查看邮箱]
[v1]
2026年2月24日 星期二 04:09:21 UTC（3,175 KB）
[v2]
2026年2月26日 星期四 06:37:29 UTC（3,175 KB）
[v3]
2026年3月16日 星期一 15:24:52 UTC（3,175 KB）
[v4]
2026年10月22日 星期四 17:53:12 UTC（16,296 KB）
来源：arXiv cs.MA · arxiv.org