arXiv cs.AI· Oskar J. Hollinsworth, Alex F. Spies, Tigist Diriba, Adam Gleave, Chris Cundy·· 9 天前AI 评分54
FIBS：探针可检测 LLM 智能体破坏行为与未言明欺骗
Telling FIBS: Probes Effectively Detect Sabotage and Catch Unverbalized Deception
AI 导读
研究团队提出一种可跨多层与多 token 聚合信息的探针架构，并构建了迄今规模最大的欺骗数据集 FIBS 用于训练探针，在 SHADE-Arena 上取得 98.8% AUC，超过 Opus 5.5 的文本监控基线，且随底层模型规模扩大效果提升。
正文 · AI 翻译
摘要：近期事件凸显了监控 LLM 智能体的挑战以及模型欺骗人的危险。我们表明，通过探针进行的白盒欺骗检测可以扩展到前沿监控场景：我们收集了迄今为止最大的欺骗数据集用于训练探针，并引入了一种新颖的探针架构，能够跨多个层和 token 聚合信息。我们的探针在 SHADE-Arena 中达到 98.8% 的 AUC，超过了 Opus 5.5 文本监控基线，并且随着底层模型规模扩大而表现出更好的效果。为了将探针推向极限，我们在若干仅凭上下文无法判定欺骗的案例上进行了测试。在这些我们称为内省式欺骗的案例中，真实情况只能通过仔细引导或对模型训练数据的全面了解来确定。在其中一项此类评估中，我们表明探针能够以高达 99.7% 的 AUC 区分包含模型真实隐藏目标的记录与其他目标的记录。我们的探针还能轻松检测出知名开放权重模型在政治敏感话题上撒谎，以及在受到压力时对其信念撒谎的行为。我们发布了名为 FIBS 的训练数据集，以帮助推动有效探针在前沿部署中的应用，并鼓励社区用更多欺骗和破坏的示例来扩展它。
| 评论： | 正文 11 页，全文 98 页；18 幅图，18 张表。代码和数据：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2610.12445 [cs.LG] |
| （或 arXiv:2610.12445v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12445 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Alex F. Spies [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 17:58:13 UTC（1,450 KB）
来源：arXiv cs.AI · arxiv.org