arXiv cs.AI· Heng-Sheng Chang·· 3 天前AI 评分23
机器欺骗检测的准确性与不确定性（研究白皮书）
Accuracy and Uncertainty in Machine Deception Detection (Research White Paper)
AI 导读
这篇白皮书提出 Machine Deception Detector，同时针对检测准确率与检测器分数的不确定性：它读取语言模型每一层，仅用响应标签学习哪些 token 携带欺骗证据，并校准告警阈值使假阳性率低于预设水平。检测器集成通过成员一致性衡量每个分数的置信度，仅在成员一致时告警。评估在 Liars' Bench 五个未见欺骗任务上进行，使用 0.6B 至 32B 的六个 Qwen3 模型。
正文 · AI 翻译
摘要：欺骗检测器的价值取决于其警报所应得的信任。就像测谎仪一样，读取语言模型内部激活的检测器能够捕捉到看似诚实的欺骗性回答。然而，当前的检测器依赖于它们读取哪些层，在更广泛的测试中会变弱，并且不会说明其警报有多确定。本白皮书提出机器欺骗检测器（Machine Deception Detector），同时针对检测准确率和检测器分数的不确定性。该检测器读取语言模型的每一层，仅使用响应标签学习哪些 token 携带欺骗证据，并校准其警报阈值，使其假阳性率保持在规定水平以下。此类检测器的集成会测量每个分数的不确定性，只有当其成员一致时才发出警报，并带有置信水平来设定每个警报必须有多确定。所提出的评估在指令性的诚实和欺骗性陈述上进行训练，在 Liars' Bench 的五个未见过的欺骗任务上进行测试，这些任务由六个 Qwen3 模型读取，参数从 0.6B 到 32B，并且旨在还展示哪些层携带欺骗特征以及这如何随模型规模变化。
| 评论： | 18 页，2 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；密码学与安全（cs.CR）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.15314 [cs.LG] |
| （或 arXiv:2610.15314v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15314 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Heng-Sheng Chang [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 03:38:54 UTC（8,947 KB）
来源：arXiv cs.AI · arxiv.org