arXiv cs.CL· Isadora White, Yasaman Jafari, Taylor Berg-Kirkpatrick·· 9 天前AI 评分42
对话式 LLM 智能体的黑盒取证研究
Black-Box Forensics for Conversational LLM Agents
AI 导读
针对对话式 LLM 智能体的黑盒取证研究显示，归因分类器仅凭几轮非对抗对话即可识别智能体背后的基础模型，准确率达 98%。系统提示词归因虽可行，但需针对每个提示词用大量数据重新训练，成本高昂。跨编码器指纹识别方法在完全未见过的系统提示词上取得 AUC 0.768、F1 0.703，聚合每个目标智能体 50 段对话后 AUC 提升至 0.943。
正文 · AI 翻译
摘要：随着由 LLM 驱动的诈骗不断蔓延，针对对话式 LLM 智能体的黑盒取证为追究隐藏在匿名端点背后的系统的责任提供了一条途径。在无法访问模型参数、也不知道隐藏系统提示的情况下，识别聊天机器人端点背后的基础模型（归因），将使调查人员能够将 AI 驱动的诈骗追溯到为其提供模型支持的提供商。检测两个端点何时运行完全相同的系统提示（指纹识别），即使其中一个是全新的、未见过的，也能将个别诈骗关联成犯罪网络，并揭示悄无声息的 API 变更。我们对这两项能力进行了实证研究。我们的归因分类器仅凭几轮非对抗性对话，就能以 98% 的准确率识别出智能体背后的基础模型。系统提示的归因虽然可行，但需要针对每个提示在大量数据上重新训练；现实中的系统提示数量无限且不断变化，使得这种方法成本高昂。为应对这一更开放的环境，我们的交叉编码器指纹识别方法在完全未见过的系统提示上取得了 0.768 的 AUC 和 0.703 的 F1，而聚合来自每个目标智能体的 50 段交互对话可将 AUC 提升至 0.943。因此，即使系统提示未见过的对话式智能体，也能通过几轮普通对话以稳健的准确率被指纹识别。
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.22698 [cs.CR] |
| （或 arXiv:2606.22698v2 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.22698 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Isadora White [查看电子邮件]
[v1]
2026年6月21日星期日 22:24:55 UTC（322 KB）
[v2]
2026年10月7日星期三 23:46:14 UTC（319 KB）
来源：arXiv cs.CL · arxiv.org