arXiv cs.AI· Chuyi Wang, Xiaohui Xie, Tongze Wang, Fangchen Luo, Yong Cui·· 10 小时前AI 评分38
LIDAR:通过行为指纹验证编码智能体背后的模型身份
Who Is Behind the Harness? Verifying Model Identity in Coding Agents through Behavioral Fingerprinting
AI 导读
研究者提出 LIDAR,一种针对编码智能体运行时的主动黑盒指纹方法,通过三组编码探针任务考察编辑后验证、瞬时故障恢复与规范—测试冲突处理,无需模型权重、logits 或提供商内部信息。
正文 · AI 翻译
摘要:LLM 越来越多地通过编码智能体框架运行,这些框架会检查代码仓库、调用工具并修改文件。因此,替换此类智能体背后的模型可能会改变与安全相关的决策,包括它是否会验证更改,或能否从失败中安全恢复。现有的 LLM 指纹大多从直接文本或 token 分布推断身份。在编码智能体中,这些信号受到系统指令、控制器逻辑、工具和执行反馈的中介,限制了它们的可迁移性。
我们提出 LIDAR(LLM Identification from Decisions and Actions at Runtime,运行时决策与动作的 LLM 识别),一种针对编码智能体执行的主动黑盒指纹识别方法。三组编码探针对在受控变化下暴露编辑后验证、瞬时故障恢复和规范—测试冲突解决。LIDAR 用互补的实例级和分布级特征表示由此产生的轨迹,并使用轻量级概率识别器将其与干净参考进行比较。它不需要访问模型权重、logits 或提供商内部信息。
我们在 OpenCode、OpenHands 和 mini-swe-agent 上评估了来自八个家族的 24 个模型,为每个框架分别拟合参考。闭集 Top-1 准确率在三个框架上介于 91.39\% 到 98.89\% 之间,在每个设置中都超过了所有三个基线。当审计还包括来自同一家族的未注册模型时,平衡准确率介于 79.58\% 到 80.42\% 之间。这些结果表明,智能体执行行为提供了超越最终输出的模型身份证据。
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);软件工程(cs.SE) |
| 引用为: | arXiv:2609.28559 [cs.CR] |
| (或 arXiv:2609.28559v2 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.28559 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Chuyi Wang [查看电子邮件]
[v1]
2026年9月23日星期三 09:12:46 UTC(418 KB)
[v2]
2026年11月18日星期三 13:37:26 UTC(730 KB)
来源:arXiv cs.AI · arxiv.org