arXiv·· 15 天前AI 评分34
训练过的测试能过吗：重新评估 LLM 智能体的提示注入检测器
Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents
AI 导读
研究团队通过无 LLM 重放 AgentDojo 和 tau-bench 的真实工具调用，构造出天然良性的工具输出，并用差分重放标注注入输出，评估了包括 Meta Prompt Guard 2 在内的 15 个检测器及两个任务感知 LLM 评判器。结果显示，检测器在公开基准上的排名无法预测其在智能体内部的实际表现。
来源：arXiv · arxiv.org