arXiv cs.AI· Anning Hu, Yangyu Li, Yuqi Huang, Shengchao Hu, Junchi Yan·· 3 天前AI 评分32
StableJudge：面向 LLM-as-a-Judge 的轻量级对抗防御框架
StableJudge: A Lightweight Adversarial Defense Framework for LLM-as-a-Judge
AI 导读
StableJudge 是一个将提示注入缓解外置为可复用评分前能力的轻量级防御框架，核心是 0.13B 的 Sentry 组件，可在评估前定位被注入的文本片段并做定向清洗。该框架用对抗性演化攻击训练，并从评委模型的输出分布中导出确定性的细粒度标量分数。在留出科学摘要和分布外攻击变体上，StableJudge 提升了受攻击时的分数恢复能力，同时基本保持通用性能，代码与数据将开源。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地被用作评判者，给出标量分数以驱动下游决策，包括论文评审和推荐等任务。然而，LLM-as-a-Judge 流水线容易受到嵌入在被评估内容中的分数劫持提示注入攻击，这会破坏评分信号并扭曲由此产生的排名。现有防御方法通常通过修改评判模型本身来强制实现鲁棒性，使安全性依赖于特定模型的规模和训练，并且在评判模型更新或替换时需要重复投入。我们提出 StableJudge，一个轻量级防御框架，将提示注入缓解外化为可复用的预评分能力。StableJudge 以一个紧凑的 0.13B Sentry 为核心，在评估前定位注入片段并执行针对性净化，并使用对抗性演化的攻击进行训练，以提升超越固定提示集的鲁棒性。为稳定测量，StableJudge 从评判模型的输出分布中导出确定性的细粒度标量分数。在留出的科学摘要和分布外攻击变体上，StableJudge 在攻击下提升了分数恢复能力，同时基本保持了通用性能，表明通过可复用的防御能力将安全性与评判模型规模解耦，可以实现鲁棒的基于 LLM 的评判。代码和数据将发布。
| Comments: | 12 页，包括参考文献和附录 |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.16814 [cs.CR] |
| （或 arXiv:2610.16814v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16814 arXiv 颁发的 DOI，通过 DataCite（待注册） |
Submission history
来自：Anning Hu [查看邮箱]
[v1]
2026年10月12日星期一 14:00:13 UTC（1,561 KB）
来源：arXiv cs.AI · arxiv.org