arXiv cs.CL· Ethan Ludwick, Yu-Chung Hsiao·· 12 小时前AI 评分38
SANE：面向 LLM 评判器的自动化评分器专属蜕变测试框架
SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges
AI 导读
研究团队提出智能体框架 SANE，可根据评分器规格、实现和代表性输入自动识别评分器专属能力，并推导扰动配方与预期分数关系。在五个领域中，SANE 生成的已验证测试族数量是 Judge Reliability Harness（JRH）的 3.7 倍，端到端有效性相当，且在 JRH 未能检出的专业性与毒性领域也发现了评分器缺陷。
正文 · AI 翻译
摘要：LLM 评判器越来越多地介入基准评估、模型选择、数据整理和训练。只有当每个评判器都能可靠地响应影响其评分标准的变化时，它们的判断才有用。现有的可靠性测试方法通过已知对评判器分数有预期影响的扰动来修改输入。主流的 LLM 评判器测试工具将人工编写的扰动配方与合成测试生成相结合，使针对评分器的配方构思处于自动化流程之外。这限制了它们只能用于固定扰动和预先假设的评分器类型。我们提出 SANE，一个基于智能体的框架，将随机评估器的行为要求编码为可复用的智能体指令。给定评分器规范、实现和代表性输入，该流程首先识别评分器特有的能力，然后自动为每项能力推导扰动配方和预期分数关系。SANE 还定义了一个与评分器无关的验证框架，用于生成的评判器测试。它判断每个配方是否与评分器意图一致，以及每个实例化用例是否实现了该配方并支持其预期关系。由于 SANE 为每个评分器生成量身定制的配方清单，随着评分器的增加，对齐配方的数量也随之增长。在五个领域中，SANE 生成的经过验证的测试族数量是评判器可靠性测试工具（JRH）的 3.7 倍，且端到端有效性相当，并在每个领域都检测到评分器缺陷，包括专业性和毒性领域，而 JRH 在这些领域未检测到任何缺陷。在忠实性方面，SANE 在评判器排名上实现了与人类的高度一致：其测试套件分数对 11 个评判器模型的排名与人工标注的 FaithBench 表现一致（Spearman rho = 0.852），而 JRH 则不一致（rho = 0.100）。
| 评论： | 15 页，9 张图。较短版本已被接收在非存档的 NeurIPS 2026 TAE 研讨会上展示 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.28886 [cs.CL] |
| （或 arXiv:2610.28886v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.28886 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ethan Ludwick [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 20:04:40 UTC（164 KB）
来源：arXiv cs.CL · arxiv.org