arXiv cs.AI· Haoxiang Wang, Da Yu, Huishuai Zhang·· 9 天前AI 评分27
超越固定基准与最坏情况攻击：面向语言模型的动态边界评估
Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models
AI 导读
研究者提出动态边界评估（DBE），主动定位每个 LLM 在随机采样解码下通过概率接近 0.5 的边界题目，并将其放到全局可比的难度尺度上。DBE 包含经 9 个参考 LLM 验证难度的校准题库、仅需 API 级查询的技能引导边界搜索（SGBS），以及可将新模型置于统一能力尺度的评估协议。该方法覆盖安全、能力与真实性四类任务，且与现有数据集兼容。
正文 · AI 翻译
摘要：如今评估大型语言模型（LLM）依赖于固定基准，这些基准对任何模型都应用同一组题目，从而产生天花板效应和地板效应，掩盖了能力差距。我们认为，最具信息量的评估信号位于边界处，即在随机采样解码策略下，每个提示的通过概率接近 $0.5$，并提出了动态边界评估（DBE），它主动定位每个模型的边界，并将其置于全局可比较的难度尺度上。DBE 提供三项成果：（i）一个经过校准的题目库，涵盖安全性、能力和真实性，其逐题难度标签在 $9$ 个参考 LLM 上得到验证；（ii）技能引导边界搜索（SGBS），一种仅使用 API 级查询访问即可为给定目标 LLM 找到边界题目的搜索算法；（iii）一种评估协议，将新 LLM 置于统一能力尺度上，并在目标超出题目库覆盖范围时自适应地扩展评估集。我们在四个类别上实例化 DBE，涵盖安全性（有害请求拒绝、过度拒绝）、能力（受限指令遵循）和真实性（多轮谄媚抵抗）。由此产生的评估覆盖更广泛的模型谱系而不会饱和，同时与现有数据集保持兼容。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.06213 [cs.AI] |
| （或 arXiv:2605.06213v3 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.06213 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoxiang Wang [查看电子邮件]
[v1]
2026年5月7日星期四 13:15:31 UTC（86 KB）
[v2]
2026年5月26日星期二 15:14:12 UTC（1 KB）（已撤回）
[v3]
2026年10月8日星期四 10:38:22 UTC（89 KB）
来源：arXiv cs.AI · arxiv.org