arXiv cs.AI· Yao Liu, Yu He, Jihao Huang, Xinyang Liu, Feng Zhou·· 3 天前AI 评分26
面向陪伴型智能体评测的披露门控用户模拟
Disclosure-Gated User Simulation for Companion-Agent Evaluation
AI 导读
针对 LLM 模拟用户过度配合、被测系统靠提问数量刷分的问题，研究者提出"披露门控"用户模拟器，将信息释放条件化为五级有序门、合并为三个可观测深度层。在已发布陪伴型智能体基准的英文语料上，移除逐样本门控语句会改变 12 个系统的排名且超出种子重跑的噪声带，但各系统分数无明显变化。该模拟器同时满足排名保序与分数尺度稳定两项标准，与已发布排行榜相关性达 0.993。
正文 · AI 翻译
摘要：在可扩展评估中，让大语言模型扮演用户是标准做法，但这一做法已被反复诊断出一个缺陷：模拟用户过度配合，因此被测系统可以靠提问数量得分，而非靠让用户愿意开口。我们用一个披露门控来回应，将信息释放条件建立在同伴智能体的行为之上：其状态是一个由五个有序门控组成的阶梯，并合并到三个可观测的深度层上。我们对其进行了规范、消融和审计。该门控是环境中的承重组件：在一个已发布的同伴智能体基准的英文语料上，从训练中撤除逐示例的门控陈述，会使 12 个系统的排名变动超出种子重跑的噪声带，而各系统得分则未显示出可检测的变化。我们提出两条验收标准：排名必须保持顺序，绝对得分必须尺度稳定。只有一个候选方案同时通过这两条——即我们发布的模拟器——其与已发布排行榜的相关性为 0.993。而改为提示一个前沿模型则几乎不改变排名，却使每个得分都上移，这对仅检查排名的做法不可见；我们提供了该基准环境所缺失的规范、消融和下游敏感性分析。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2609.00982 [cs.CL] |
| （或 arXiv:2609.00982v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.00982 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yao Liu [查看电子邮件]
[v1]
2026年9月1日星期二 09:39:41 UTC（285 KB）
[v2]
2026年10月12日星期一 03:17:02 UTC（280 KB）
来源：arXiv cs.AI · arxiv.org