arXiv cs.CL· Xinyi Liu, Hooshang Nayyeri, Emine Yilmaz, Dilek Hakkani-Tur, Charith Peris, Hari Thadakamalla·· 3 天前AI 评分32
PersEvalBench：LLM 评估器能否判断人设信息的语境恰当使用？
PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?
AI 导读
研究者推出 PersEvalBench，用 403 个多轮场景测试 LLM 评估器能否识别用户历史信息的恰当与不当使用，覆盖欠个性化、过度个性化和状态误用三类共九种受控错误。在五个 LLM 评估器上，即便提供完整对话历史，错误识别率仍有限；人类对欠个性化错误的识别率为 94.4%，最强评估器仅 63.9%，且常把错误方向判反。高亮相关历史轮次仅带来小幅提升。
正文 · AI 翻译
摘要：大型语言模型（LLM）评估器越来越多地被用于评估个性化助手，但它们能否可靠地评判个性化却鲜有测试。我们提出 PersEvalBench，一个测试评估器能否识别用户历史信息的恰当与不恰当使用的基准。它包含 403 个多轮情景，其中用户信息应当持续、迁移或不再适用。该基准涵盖三大类共九种受控错误子类型：个性化不足、个性化过度和状态误用错误。人工审核确认生成的错误与其预期类型相符，且所规定的用户信息使用方式是合理的。
在五个 LLM 评估器中，即使提供完整对话历史，对受控个性化错误的识别仍然有限。在人工评估的子集上，个性化不足的差距最大：人类能识别出 94.4% 的此类错误，而报告中最强的评估器仅为 63.9%。评估器往往能识别出回答存在问题，但会颠倒错误方向，将未能遵循适用偏好（UNDER）误判为使用了不适用偏好（OVER）。更容易获取证据帮助不大：高亮相关历史轮次仅能略微提升错误识别率，这表明剩余的困难在于判断该信息在回答中应扮演何种角色。
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19314 [cs.CL] |
| （或 arXiv:2610.19314v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19314 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xinyi Liu [查看邮箱]
[v1]
2026年10月13日星期二 23:44:58 UTC（922 KB）
来源：arXiv cs.CL · arxiv.org