arXiv cs.CL· Ancil Crayton·· 11 小时前AI 评分31
交互式 LLM 评测中，为何整体准确率会误导提示词对比
Validating the Comparison, Not Just the Scorer: Why Overall Accuracy Can Mislead in Interactive LLM Evaluation
AI 导读
一项被 NeurIPS 2026 AI4GOOD Workshop 接收的研究指出，仅用整体准确率或 F1 验证自动评分器会掩盖提示词特定错误，进而扭曲 LLM 提示词对比结论。
正文 · AI 翻译
摘要：许多 LLM 研究比较模型对不同后续提示的响应方式。例如，一个提示可能中立地要求模型重新考虑，而另一个则坚称一部虚构的电影确实存在。这种差异被用来衡量对话压力的影响。然后，自动评分器会标记每个响应是否提出了无支持的事实性主张。研究人员通常用一个总体准确率或 $F_1$ 分数来验证评分器。然而，高总体性能可能掩盖特定提示的错误：如果评分器在某个提示后犯更多错误，测得的差异可能过大、过小或方向错误。一个主要包含困难响应的审计也可能歪曲整个研究中的性能。我们推导了此类错误如何改变提示比较，并使用六个模型、180 个虚构实体问题和六种提示条件来研究该问题。在对 288 个响应的平衡审计中，总体 $F_1$ 为 $.916$。然而，根据提示的不同，评分器将 2.6%-33.3% 的响应标记为不包含无支持主张，而主要 LLM 评分者判定这些响应不包含无支持主张；这些特定提示的估计值不确定。在第二次审计中，评分器和两个独立的 LLM 评分者在每个提示下评估了相同的 300 个模型-问题案例。从断言确定性而非中立地要求模型重新考虑，表面上的 9.3 个百分点增加在两个评分者下均降至 2.3 个百分点。主要评分者的区间包含零，因此未能确立增加。另外两个提示比较在两个评分者下均保持其方向，而尝试的特定提示校正仍然过于不确定，无法得出明确结论。因此，研究人员应验证他们计划报告的确切差异，而不仅仅是整体评分器：在匹配案例上审计两个提示，并将评分者和评分者的不确定性纳入最终结果。
| 评论： | 14 页，2 幅图。被 NeurIPS 2026 的 Trustworthy AI for Good (AI4GOOD) Workshop 接收 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；人机交互 (cs.HC) |
| 引用为： | arXiv:2610.31678 [cs.CL] |
| （或 arXiv:2610.31678v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31678 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ancil Crayton [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 03:02:54 UTC（85 KB）
来源：arXiv cs.CL · arxiv.org