arXiv cs.CL· Jatin Agrawal, Radhika Mamidi·· 11 小时前AI 评分31
主观文本评估中类型化决策模型的呈现敏感性审计：Jev、Clef Flash 与 Perplexity Decider 研究
Presentation Sensitivity in Typed Decision Models for Subjective Text Evaluation
AI 导读
研究对 Jev、Clef Flash 和 Perplexity Decider 三个类型化决策模型做了受控审计，在六个数据集、9,000 条多重标注的幽默、有用性和摘要条目上收集了 702,000 次判断。
正文 · AI 翻译
摘要：类型化决策模型为低成本自动化评估提供结构化的选择、分数和概率。我们对 Jev、Clef Flash 和 Perplexity Decider 在原生选择与评分界面下的呈现敏感性进行了受控审计。在六个数据集、9,000 条多重标注的幽默、有用性和摘要条目上，我们在保持被评估文本不变的前提下，通过改变位置、标识符、作者声明、背书、决策框架和评分细则等干预手段，收集了 702,000 条判断。Jev 在摘要上的第二位概率优势达到 6.11 个百分点；反转读者背书会使 Perplexity 在 40.40% 的配对中改变所选幽默文本；拒绝式框架使 Clef 的摘要与人类偏好的一致度下降 23.36 个百分点。评分格式也会改变分数水平，但往往保持排名不变。综合这些发现，可重复性、呈现稳健性和人类对齐性成为评估器的三种不同属性。因此，可靠使用需要在评估流程所依赖的决策和分数解释上进行验证。
| 评论： | 27 页，1 幅图，含附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06384 [cs.CL] |
| （或 arXiv:2611.06384v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06384 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jatin Agrawal [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 11:48:58 UTC（76 KB）
来源：arXiv cs.CL · arxiv.org