arXiv cs.CL· Hongliang Liu·· 9 天前AI 评分24
决策模型作为评判者时的对抗性线索：请求呈现方式的作用
Adversarial Cues in Decision Models Used as Judges: The Role of Request Presentation
AI 导读
在 200 个未使用过的 DROP 和 GSM8K 源聚类上，给候选答案加一个冒号即可使 Jev 的误接受率从 1.0% 升至 26.0%（三个输出标签），在已发布的四标签评分指令与排序 JSON 键下从 3.0% 升至 26.5%，而插入式呈现下两种候选变体均被拒绝。
正文 · AI 翻译
摘要：被指示对最终承诺进行评分的答案评判器，即使较早的值与参考值匹配，也应拒绝明确错误的最终值。我们表明，根据结构化评判请求的呈现方式，向候选项添加一个冒号就可能违反这一要求。数值参考值证实了该错误，而配对干预将候选项编辑与集成的呈现选择区分开来。在 200 个此前未使用的 DROP 和 GSM8K 源聚类上，在排序的 JSON 键下，该编辑使 Jev 的误接受率从 1.0% 增加到 26.0%（三个输出标签），并从 3.0% 增加到 26.5%（已发布的四标签评分指令）。在插入呈现方式下，两个候选项变体均被拒绝。这些交互作用通过了预先指定的统计校正，尽管 Jev 在两种评分配置和呈现方式下均达到了对照阈值。大多数过度接受发生在被分配较大数值误差的候选项中。GPT-6 Sol 未观察到任何线索条件下的误接受，缺失响应未予解决。结果表明，基本评判能力可以与在逻辑等价的请求呈现方式下对固定候选项编辑的截然不同的脆弱性共存。参考感知语法和复合排序变化限制了该发现的操作范围，并使其内部原因未被测量。
| 学科： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.11436 [cs.CL] |
| （或 arXiv:2610.11436v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11436 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hongliang Liu [查看电子邮件]
[v1]
2026年10月8日星期四 07:59:48 UTC（217 KB）
来源：arXiv cs.CL · arxiv.org