arXiv cs.CL· Junwei Yao, Zike Yang, Yongxi Zhou, Yanxian Chen, Jianan Liu, Jiaxi Wen, Zhijun Wang·· 10 小时前AI 评分39
先例标签与事实以相反方向影响 LLM 审批决策
Precedent Labels and Facts Shift LLM Approval Decisions in Opposite Directions
AI 导读
研究将历史案例的"记录决策"与"事实"分离测试，发现把近似的历史案例决策从 DENY 改为 APPROVE，可使 DeepSeek V4.1 Flash、GPT-5.6 Luna 和 Claude Haiku 5.5 的审批率提升约 30 至 55 个百分点。
正文 · AI 翻译
摘要：当语言模型依据书面政策裁定退款或索赔请求时，系统可以向其展示相似的过往案例。每个过往案例包含两部分：其事实以及为其记录的裁定。我们将两者分开。模型会看到一项政策、一个请求和三个过往案例，我们改变其中记录的裁定或事实，同时保持请求不变。我们选择处于临界地带的请求：在没有过往案例的情况下进行裁定，DeepSeek V4.1 Flash 在四次尝试中有时批准、有时拒绝每个请求。当过往案例与请求近乎相同（其事实仅改动少数细节）时，将其记录的裁定从 DENY 切换为 APPROVE，在为本研究编写的政策上，使 DeepSeek V4.1 Flash、GPT-5.6 Luna 和 Claude Haiku 5.5 的批准率提高约 30 至 55 个百分点，而 DeepSeek 和 Luna 在九个由真实政策改写而来的公开政策上表现出相同结果。事实则产生相反方向的推动：在不展示其记录的裁定的情况下，事实支持批准的过往案例使这两个模型的批准频率低于事实支持拒绝的过往案例。一种解读是，相比之下该请求显得更弱。这种推动不仅仅是对正确答案的校正：在 DeepSeek 的一项额外分析中，对于人类标注者判定为可批准的请求和判定为可拒绝的请求，其估计幅度相近。在 DeepSeek 针对公开政策进行的另一项独立运行中，当过往案例是另一个请求的近乎相同副本时，切换其裁定使批准率变动 9 个百分点而非 43 个百分点，而支持批准的事实相对于支持拒绝的事实仍使其降低 22 个百分点。检索过往裁定的系统应分别测试这两个部分。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.00672 [cs.CL] |
| （或 arXiv:2611.00672v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00672 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zike Yang [查看邮箱]
[v1]
2026年10月31日星期六 06:11:17 UTC（171 KB）
来源：arXiv cs.CL · arxiv.org