arXiv cs.CL· Jiayu Feng·· 10 天前AI 评分22
LLM 跨州政策召回中的跨辖区替换现象测量
Right Number, Wrong State? Measuring Cross-Jurisdiction Substitution in LLM Recall of State Policy
AI 导读
研究用固定问法、仅改变辖区的设计，测试 Claude Sonnet 5.5 和 GPT-5.6 Sol 在 51 个美国辖区、3 项 Medicaid 收入资格数值上的表现，两者分别有 10 和 25 个（共 153 项）可复现地给出其他州的当前值。
正文 · AI 翻译
摘要：当 LLM 错误地回答一个针对特定州的政策问题时，它可能是在产生幻觉，也可能是在返回一个在其他州成立的、真实的值。我们用一个最小集设计来检验这一点：问题措辞固定不变，只改变司法管辖区，涵盖美国 50 个州和哥伦比亚特区（51 个司法管辖区）以及三个精确定义的 Medicaid 收入资格数值。金标准值来自一本官方数据手册，在 102 个受检单元格中有 101 个与一个独立来源一致。按照预先注册的方案，Claude Sonnet 5.5 和 GPT-5.6 Sol 在 153 个条目中分别有 10 个和 25 个可复现地给出另一个州的当前值，且在两次独立重复中完全一致。然而，归因是脆弱的。将任何等于另一个州值的错误答案都计入，会得到比核查所问州自身记录中每一个数字多 3-5 倍的可复现替换，因为许多看似跨州的答案其实是所问州自身的值，只是采用了另一种口径或来自更早的年份。关于跨司法管辖区错误的论断需要一个完整的同州参照集。我们将发布该方案、金标准表以及所有模型输出。
| 评论： | 6 页，3 幅图，1 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09458 [cs.CL] |
| （或 arXiv:2610.09458v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09458 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiayu Feng [查看邮箱]
[v1]
2026 年 10 月 7 日星期三 05:12:42 UTC（146 KB）
来源：arXiv cs.CL · arxiv.org