arXiv cs.CL· Abhishek Barali, Aayush Paudel·· 12 小时前AI 评分39
研究：Schema 中的最小条目数会让开源权重模型在抽取列表中凑数填充
Padding to k: A Minimum Count in the Schema Makes Open-Weight Models Pad Their Extraction Lists
AI 导读
一项预注册研究测试 8 个开源权重模型和 6 个托管服务模型，发现 schema 中未强制的最小条目数会被模型当作目标：列表超出真实条目数的比例从 34.5% 升至 55.4%。多数填充条目是文档中的真实文本，约一半能通过"条目出现在原文中"的检查。常见修复仅部分有效：提示"条目更少也可以"平均可消除该效应但会漏掉更多真实条目，而带校验错误重问会让填充更普遍。
正文 · AI 翻译
摘要：抽取流水线要求语言模型输出符合 schema 的 JSON，而 schema 可以设定列表条目的最小数量。我们研究当文档中的条目少于该最小值时模型会怎么做。按照预先注册的方案，我们在来自九个标注数据集的 558 份真实文档上测试了八个开放权重模型，并额外以托管服务上的六个模型作为参照。有三项发现尤为突出。第一，模型把该数量当作目标：schema 中给出但未强制执行的最小值，使长度超过真实数量的列表占比从 34.5% 升至 55.4%。第二，这种填充很难被发现，因为大多数新增条目都是取自文档的真实文本；其中约有一半能通过“每个条目都出现在源文档中”的检查。第三，常见补救措施只能部分奏效：一句说明“条目更少也可以”的话平均而言消除了该效应，但会漏掉更多真实条目；用散文形式给出数量（“最多 k 个”）同样会提高多计；在强制执行最小值的情况下提供“N/A”选项，仍有一半列表被填充；而带着校验错误重新提问，则会使填充变得远为常见。我们在此 https URL 发布了代码、答案列表和运行记录
| 评论： | 26 页，4 幅图。已在此 https URL 预先注册。代码与数据：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30997 [cs.CL] |
| （或 arXiv:2610.30997v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30997 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Abhishek Barali [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 09:38:58 UTC（66 KB）
来源：arXiv cs.CL · arxiv.org