arXiv cs.CL· Junwei Ma, Arun Kumar Chithanar, Palash Goyal, Chul Lee·· 10 小时前AI 评分31
表格序列化方式决定语言模型保留哪些关系
Table Serialization Determines Which Relations Language Models Preserve
AI 导读
研究显示，指令微调语言模型在表格查找中的表现取决于文本序列化方式而非表格形状本身：在 256 单元格合成表格上，行优先格式在 64 x 4 高表中领先 42.3-54.0 个百分点，列优先格式在 4 x 64 宽表中领先 35.0-59.0 个百分点。错误模式呈互补性：行优先易保留正确行但丢失目标列，列优先易保留正确列但丢失行，作者称之为“关系局部性”。
正文 · AI 翻译
摘要：我们研究文本序列化方式如何影响指令微调语言模型中的表格查找。我们的诊断任务要求模型在某一指定列名下找到包含指定值的行，然后返回同一行中另一指定列名下的值。我们将相同的合成 256 单元格表格分别以行优先形式和列优先形式呈现，在列优先形式中每个表头都放在其对应值旁边，同时将表格的宽高比在五种形状之间变化。在三个模型上，更优的格式会随表格形状而变化：行优先在窄高表格上表现更好，而列优先在宽表格上表现更好。在 64 x 4 时，行优先领先 42.3-54.0 个百分点；在 4 x 64 时，列优先领先 35.0-59.0 个百分点。将错误答案映射回其来源单元格，揭示出一种互补的错误模式：行优先倾向于保留正确的行但丢失目标列，而列优先倾向于保留正确的列但丢失行。我们用关系局部性这一术语来描述这种模式：序列化使一种关系在局部可用，同时使另一种关系依赖于位置对齐。一项单独的非表格排序实验支持这一解释。因此，文本序列化表格中看似与宽度相关的失败取决于线性化方式，而不仅仅是表格形状。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.24798 [cs.CL] |
| （或 arXiv:2610.24798v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.24798 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junwei Ma [查看电子邮件]
[v1]
2026年10月17日星期六 18:07:24 UTC（83 KB）
[v2]
2026年10月29日星期四 22:30:05 UTC（83 KB）
来源：arXiv cs.CL · arxiv.org