arXiv cs.AI· Vineet Kumar, Kanishka, Bhuvanesh Mandora·· 9 天前AI 评分29
Structure Tax：结构化输出如何影响 LLM 性能
Structure Tax: How Structured Output affects LLMs Performance
AI 导读
研究重新审视了 LLM 结构化输出导致精度损失的"结构税"说法，发现损失取决于 schema 设计而非结构本身。推理优先的字段排序可匹配甚至超过自由格式精度，答案优先排序则导致精度骤降，小模型尤为明显。保留推理顺序的 schema 还能改善置信度校准，CKA 显示中间 Transformer 层正确与错误表征的可分离性更强。
正文 · AI 翻译
摘要：在生产环境中部署大型语言模型通常需要将输出约束为 JSON 或 XML 等结构化格式，而先前的工作将由此产生的准确率损失视为一种固有的“结构税”。我们通过评估一系列模型、数据集和模式来重新审视这一说法，测量任务准确率、置信度校准和隐藏状态几何。结果表明，这种税取决于模式设计而非结构本身：推理优先的字段顺序可达到或超过自由形式的准确率，而答案优先的顺序会导致准确率急剧下降，在较小模型中尤为明显。格式敏感性与任务自身的结构约束成反比，且保留推理顺序的模式还能改善校准，CKA 显示在 Transformer 中间层中正确与错误表示之间具有更大的可分性。我们的发现表明，经过恰当设计的结构化格式可以匹配或超过自由形式的性能，从而将关键问题从“是否结构化”重新定义为“如何结构化”以实现最优的推理保留。
| 评论： | AACL IJCNLP 2026（主会） |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12056 [cs.AI] |
| （或 arXiv:2610.12056v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12056 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vineet Kumar [查看电子邮件]
[v1]
2026年10月8日星期四 14:39:31 UTC（1,391 KB）
来源：arXiv cs.AI · arxiv.org