arXiv cs.CL· Yikai Zhao, Saurabh Pandey, Pradeep Kumar Misra·· 12 小时前AI 评分44
作者写的与 Agent 读到的：企业文档摄取中的静默线索丢失
What the Author Wrote, What the Agent Reads: Silent Cue Loss in Enterprise Document Ingestion
AI 导读
主流文档转换器在把 Word/PDF 转成 token 时会丢失作者用格式编码的含义，导致 Agent 自信地答错。在 76 份真实政策文档任务上，忽略格式的摄取使 micro F1 从 0.690 降至 docling 的 0.150 和纯文本的 0.075，该差距在 Claude Opus/Sonnet/Haiku 五款模型与 GPT-5.6 上均复现。
正文 · AI 翻译
摘要：企业智能体基于文档执行操作。在智能体能够遵循某项政策、回答合规问题或提交工单之前，某个摄取层必须先将 Word 文件或 PDF 转换为 token——而正是在这一层，部署于真实环境中的智能体会悄然丢失信息。我们证明，所有主流转换器都会丢失同一层信息——作者通过文本外观所编码的含义——并且这种丢失会让智能体自信地给出错误答案，而非明显不完整。我们基于 76 份真实政策文档构建了一项任务：恢复作者特意标出的要求，并由一个不使用 LLM 评判的确定性匹配器依据文件自身的 OOXML 属性进行评分。对格式不敏感的摄取方式使 micro F1 从 0.690 骤降至 0.150（docling）和 0.075（纯文本），这一差距在来自两家供应商的六个回答模型中均得到复现——五个覆盖 Opus、Sonnet 和 Haiku 层级的 Claude 模型，以及 OpenAI 的 GPT-5.6。看不到线索的智能体只能靠猜，而 docling 在作者未标记的要求上的假阳性率是我们的四倍。跨度级留一法将损失定位到两个线索——高亮（+0.302）和颜色（+0.262），两者的 Holm 校正 p < 1e-4——而粗体、斜体、等宽字体和删除线各自都在零的 +/-0.003 范围内。同样的不对称性也出现在 PDF 中。颜色还是没有任何主流转换器会保留、也没有任何解析基准会评分的线索，而且它很常见：6,460 份文档中有 32.8% 带有刻意的颜色或高亮，10.3% 出现在义务条款上。一项预注册测试表明，为智能体键入线索比仅仅保留线索额外增加 +0.085（Holm 校正 p = 0.049）。我们通过独立模态对照渲染后的页面图像验证标签（kappa = 0.72），并界定了仅靠措辞所能达到的上限（AUC 0.664）。对智能体构建者而言，实际发现是：这种可靠性的成败取决于摄取，而非推理，而且修复成本低廉且可度量。
| 评论： | 28 页，5 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.30026 [cs.CL] |
| （或本版本的 arXiv:2610.30026v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.30026 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yikai Zhao [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 16:51:25 UTC（802 KB）
来源：arXiv cs.CL · arxiv.org