arXiv cs.AI· Abbas Raza Ali, Muhammad Ajmal Siddiqui, Moona Zahid·· 10 天前AI 评分32
面向生成式 AI 工作负载的智能内容摄取系统
Smart Content Ingestion for Generative AI Workloads
AI 导读
一篇 arXiv 论文提出面向生成式 AI 的生产级内容抽取系统，将内容抽取作为独立生命周期阶段，包含选择性 OCR 路由、基于参考的抽取评分器、结构感知父子分块器和只读检索评估器。
正文 · AI 翻译
摘要：机器学习的演进逐步改变了智能在 AI 系统中的所在位置。在传统机器学习中，任务、数据表示、标签和模型架构紧密耦合，因此数据准备范围狭窄、受模式约束且可见。生成式 AI 将模型与任何单一任务解耦：一个基础模型可服务于开放式的下游任务，而模型侧获得的通用性由数据侧的异构性来匹配，因为企业知识是以人们使用的格式（PDF、演示文稿、电子表格、扫描文档、表单、表格、图表和混合布局文件）编写的，这些格式同时承载文本、视觉、几何和结构信息。语言模型或检索器无法对在这一接口处被错误表示的信息进行可靠推理，因此内容提取本身成为一个生命周期阶段，其错误无法由任何下游检索器或重排序器修复。本文介绍了一个生产就绪的内容提取系统，使这一阶段变得明确、可配置且可度量。该系统包含选择性 OCR 路由、以稀缺性为先的策展引擎（带有基于参考的提取评分器，可衡量字符、单词和表格结构准确率）、确定性的结构感知父子分块器，以及一个只读检索评估器，它从每一页生成有依据的问题，并报告 Hit@k、平均倒数排名和延迟。在 180 篇文档的语料库上，最佳提取器得分为 100 分中的 97.4（字符错误率 0.13%，表格相似度 0.995），分块器在 25,050 个生成问题上达到 hit@1 为 68.6%、hit@10 为 92.8%、MRR 为 0.77。我们提炼出三条设计原则（结构先于语义、绝不改变你所度量的对象、为你的标签做预算），并将可度量的内容提取定位为企业智能体系统的感知层。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.07091 [cs.AI] |
| （或 arXiv:2610.07091v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07091 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Abbas Raza Ali [查看电子邮件]
[v1]
2026年10月5日星期一 13:22:01 UTC（161 KB）
来源：arXiv cs.AI · arxiv.org