arXiv cs.CL· Palvika Bansal, Rittika Jindal, Ruichong Wang·· 3 天前AI 评分44
强 harness 缩小模型差距：立法文档转 XML 的对比评估
A Strong Harness Narrows the Model Gap: A Comparative Evaluation for Legislative Document-to-XML Conversion
AI 导读
一项工业级流水线将美国州立法转换为严格 schema 约束的 XML，研究假设其准确率更多来自围绕模型构建的确定性工具（harness）而非模型本身。在 153 份金标准法案上交叉测试三种 harness 与三种 Claude 模型，完整流水线中最弱模型（0.948）反超单独使用的最强模型（0.806，配对 bootstrap p<0.001）。
正文 · AI 翻译
摘要：法律内容复现要求在章节层级、逐字文本、引文和修订范围上与源文件完全匹配；一条遗漏的引文或标注错误的修订会传导到律师所依赖的产品中。我们报告了一条将美国州立法转换为严格、受模式约束的 XML 的工业流水线，并假设其准确性更多来自测试框架工程（围绕模型构建的确定性工具），而非模型本身。我们的受控消融实验在来自两个司法管辖区的 153 项金标准法案上，将三种测试框架（零样本、单一工具使用智能体，以及分解式多智能体流水线）与三种 Claude 模型交叉组合。测试框架缩小了模型差距：完整流水线中最弱的模型优于单独使用的最强模型（0.948 对 0.806，配对自助法 p 小于 0.001）。由于两种智能体测试框架共享相同的工具，它们的差距来自编排：分解，以及由此带来的持久化状态和每个智能体的上下文。在四个评分维度上，零样本时的模型差距（0.68 至 0.81）在完整流水线中缩小至 0.95；剩余差距几乎全部集中在引文规范化上，其中规范标识符是从外部权威机构检索的，而非从权重中生成的，因此确定性查找工具提供了更大模型所不具备的精确性。
| 评论： | 已被 EMNLP 2026 的自然法律语言处理研讨会（NLLP）接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19999 [cs.CL] |
| （或 arXiv:2610.19999v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19999 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Palvika Bansal [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 11:15:25 UTC（795 KB）
来源：arXiv cs.CL · arxiv.org