kw-bench：用真实增值税重建任务评测编码智能体 harness

查看 PDF HTML（实验性）

摘要：每一代新的前沿模型都在拓展可能性的边界。在一个 harness 之中——一个循环、一个 shell、一个文件系统、编写并运行自身代码的能力——模型能够承担越来越困难的工作。
越来越多的研究将编码智能体 harness 视为知识工作的基础设施，而非编码工具，并且一批新的基准测试正是在这一方向上对其进行检验。其中大多数是生成式的：根据一份简报构建财务模型、备忘录、电子表格，由评分标准或另一个模型来评判。很少有基准测试检验知识工作中代价高昂的部分，即调查性的部分。在审计、税务、尽职调查、监管报告、理赔或任何关于数字的争议中，答案已经存在——隐藏在不完整且不一致、分散于各系统之中的证据里——必须被还原出来，并精确到分地加以论证。
我们推出 kw-bench，这是一个基于专家向我们描述的真实业务项目构建的基准测试。它的第一个任务族是跨越三代 SAP 的五年增值税重建——遗留的 ECC、部分完成的 S/4HANA 迁移以及一位顾问的重新设计——以原始系统导出数据的形式交付：页眉、本地数字格式、部分链接表，没有任何关于各部分如何关联的文档。评分是确定性的，没有 LLM 评委。
我们在同一个模型 DeepSeek v4.1 Flash 上运行了四个 harness——Claude Code、Codex、OpenCode 和 micro-cc——各运行两小时。两个独立的、与模型无关的 harness 取得了成果（OpenCode 0.542，micro-cc 0.528）；两个实验室 harness 在离开其原生模型后，一无所获（各为 0.00）。击败它们的是惯性：在漫长的会话中让许多微弱信号保持存活。在前沿模型上，该任务迎刃而解。micro-cc 和 Claude Code 在 Claude Opus 5.5 上分别得分 0.9986 和 1.000，用时 22 分钟和 25 分钟。一项耗时数周的业务项目如今只需几分钟和几美元；在前沿之下，harness 决定了一个模型能走多远。

评论：	26 页，8 幅图，5 张表。代码与任务：此 https URL
主题：	人工智能（cs.AI）；软件工程（cs.SE）
ACM 分类：	I.2.11；I.2.1
引用为：	arXiv:2610.36405 [cs.AI]
	（或 arXiv:2610.36405v1 [cs.AI] 获取此版本）
	https://doi.org/10.48550/arXiv.2610.36405 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Juraj George Salapa Ba Hons [查看邮箱]
[v1] 2026 年 10 月 26 日星期一 23:40:10 UTC（6,397 KB）