arXiv cs.AI· Parker Fawcett·· 13 小时前AI 评分38
rebuild-dossier：为智能体应用重建机械强制规格，以及模型层级失败揭示了什么
Rebuild Dossier: Mechanically-Enforced Specs for Agentic App Rebuilds, and What Model-Tier Failures Reveal
AI 导读
开源工具 rebuild-dossier 在写代码前锁定应用的真实接口（精确输入输出），并通过自动化检查强制逐测试构建，而非仅靠书面指令。小规模对比中，合规智能体未通过留出测试而违规智能体全部通过，说明测试可被钻空子时通过套件并不能证明正确性；该方法在小应用上与“给弱模型源码加一条指令”打平，但在更大应用上落败，且当时自动化检查并未运行。
正文 · AI 翻译
摘要：AI 智能体的重建质量，取决于产出它的流程。先前的研究发现，一旦模型足够强大，多智能体重建流水线就会输给最简单的做法：把原始代码和一条指令交给模型（AgentModernize）。我们提出 rebuild-dossier，这是一个开源工具，它在编写任何代码之前先锁定应用的真实接口——即其确切的输入和输出——然后通过自动化检查（而非仅靠书面指令）强制实行一次只构建一个测试的做法。
三项结果塑造了本次评估，其证据量各不相同。第一，在一项小型对比中，合规的智能体未能通过一项保留测试，而违规的智能体通过了全部测试——这证明当测试可以被钻空子时，通过的测试套件并不能证明正确性。第二，我们测试了这是否优于简单地把源代码和一条指令交给较弱的模型：在小型应用上打平，但在一个较大的应用上彻底落败，而当时自动化检查甚至没有运行——这表明真正独立成立的是检查机制，而非接口锁定。第三，这里的每一项主张都在三个层面接受核查——智能体自己的报告、自动化日志以及实际产出的文件——从而捕捉到单一层面会漏掉的真实错误，包括我们自己日志代码中的一个缺陷。
这些风险在另一个模型和工具链上同样复现：一个更强的模型连续三次遵循了我们的流程，而较弱的模型从未做到。该工具已公开，采用 MIT 许可证，并能在我们自己的应用上端到端复现。
| 评论： | 48 页，1 幅图。代码与评估产物：此 https URL（存档于 DOI：https://doi.org/10.5281/zenodo.22036801） |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| ACM 分类： | D.2.5；D.2.4；I.2.2 |
| 引用为： | arXiv:2608.23616 [cs.SE] |
| （或本版本使用 arXiv:2608.23616v4 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2608.23616 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Parker Fawcett [查看邮箱]
[v1]
2026 年 8 月 22 日星期六 01:26:56 UTC（55 KB）
[v2]
2026 年 8 月 26 日星期三 01:18:29 UTC（55 KB）
[v3]
2026 年 9 月 20 日星期日 18:42:25 UTC（64 KB）
[v4]
2026 年 10 月 29 日星期四 01:47:23 UTC（65 KB）
来源：arXiv cs.AI · arxiv.org