arXiv cs.AI· Lindsey Ferris, Sierra Bonilla·· 10 天前AI 评分40
如何保障 AI 编写软件的质量：一个医疗平台案例研究
A Case Study in Assuring AI-Written Software
AI 导读
一项案例研究记录了一个由编码智能体构建、由无正式软件工程训练的操作者治理的生产级医疗平台。其工作流逐步演变为人类主导的元智能体系统：一个智能体写代码，其他智能体监督审查，项目规则沉淀经验。操作者发现测试、监控与审查智能体均可能出错，包括监控代理指标而非结果、审计静默失败、缺失检查从结果中消失，以及一次自动修复引发运营中断。
正文 · AI 翻译
摘要：软件工程智能体可以让没有受过正规软件训练的人构建他们原本无法实现的系统，同时也能生成比专家能够有效审查的更多的代码。在这两种情况下，详尽的代码审查都无法可靠地作为人类控制的唯一基础。我们报告了一个通过编码智能体构建、由一位没有受过正规软件工程训练的操作者治理的生产级医疗平台的案例研究。随着时间的推移，其工作流程发展成为一个以人为主导的元智能体系统，其中一个智能体编写代码，其他智能体对其进行监督和审查，项目规则将经验教训传承下去。操作者发现，用于监督系统的测试、监控器和审查智能体都是容易出错的。一些监控器衡量的是代理指标而非结果，一些审计静默失败，缺失的检查从报告结果中消失，还有一次自动修复导致了运营中断。在这个案例中，人类控制取决于将预期结果、用于判断结果的证据、智能体的权限以及最终的人类决策都绑定到同一个底层目标上。
| 评论： | 已被 NeurIPS 2026 元智能体研讨会接收 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.08651 [cs.SE] |
| （或 arXiv:2610.08651v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08651 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sierra Bonilla [查看电子邮件]
[v1]
2026年10月6日星期二 16:37:08 UTC（190 KB）
来源：arXiv cs.AI · arxiv.org