arXiv cs.AI· Veljko Skarich·· 2 天前AI 评分29
Poison Valleys:诊断 LLM 代码修复中的路径依赖失败
Poison Valleys: Diagnosing Path-Dependent Failure in LLM Code Repair
AI 导读
Poison Valleys 在 1,844 次模型请求中追踪 LLM 代码修复的路径依赖失败,覆盖 PersistQueue 与 Dijkstra 两个合成 Python 案例。将错误机制从假设移入实现计划后,PersistQueue 失败率上升 32.2%,Dijkstra 上升 28.9%。不同误解产生模型相关的义务违反模式,但可能收敛为相同行为。
正文 · AI 翻译
摘要:当代码修复智能体失败时,最终测试会揭示补丁是错误的,但不会揭示是哪个更早的承诺导致了它,或哪项软件义务未能履行。Poison Valleys 在两个合成 Python 案例的 1,844 次模型请求中追踪了这一路径:PersistQueue 为磁盘支持的队列添加了原子批量声明,而 Dijkstra 为最短路径搜索添加了源敏感过滤。我们定义了看似合理但错误的软件机制,将每个机制置于模型的假设、实现计划或两者之中,并使用 Oracle 和针对性诊断坐标评估生成的代码。在匹配实验组合后,将误解从假设移到计划使 PersistQueue 的失败率增加了 32.2%,Dijkstra 增加了 28.9%。不同的误解产生了不同的、依赖于模型的义务违反模式,尽管其中几种可能收敛到相同的行为。这在从上游误解到代码机制和失败形式之间建立了一种可测量的联系。代码、数据和演示:此 https URL。
| 评论: | 被接收至 Interpreting Agent Behavior (IAB):第一届以人为中心的理解智能体、人类与交互研讨会(NeurIPS 2026 研讨会);22 页;代码、数据和演示:此 https URL |
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2610.21514 [cs.SE] |
| (或 arXiv:2610.21514v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.21514 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Veljko Skarich [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 08:49:49 UTC(37 KB)
来源:arXiv cs.AI · arxiv.org