arXiv cs.AI· Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Zhaorun Chen, Bo Li, Weiyan Shi·· 12 小时前AI 评分58
Back Up Before You Regret：测量编码智能体的备份意识并自动化备份
Back Up Before You Regret: Measuring Backup Awareness and Automating Backup in Coding Agents
AI 导读
论文提出 RegretBench，一个包含 205 个可执行任务的基准，用于评估编码智能体是否会识别即将修改的状态并提前备份。六个前沿模型的智能体平均完成 86.1% 的任务，但仅 15.2% 在关键时刻前做了备份，说明任务完成能力不等于备份意识。
正文 · AI 翻译
摘要：编码智能体现在能够自主完成任务，并在过程中修改工件、软件环境和配置等真实世界状态。然而，它们的备份意识有限：即识别出某个操作将修改之后可能需要的状态，并事先加以保存。为评估备份意识，我们推出 RegretBench，这是一个包含 205 个可执行任务的基准，任务源自 此 http URL、GitHub 和 Stack Overflow 等平台上报告的后悔时刻——用户明确后悔没有保存后来需要的状态。在六个前沿模型上，智能体平均完成 86.1% 的任务，但仅在这些时刻之前进行备份的比例为 15.2%，表明任务完成能力并不意味着备份意识。由于难以预测哪些更改会令人后悔，我们提出 BackUpper，一种 harness 插件式备份层，它检查每次工具调用，并在修改前保存受影响的状态。它结合了针对常见操作的基于规则的策略和用于复杂情况的轻量级子智能体，其规则表可随子智能体的决策随时间扩展。在 RegretBench 上，BackUpper 覆盖了每个后悔时刻的操作，并以平均 92.2% 的相似度恢复状态。实现这一点的成本仅为每任务 0.014 美元，token 数比主智能体自我备份基线少 7 倍。当用户对备份内容有偏好时，BackUpper 也可相应缩小范围，在判断某个操作是否值得保存方面与人工标注的 F1 分数达到 84.5%。这些结果表明，智能体可以低成本保持操作可逆，同时尊重用户偏好。
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.28934 [cs.AI] |
| （或 arXiv:2610.28934v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28934 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xu Li [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 21:13:31 UTC（2,585 KB）
来源：arXiv cs.AI · arxiv.org