arXiv cs.CL· Hengyu Ye, Songhua Hu·· 11 小时前AI 评分27
从结果到组件：面向 LLM 所提修复方案的反事实评估框架
From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs
AI 导读
研究者提出一个反事实评估框架，将 LLM 提出的修复动作拆分为所选记录（targets）与应用变更（update）两个组件，通过四种执行组合衡量各自及交互效应。
正文 · AI 翻译
摘要：由大型语言模型（LLM）提出的修复动作会指定要更改哪些记录以及如何更改其值。一个失败的动作仍可能包含有用的记录选择或有用的更新，这取决于两者如何配对。我们引入了一个反事实评估框架，将选定的记录（目标）与应用的变化（更新）分开。四种执行方式将提议的目标和更新与参考目标和更新组合起来，以衡量纠正或保留每个组成部分的效果及其交互作用。我们在两个任务上评估该框架：交通分配，其中必须从道路计数中识别受影响的需求；以及数据库修复，其中必须从聚合报告中识别受影响的行。注入的故障提供一个可逆转它的参考动作，恢复率衡量一个动作相对于该参考的损失减少量。在交通实验中的稀疏目标动作中，在参考目标上保留提议的更新可达到参考损失减少量的 79.4%，而在提议的目标上调整更新强度则为 43.7%。在数据库实验中，更新替换使 108 个动作中的 17 个变差，这些动作全部选择了未受影响的记录，且不同模型之间的频率差异显著。提议更新的价值取决于与其配对的目标。遗漏的目标会隐藏有用的更新，而过多的目标可能使较温和的更新优于参考纠正。在一项组件重用研究中，测试来自两个提议的新目标-更新配对将平均留出恢复率提高到 0.616，而在原始提议之间进行选择时为 0.580。
| 评论： | 27 页，5 幅图，15 张表。代码和数据将在相机就绪版本中发布 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26650 [cs.AI] |
| （或此版本的 arXiv:2610.26650v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.26650 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hengyu Ye [查看电子邮件]
[v1]
2026 年 10 月 19 日星期一 16:08:46 UTC（506 KB）
[v2]
2026 年 10 月 20 日星期二 13:48:34 UTC（553 KB）
来源：arXiv cs.CL · arxiv.org