arXiv cs.AI· Mohamed Abouzahra·· 2 天前AI 评分22
微调语言智能体的课程覆盖与规则特定失效：Learning When to Withdraw
Learning When to Withdraw: Curriculum Coverage and Rule-Specific Failures in Fine-Tuned Language Agents
AI 导读
研究在 NAQD-Env 合成环境中用 LoRA 微调 Qwen2.5-3B-Instruct，比较原始与增强课程对选择性撤回能力的影响。在 naqd 提示下，SFT 检查点的决策一致率达 0.77-0.92、撤回召回率 0.46-0.86，而三个基线仅为 0.45-0.63 和最高 0.06。
正文 · AI 翻译
摘要：使用工具的语言智能体必须在证据变化或权限被撤销时修订已准备好的操作。选择性撤回意味着暂停受影响的行动、保留有支持的工作，并且只有在充分修复后才恢复。我们在 NAQD-Env 中研究监督微调，这是一个具有显式依赖关系和确定性参考策略的合成环境。Qwen2.5-3B-Instruct 的四个 LoRA 检查点比较了原始课程与增强课程，后者在三种系统提示框架下具有相同的视图和目标。三个指令微调基线和所有四个检查点在三个推理提示下，针对新的验证案例、留出的依赖族和留出的结构组合进行评估。在 naqd 提示下，SFT 检查点达到 0.77-0.92 的决策一致性和 0.46-0.86 的撤回召回率，而基线为 0.45-0.63 且至多 0.06。规则级诊断对这些增益进行了限定。原始课程检查点错误撤回了 34 个具有幸存替代支持的行动中的 26 个；增强检查点撤回 0-1 个。相反，所有 SFT 检查点比 7B 和 8B 基线更少地缩小禁止组合，这一情况在两个课程中都不存在。委托结果显示更多撤回，但对独立授权行动的保留更差，并且所有四个检查点都遗漏了有效事件报告。框架对比在不同指标和划分上有所变化，并未确立可复现的优势或等效性。每个臂一次训练运行、联合改变的课程属性、先前的评估暴露以及基线-SFT 量化差异限制了因果归因。其贡献是一种检测聚合准确率可能掩盖的规则特定回归的方法，而非微调本身即可确保智能体安全的证据。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21045 [cs.AI] |
| （或 arXiv:2610.21045v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21045 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mohamed Abouzahra [查看电子邮件]
[v1]
2026年10月15日星期四 00:38:39 UTC（853 KB）
来源：arXiv cs.AI · arxiv.org