跳到正文
arXiv cs.CL· Tianda Sun, Dimitar Kazakov·· 11 小时前AI 评分31

从目标选择到条件复用:审计工具调用模型中的残差干预

From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models

AI 导读

研究在 Qwen3.5-27B 的工具调用任务上审计残差写入干预:两种针对具体案例的变体将目标选择正确率从 35/128 提升至 119/128、从 33/128 提升至 114/128,但当熟悉事实与标识符在同一选择任务中重组后增益消失,对候选是否合格或应被选择的独立判断也几乎无改善。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:激活干预可以让语言模型产生目标答案,但模型能否在其他计算中使用预期条件?我们在 Qwen3.5-27B 上研究这一问题,任务为工具使用任务,其中时间或权限决定资格与选择。在 32 个全新世界中,两种针对具体案例的残差写入变体将熟悉的目标准确率从 35/128 提升到 119/128,并从 33/128 提升到 114/128。然而,当熟悉的事实和标识符在同一选择任务中被重新组合时,这些增益消失,而对先前被奖励的标识符的选择则增加。这些增益在不同输出格式下持续存在,但在关于候选是否具备资格或是否应被选择的独立判断中几乎没有改善。内部编辑仍可改变源事实影响判断的方式:在一项预先指定的次要比较中,当使用该源时,早期层源补丁改变了 50/64 的判断,而在未使用该源的 64 个案例中有一例出现不利变化。这种选择性效应并不能确保完整动作正确。总之,这些结果将目标选择控制、条件敏感判断和完整动作正确性区分开来。评估编辑后的状态如何被使用,而不仅仅是其训练后的答案,可以揭示这些差异。
评论: 21 页,5 幅图。代码:此 https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2610.31686 [cs.CL]
  (或 arXiv:2610.31686v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.31686

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Tianda Sun [查看电子邮件]
[v1] 2026 年 10 月 5 日星期一 11:46:10 UTC(48 KB)

来源:arXiv cs.CL · arxiv.org