跳到正文
arXiv cs.CL· Hanzhang Jia, Liheng Zeng, Zhiyu Yang, Yi Gao, Bo Ma·· 10 小时前AI 评分34

删除敏感性是模型自身的属性:跨七个开源推理模型的三条件测量

Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models

AI 导读

研究首次对多轮工具调用中的完整推理历史删除做直接、盲测、多随机种子测量,覆盖七个开源权重推理模型、三个渲染条件、三个种子、794 个任务,同一删除操作带来的分数变化从 -4.4 到 +51.3 分,两端均不含零。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:推理模型在多轮工具会话的每一轮都会写入推理轨迹,后续轮次会读取这一历史。在 94k 条 ShareGPT 对话中,73% 的用户交互跨越多个轮次。上游提供方将每条轨迹绑定到其签发方,因此跨签发方转发的请求到达时其历史已被删除,而这种剥离带来的任务代价尚未被测量。据我们所知,本文首次对多轮工具调用中完整推理历史删除进行了直接、盲测、多种子的测量,涵盖三种渲染条件、七个开放权重推理模型、三个种子、794 个任务以及官方检查器。同一删除操作带来的跨度从 -4.4 到 +51.3 分,两端均不包含零;对于唯一一个从 0 到 100% 删除率重新给药的模型,读数变化至多 1.5 分。删除敏感性是模型层面的属性。读数跟随模型本身并在不同部署间保持恒定,而重新训练或重新发布的模型是一个新模型,一个双单元筛选(一次保留运行和一次删除运行)以两次运行的代价重新读取它。因此,删除敏感性是模型的一个可测量属性,该读数必须作为先验信息进入路由和聚合,而不是作为一种不可见的默认代价持续存在。
评论: 10 页,5 幅图,8 张表
主题: 计算与语言(cs.CL);人工智能(cs.AI);软件工程(cs.SE)
引用为: arXiv:2611.13223 [cs.CL]
  (或 arXiv:2611.13223v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.13223

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hanzhang Jia [查看电子邮件]
[v1] 2026 年 11 月 9 日星期一 20:51:21 UTC(210 KB)

来源:arXiv cs.CL · arxiv.org