arXiv cs.CL· Hanzhang Jia, Liheng Zeng, Zhiyu Yang, Yi Gao, Bo Ma·· 10 小时前AI 评分34
删除敏感性是模型自身的属性:跨七个开源推理模型的三条件测量
Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models
AI 导读
研究首次对多轮工具调用中的完整推理历史删除做直接、盲测、多随机种子测量,覆盖七个开源权重推理模型、三个渲染条件、三个种子、794 个任务,同一删除操作带来的分数变化从 -4.4 到 +51.3 分,两端均不含零。
正文 · AI 翻译
摘要:推理模型在多轮工具会话的每一轮都会写入推理轨迹,后续轮次会读取这一历史。在 94k 条 ShareGPT 对话中,73% 的用户交互跨越多个轮次。上游提供方将每条轨迹绑定到其签发方,因此跨签发方转发的请求到达时其历史已被删除,而这种剥离带来的任务代价尚未被测量。据我们所知,本文首次对多轮工具调用中完整推理历史删除进行了直接、盲测、多种子的测量,涵盖三种渲染条件、七个开放权重推理模型、三个种子、794 个任务以及官方检查器。同一删除操作带来的跨度从 -4.4 到 +51.3 分,两端均不包含零;对于唯一一个从 0 到 100% 删除率重新给药的模型,读数变化至多 1.5 分。删除敏感性是模型层面的属性。读数跟随模型本身并在不同部署间保持恒定,而重新训练或重新发布的模型是一个新模型,一个双单元筛选(一次保留运行和一次删除运行)以两次运行的代价重新读取它。因此,删除敏感性是模型的一个可测量属性,该读数必须作为先验信息进入路由和聚合,而不是作为一种不可见的默认代价持续存在。
| 评论: | 10 页,5 幅图,8 张表 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);软件工程(cs.SE) |
| 引用为: | arXiv:2611.13223 [cs.CL] |
| (或 arXiv:2611.13223v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.13223 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hanzhang Jia [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 20:51:21 UTC(210 KB)
来源:arXiv cs.CL · arxiv.org