arXiv cs.CL· Zhibo Hu, Chen Wang, Yanfeng Shu, Liming Dong, Hye-young Paik, Liming Zhu·· 11 小时前AI 评分20
语言模型中的方向敏感扰动影响：多项扰动共享失效动态
Many Perturbations, Shared Failure Dynamics: Tracing Direction-Sensitive Perturbation Influence in Language Models
AI 导读
研究提出一种方向敏感、相对读出的语义脆弱性解释：任务保持的改写可让正确答案变错，而更大的内部变化却可能不影响答案。纵向-横向分解与紧凑的储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 的留出族与条目上预测失效，向 ReClor 的迁移有效但依赖参数化。匹配干预显示方向携带标量几何之外的因果信息，但失效很少跨选项顺序持续，说明共享预测规律与上下文相关的方向效应并存。
正文 · AI 翻译
摘要：为什么一个保持任务的改写会把正确答案变成失败，而更大的内部变化却让答案保持不变？我们提出了一种方向敏感、相对于读出（readout）的语义脆弱性解释：异质的语言变化可以共享几何与读出关系，却不共享一个与输入无关的失败方向。干净的决策储备、表示变换和响应对齐为这一过程提供了互补的描述。精确的纵向-横向分解识别出被标量传输丢弃的方向信息。一个紧凑的储备-传输模型预测了 Qwen3-32B 和 Gemma 4 31B 中留出家族和条目的失败，并以有用但依赖参数化的方式迁移到 ReClor。匹配干预表明，方向携带了超出标量几何的因果信息。在自然失败的改写中，对不相交原始条目的注意力组件测试以及随后的答案顺序控制，都更支持自然配对方向，而非所测试的随机方向和同答案字母供体方向。然而失败很少在选项顺序间持续存在，且当前顺序的修正使用重新计算的干净参考。因此，共享的预测规律性与依赖上下文的方向效应共存。数值路径积分在固定上下文内减少但并未消除有限块近似误差；与自然改写效应之间仍存在更大的差异。一项互补的固定 CoT 线索研究将该解释扩展到记录推理中未被承认的影响：读出关联跨领域迁移，尽管正均值因果标准不成立，且符号效应预测仍是事后分析。总之，这些结果支持储备、变换和响应之间的共享关系，同时将局部因果敏感性与对自然失败的完整解释区分开来。
| 评论： | 42 页，6 张图 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.32309 [cs.CL] |
| （或本版本使用 arXiv:2610.32309v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.32309 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhibo Hu [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 08:09:28 UTC（2,309 KB）
来源：arXiv cs.CL · arxiv.org