arXiv cs.CL· Sheng Xu, Zhen Chen, Junhua Wang, Boyuan Huang, Ke Jia, Jiadun Zhu, Yiming Xu·· 2 天前AI 评分18
仅幅度 FFN 干预实现工具结构化 LLM 推理：方法、门控评估协议与跨模型实证结果
Amplitude-Only FFN Intervention for Tool-Structured LLM Inference: Method, Gated Evaluation Protocol, and Cross-Model Empirical Results
AI 导读
研究提出 Amplitude Gating（AG）推理时干预方法，在不改动预训练权重的前提下屏蔽 FFN 激活坐标，通过六处 SwiGLU 位点区分共享与仅门控输入，并用幅度排序熵掩码及 Newton-Schulz 窗口排序变体提供无需重训练的前向路径。
正文 · AI 翻译
摘要：我们研究幅度门控（Amplitude Gating，AG），一种推理时干预方法，它在保持预训练权重不变的情况下，对前馈网络（FFN）激活坐标进行掩码。六个 SwiGLU 位置将共享输入与仅门控输入、扩展的门/值通道以及 FFN 输出区分开来。按幅度排序的熵掩码和 Newton-Schulz 窗口排序变体提供了无需重新训练的替代前向路径。修正后的九月数据集涵盖三个 Qwen 检查点和八个文本/工具端点。在冻结的本地文本评分器下，所展示的 Qwen3.5-9B 非 NS 配置将两个函数调用端点分别提升了 +2.61 和 +2.67 个百分点（pp），并将静态 ToolBench 域内/域外端点分别提升了 +1.64 和 +2.82 pp。将较低的历史/九月 AG 均值与较高的基线均值进行比较，在这些路径上留有正向余量。这支持对两次观察到的执行的稳健性，而非正式的统计显著性。JSON 增益较小，且所展示的 L-Eval 效应为负。这些端点衡量的是词汇或答案/动作名称的一致性，而非已执行工具的成功率。针对特定协议的离线选择器和逐样本修复-损害评估（PFHE）分析补充了固定路径结果。当前实验数据未确立显著的随机森林（RF）优势；需要进一步实验。AG 提供了一个任务依赖的干预面，其因果机制、等预算优势、重复运行不确定性以及服务成本仍有待解决。
| 评论： | 48 页，11 幅图，29 张表。修订了摘要、引言和方法；扩展了图表；澄清了干预位置定义、基线变化和 RF 结果 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.11183 [cs.CL] |
| （或 arXiv:2607.11183v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.11183 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Zhen Chen [查看电子邮件]
[v1]
2026年7月13日星期一 07:28:55 UTC（2,045 KB）
[v2]
2026年7月14日星期二 08:45:42 UTC（2,045 KB）
[v3]
2026年8月5日星期三 06:56:38 UTC（1,708 KB）
[v4]
2026年10月15日星期四 01:06:08 UTC（2,084 KB）
来源：arXiv cs.CL · arxiv.org