arXiv cs.AI· Ekrem Aksoy·· 10 小时前AI 评分31
W-ISA：面向预训练语言模型的权重空间干预程序事务化执行框架
W-ISA: Transactional Execution of Weight-Space Intervention Programs
AI 导读
W-ISA 是一套用于在预训练语言模型上执行权重空间干预程序的软件指令集与事务化运行时，支持参数更新、投影、消融和 rank-one 变换等形状校验指令，并在请求级执行上下文中于完成或中断后恢复已保存参数。
正文 · AI 翻译
摘要：我们提出 W-ISA，一种软件指令集与事务性运行时，用于在预训练语言模型上执行权重空间干预程序。经过形状检查的指令可表达参数更新、投影、消融和秩一变换。运行时在请求作用域的执行上下文中应用这些程序，并在完成或中断后恢复已保存的参数。基于激活的匹配-动作规则将测得的模型状态与干预选择连接起来。我们在 SmolLM-135M-Instruct 和 Qwen2.5-1.5B-Instruct 上评估了恢复与重放，并在后者上比较了物化的秩一更新与等效的 PyTorch 钩子。在 45 次计时请求中，两种干预实现在 32、128 和 512 个 token 下产生相同的贪婪序列；它们的最大提示 logit 差异为 0.000184。在完整的 WikiText-2 原始测试集上，SmolLM 注意力头消融与 MLP 投影的组合改动使困惑度从 22.2353 变为 22.3188，相对增加 0.3754%。W-ISA 将干预的规范、执行和测量分离，使参数级实验可复现且可组合。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13232 [cs.AI] |
| （或 arXiv:2611.13232v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13232 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ekrem Aksoy [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 21:01:51 UTC（27 KB）
来源：arXiv cs.AI · arxiv.org