arXiv cs.AI· Helong Hu (Zhanjiang Campus, Guangdong Ocean University, Zhanjiang, Guangdong, China), Hongdan Pan (Maoming Administrative Service Center, Maoming, Guangdong, China), Shuiqing Hu (China Pacific Insurance)·· 3 天前AI 评分22
FON：一种无需序列级二次注意力的草拟-修订双器官语言模型
FON: A Draft-Revise Dual-Organ Language Model without Sequence-Level Quadratic Attention
AI 导读
研究者提出 FON（Fusion-Organ Network），将同一权重栈分化为负责生成的草拟器官与负责重处理已写前缀的修订器官，训练复杂度 O(S)、解码状态 O(1)，不含序列级二次注意力。
正文 · AI 翻译
作者：Helong Hu (1)、Hongdan Pan (2)、Shuiqing Hu (3)（(1) 广东海洋大学湛江校区，中国广东湛江，(2) 茂名市行政服务中心，中国广东茂名，(3) 中国太平洋保险（集团）股份有限公司佛山分公司，中国广东佛山）
摘要：自注意力将两个功能赋予同一个机制——在哪里读取以及如何混合——代价是 O(L^2) 的训练、O(T) 的解码状态，以及绑定到训练长度的位置信号。现有的无注意力替代方案都只优化生成这一单一功能。我们提出 FON（Fusion-Organ Network），它将一个权重栈区分为一个起草器官（多抽头可学习延迟 + 内容自适应递归；因果、O(S) 训练、O(1) 解码状态、无序列级二次注意力）和一个修订器官，后者通过弱门注入的多尺度涟漪核重新处理已写入的前缀，从不生成。在 30M 参数、等参数和等 token 预算下，FON 在 WikiText-103 上达到困惑度 131.03，优于 Transformer（197.73）和 Mamba2（152.53）；这一优势在所有深度对齐基线下以及 70M 层级（-20.8%）下依然存在。在 8 倍长度外推下，FON 在没有位置编码工程的情况下退化约 8-9%，介于 ALiBi 和 RoPE 之间。修订通道为因果架构原则上缺乏的域内填充提供了一条结构性路径（比按需耦合高 +19%），其困惑度代价在测量精度内无法区分。我们报告所有成本和边界：受损的长程检索、合成任务劣势、域外代码填充弱于同配方 Transformer，以及 6.5-12.3 倍的挂钟时间差距。
| 评论： | 24 页，14 张图，9 张表 |
| 主题： | 人工智能 (cs.AI) |
| 引用为： | arXiv:2610.16301 [cs.AI] |
| （或 arXiv:2610.16301v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16301 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Helong Hu [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 07:28:24 UTC（2,118 KB）
来源：arXiv cs.AI · arxiv.org