arXiv cs.CL· Cheng Luo, Xinnan Dai, Zhongzhu Zhou, Zefan Cai, Ruijie Zhu, Tianyu Zhang, Junjie Hu·· 2 天前AI 评分32
onóna:双嵌入表与绑定解嵌出参数化方法
on\'ona: Twin Embeddings with Tied Unembeddings
AI 导读
onóna 提出一种双表参数化方法,用两张嵌入表的平均值作为 Transformer 输入,输出头则融合这两张表各自定义的 softmax 分布,混合权重由仅依赖当前输入 token 的门控决定,且可在推理前预计算。
正文 · AI 翻译
摘要:权重绑定降低了语言模型的参数成本,但通常的绑定输出头仅限于单个 softmax。我们提出 onóna,一种双表参数化方法,在保持输入-输出权重共享的同时提升输出表达能力。Transformer 以两张嵌入表的平均值作为输入,输出头则组合由这两张表所定义的 softmax 分布。仅以当前输入 token 为条件的门控决定混合权重。其数值可在推理时预先计算,且 Transformer 主体保持不变。我们在 142M、330M 和 1B 规模下,对 Dense、Gated DeltaNet 混合、混合专家和 Attention Residual 架构评估 onóna。在匹配的 token 预算下,onóna 在 12 项比较中的 11 项降低了最终验证损失和外部困惑度,并在 12 项中的 10 项提升了八个下游任务的平均准确率。损失上的唯一例外是 1B MoE 模型。代价是多一张嵌入表和一次额外的词表投影。
| 评论: | 18 页 |
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.10556 [cs.CL] |
| (或本版本使用 arXiv:2611.10556v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2611.10556 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Cheng Luo [查看邮箱]
[v1]
2026 年 11 月 7 日星期六 07:55:25 UTC(79 KB)
[v2]
2026 年 11 月 13 日星期五 01:06:47 UTC(79 KB)
来源:arXiv cs.CL · arxiv.org