arXiv cs.AI· Zhiwei Liu, Boao Kong, Bing Liu·· 13 小时前AI 评分20
按位置分配：基于画像引导的 Transformer 逐层 RoPE 分配
Where Position Matters: Profiling-Guided Layer-Wise RoPE Allocation in Transformers
AI 导读
研究提出画像引导的逐层 RoPE 分配方法，在固定预算下依据早期覆盖收益画像为不同层分配高/低覆盖，支持固定宽度 query/key 表示及 MLA 中的物理旋转维度分配。归一化深度映射可在同一模型族内迁移画像，使小模型测量结果在预训练前指导大模型分配。从头训练实验显示验证损失优于预算匹配基线，资源核算表明物理 MLA 在质量—存储—计算上具有有利权衡。
正文 · AI 翻译
摘要：旋转位置嵌入（RoPE）在 Transformer 各层中通常采用均匀覆盖，尽管各层对位置信息的需求并不相同。相位关闭干预揭示了非均匀、模型特定的旋转相位依赖关系，而覆盖干预则将其与覆盖升级带来的收益联系起来。我们提出基于剖析引导的逐层 RoPE 分配方法，利用早期覆盖收益剖析，在固定预算下分配高/低覆盖。该框架支持固定宽度的查询/键表示，以及多头潜在注意力（MLA）中的物理旋转维度分配。归一化深度映射可在模型家族内迁移剖析结果，使小模型测量结果能够在预训练前指导大模型的分配。简要分析将选择与迁移同分数校准及层间交互联系起来。从零开始的实验表明，相较于可获得的预算匹配基线，验证损失有所改善，而分析性资源核算为物理 MLA 识别出有利的质量—存储—计算权衡。这些结果将位置需求与可迁移、高效的架构设计联系起来。
| 评论： | 28 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.39223 [cs.LG] |
| （或 arXiv:2610.39223v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39223 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Boao Kong [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 02:42:58 UTC（94 KB）
来源：arXiv cs.AI · arxiv.org