arXiv cs.AI· Peter Devine, Nick Ryan, Benjamin Sirb, Alex Chiocchi·· 9 天前AI 评分30
Internalizer：面向超大规模语言模型的便携式上下文到参数映射
Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models
AI 导读
Internalizer 是一种可移植的上下文到参数映射超网络，能为冻结的 284B 参数 DeepSeek v4 Flash 生成文档专属 LoRA 适配器，规模比此前工作大两个数量级。
正文 · AI 翻译
摘要：将上下文直接映射到 LoRA 适配器的超网络能让大语言模型将该上下文携带在其权重中，但此前的工作仅在参数量最多 140 亿的基础模型上进行了验证。
我们提出了 Internalizer，这是一种最先进的、可移植的上下文到参数映射超网络，可为冻结的 2840 亿参数 DeepSeek v4 Flash 生成文档特定的 LoRA 适配器，其目标规模比此前任何工作都大两个数量级。其大部分参数位于与模型无关的主干中，每个基础模型仅有很薄的入口层和出口层，因此可以先针对小模型低成本训练，再移植到大型模型上。
在最长 4096 个 token 的未见文档上，生成的适配器达到了 84.9% 的 top-1 和 97.8% 的 top-5 教师强制准确率，而基础模型分别为 63.4% 和 83.5%，且上下文窗口中除了一条三个词的指令外没有任何其他内容。
一旦超网络训练完成，一次前向传播就能将任意文档转换为此类模型的适配器，该适配器可以单独提供服务以提升速度，也可以与文档一同放在窗口中以进一步提高准确率。
| 评论： | 14 页，3 幅图，1 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11715 [cs.AI] |
| （或 arXiv:2610.11715v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11715 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Peter Devine [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 11:19:13 UTC（111 KB）
来源：arXiv cs.AI · arxiv.org