arXiv cs.CL· Zhenyi Shen, Junru Lu, Wei Liu, Jiangnan Ye, Jiazheng Li, Di Yin, Xing Sun, Tameem Adel, Yali Du, Lin Gui, Yulan He·· 11 小时前AI 评分38
PLatour：开源 PACT 框架实现大模型提示表征与小模型高效生成的跨模型迁移
On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer
AI 导读
研究者提出开源框架 PLatour，通过零初始化线性桥接冻结的大模型与小模型，实现 Prefill-to-Autoregressive Cross-model Transfer（PACT），并支持混合注意力架构。
正文 · AI 翻译
作者：Zhenyi Shen、Junru Lu、Wei Liu、Jiangnan Ye、Jiazheng Li、Di Yin、Xing Sun、Tameem Adel、Yali Du、Lin Gui、Yulan He
摘要：预填充到自回归的跨模型迁移（Prefill-to-Autoregressive Cross-model Transfer，PACT）是一种语言模型之间的潜在通信形式，它将较大模型的提示表示与较小模型的高效生成相结合，为平衡能力与推理成本提供了一种有前景的方式。然而，现有系统对独立评估大小模型协作的支持有限，而且仅凭任务性能的提升并不能确定接收方是否从发送方的信息中获益。我们推出了 PLatour，一个开源的 PACT 框架，它通过轻量级、零初始化的线性桥接连接冻结模型，这些桥接直接使用任务奖励进行训练，并支持混合注意力架构。PLatour 在生成任务上显著优于开源基线，并在共享的数学和编码基准上使用小得多的发送方超越了 Mostik 报告的结果。然而，受控实验表明，某些任务上的增益可以通过无信息的发送方信号、自通信或仅训练接收方来复现。我们发现，可训练的桥接可以作为参数高效的适配机制，而无需利用有用的发送方信息。因此，我们提出了 PACT-Check，以量化训练后的 PACT 系统增益中有多少真正来自通信。最后，我们讨论了 PACT 系统的机遇与挑战。代码可在 此 https URL 获取。
| 评论： | 35 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06976 [cs.CL] |
| （或 arXiv:2611.06976v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06976 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhenyi Shen [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 13:33:47 UTC（467 KB）
来源：arXiv cs.CL · arxiv.org