研究者提出PACT跨模型迁移框架PLatour

Zhenyi Shen等作者提出开源框架PLatour，用零初始化线性桥接连接冻结的大模型与小模型，实现“预填充到自回归的跨模型迁移”（PACT），并支持混合注意力架构。作者称，这些轻量桥接直接以任务奖励训练，无需改动两侧模型参数。 同一工作还提出增益量化方法PACT-Check，用于评估迁移带来的增益。报道未给出具体基准测试结果或量化数值，因此迁移效果尚待独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。