研究：联合训练平衡单次与循环推理性能

Jiarun Shen等作者提交的论文提出，对预训练 Transformer 复用中间层权重，让同一模型同时支持单次推理与循环推理；但共享权重会使循环训练损害单次推理质量。作者采用双输出加权损失的联合训练策略，称可显著减少单次推理性能退化，并保留循环推理相对普通持续训练的增益。 作者称，收益主要来自调整单次推理损失权重，冻结原模型作引导还能进一步改善循环输出；按验证集选定的权重，该方法在预设容差内保持单次推理质量并提升循环预测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。