arXiv cs.AI· Chun-Hao Yang, Bo-Han Feng, Tzu-Yuan Lai, Yan-Yu Chen, Yin-Kai Dean Huang, Shou-De Lin·· 3 天前AI 评分24
超越下一 token 预测：Max(MI(S;t)) 如何填补 LLM 训练的互信息缺口
Training LLMs Beyond Next Token Prediction - Filling the Mutual Information Gap
AI 导读
研究提出基于互信息的确定性启发式方法 Max(MI(S;t))，通过优先预测信息量丰富的目标 token 来组织训练时的目标顺序，在算术推理、多标签文本分类和文本生成任务中常优于标准 NTP 及 reverse order、TF-IDF、条件概率选择等基线。该方法在 GPT 风格模型及预训练 Llama/Qwen 变体上验证，无需改动模型架构或自回归解码。
正文 · AI 翻译
摘要：自回归语言模型通常在固定的从左到右目标顺序下通过下一词元预测进行训练。本文研究将目标词元组织作为训练时的设计选择，涵盖算术推理、多标签文本分类和文本生成。受控顺序研究表明，默认的 NTP 顺序可能远非测试中表现最佳的组织方式，而诸如逆序等固定手工设计的顺序无法跨任务泛化。为解决这一问题，本文提出 Max(MI(S;t))，一种基于互信息的确定性启发式方法，优先选择信息丰富的目标词元。对于固定长度输出，它构建任务特定的预测顺序；对于开放词表文本生成，同一原则通过轻量级前缀增强加以应用。使用 GPT 风格模型以及预训练的 Llama/Qwen 变体进行的实验表明，Max(MI(S;t)) 通常优于标准 NTP 以及逆序、TF-IDF 和条件概率选择等简单基线，且无需改变模型架构或自回归解码。
| 评论： | AACL-IJCNLP 2026 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2511.00198 [cs.CL] |
| （或使用 arXiv:2511.00198v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2511.00198 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chun-Hao Yang [查看邮箱]
[v1]
2025年10月31日星期五 18:59:29 UTC (189 KB)
[v2]
2026年10月13日星期二 06:48:26 UTC (415 KB)
来源：arXiv cs.AI · arxiv.org