arXiv cs.CL· Christophe Khalil, Aya Mourad·· 11 小时前AI 评分39
指令税：基础模型在事实召回上可胜过指令微调版本
The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts
AI 导读
在 AKBC LM-KBC 2026 共享任务中，基础模型以文本补全方式提示取得 0.6836 分，超过指令微调模型聊天界面的 0.5681 分，也超过 0.2964 的基线两倍以上。任务要求模型在 32B 参数以内、不检索不微调地生成主谓关系对的全部可能宾语。作者将指令微调导致的事实召回下降称为“指令税”，并指出其源于模型权重而非提示方法。
正文 · AI 翻译
摘要：我们展示了参加 AKBC LM-KBC 2026 共享任务的解决方案，在官方排行榜上取得了 0.6836 的分数，是基线 0.2964 的两倍多。该任务要求使用参数量最高达 320 亿的语言模型，为“主语-关系”对生成所有可能的宾语，且不涉及检索或微调。我们表明，提示方法与模型架构同等重要：指令微调版本的模型通过其聊天界面得分为 0.5681，而基础模型在使用文本补全方式提示时得分为 0.6836。因此，指令微调会降低事实召回率；我们将这一效应称为“指令税”，它由模型权重而非提示方法导致。我们的最终方案相当直接：用训练数据中的一些示例提示基础模型，生成 64--256 个输出，仅保留重复出现的输出。随后针对每种关系应用两种专门方法：一种提高大答案集的召回率，另一种在预测某人的死亡地点之前先验证其是否在世。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28407 [cs.CL] |
| （或 arXiv:2610.28407v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28407 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aya Mourad [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 15:48:56 UTC（32 KB）
来源：arXiv cs.CL · arxiv.org