arXiv cs.AI· Tommy He, Thomas Jiralerspong·· 11 小时前AI 评分34
Context–Answer Metamodels：在首个答案 token 生成前预测 LLM 激活
Context--Answer Metamodels: Forecasting LLM Activations Before the First Answer Token
AI 导读
研究者提出 Context–Answer Metamodels，将上下文激活序列映射为答案激活的点预测或分布预测，无需大量自回归 rollout 即可刻画随机解码下的答案变化。
正文 · AI 翻译
摘要：在随机解码下，单个上下文可以从语言模型引出许多不同的答案。刻画这种变化通常需要大量昂贵的自回归 rollout，而每次 rollout 只揭示一个实现。我们提出一个问题：阅读上下文时产生的激活能否直接预测模型的 rollout 激活？我们训练上下文—答案元模型，将上下文激活序列映射为对均值池化答案激活的点预测或分布预测。我们发现：(i) 我们研究的四个元模型家族都能高保真地预测均值池化答案激活，且分布元模型还能捕捉 rollout 的变异性；(ii) 随着训练集增长到 500,000 条提示，性能持续提升，且元模型能零样本泛化到域外数据集；(iii) 它们的预测保留了行为预测信号；(iv) 来自 Qwen2.5 的上下文激活可以预测来自 Qwen3.5 和 Gemma 4 的均值池化答案激活，表明激活预测可以跨模型迁移。综上，这些结果表明，上下文激活轨迹可以在生成第一个答案 token 之前，为 LLM 答案中的行为提供可扩展的预测。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06837 [cs.LG] |
| （或 arXiv:2611.06837v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06837 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tommy He [查看邮箱]
[v1]
2026年11月4日星期三 17:53:52 UTC（1,465 KB）
来源：arXiv cs.AI · arxiv.org