arXiv cs.CL· Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton·· 11 小时前AI 评分23
基于激活值的主动学习用于上下文学习：挑战与发现
Activation-Based Active Learning for In-Context Learning: Challenges and Insights
AI 导读
研究测试了用模型激活值优化 LLM 上下文示例选择的假设，在 Llama-3.2-3B 和 Qwen2.5-3B 上分析基于 MLP 激活的深度主动学习方法，却发现负结果：MLP 与嵌入层输出（无论从 massive activations 还是前四阶矩视角）与示例质量或任务表现均不相关，所有任务和模型的 Spearman 相关系数绝对值最高仅 0.33。
正文 · AI 翻译
摘要：深度主动学习此前已被探索用于 LLM 的上下文样本选择，但尚未采用利用近期对 transformer 激活理解进展的方法。本文检验了模型激活能够为优化上下文示例选择提供细粒度信号这一假设。我们对基于 MLP 激活的深度主动学习方法在上下文学习中的应用进行了全面分析，包括不同注意力掩码策略如何在多样化的分类和生成数据集上影响主动学习，并使用 Llama-3.2-3B 和 Qwen2.5-3B 基础模型。然而，我们得到了一个负面结果：从大规模激活或前四阶矩的角度来看，MLP 和嵌入层的输出与示例质量或任务性能并不相关。具体而言，在我们测试的所有任务和模型中，Spearman 相关系数的绝对值至多为 0.33，这表明此类基于激活的采样不应被用于上下文学习。我们假设这可能归因于叠加现象，即模型表示的特征数量多于其维度，这表明稀疏自编码器（SAE）等方法可能是未来一个有前景的方向。
| 评论： | EMNLP 2026 的 Insights 研讨会。添加了辅助结果 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.05134 [cs.CL] |
| （或 arXiv:2606.05134v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05134 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.18653/2026.insights-1.9
链接到相关资源的 DOI |
提交历史
来自：Yaseen Osman [查看电子邮件]
[v1]
2026年6月3日星期三 17:39:29 UTC（384 KB）
[v2]
2026年9月10日星期四 17:34:58 UTC（805 KB）
[v3]
2026年11月1日星期日 19:09:48 UTC（2,370 KB）
来源：arXiv cs.CL · arxiv.org