arXiv cs.CL· Roy Xie, Junlin Wang, Paul Rosu, Chunyuan Deng, Bolun Sun, Zihao Lin, Bhuwan Dhingra·· 6 天前AI 评分29
LLaMA/Qwen/Mistral 如何用潜在充分性信号实现动态上下文截断
Knowing When to Stop: Efficient Context Processing via Latent Sufficiency Signals
AI 导读
研究者提出"动态上下文截断"方法，让 LLM 在获取足够任务相关信息后自行终止处理。该方法通过轻量分类器检测特定注意力头编码的"充分性信号"，在六个 QA 数据集（最长 40K tokens）和 LLaMA/Qwen/Mistral 三个模型族（1B-70B）上实现平均 1.33x token 缩减，同时准确率提升 3.4%。研究还发现，小模型需探测充分性，大模型则可通过提示词展现内在自评估能力。
正文 · AI 翻译
摘要：大型语言模型（LLM）会不加区分地处理整个输入上下文，当回答查询所需的信息仅局限于上下文中的局部位置时，这种方式效率低下。我们提出了动态上下文截断，这是一种使 LLM 在获取到足够的任务相关信息后自行终止处理的新方法。通过分析模型内部机制，我们发现特定的注意力头天然编码了“充分性信号”——可通过轻量级分类器检测——用于预测关键信息何时已被处理。这揭示了一种新的效率范式：模型内部的理解自然决定处理需求，而非依赖外部压缩启发式方法。在六个问答数据集（最多 40K token）上、使用三个模型系列（LLaMA/Qwen/Mistral，1B-70B）进行的全面实验表明，准确率提升 3.4%，同时平均实现 1.33 倍的 token 缩减。此外，在相同 token 缩减率下，我们的方法相比其他上下文效率方法表现出更优的性能。另外，我们观察到一种涌现的缩放现象：较小的模型需要探测来进行充分性检测，而较大的模型则通过提示展现出内在的自我评估能力。
| 评论： | 被 NeurIPS 2025 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2502.01025 [cs.CL] |
| （或使用 arXiv:2502.01025v4 [cs.CL] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2502.01025 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Roy Xie [查看邮箱]
[v1]
2025年2月3日星期一 03:38:29 UTC（3,062 KB）
[v2]
2025年10月22日星期三 21:46:56 UTC（2,270 KB）
[v3]
2026年2月7日星期六 21:38:36 UTC（3,153 KB）
[v4]
2026年10月9日星期五 10:31:04 UTC（3,157 KB）
来源：arXiv cs.CL · arxiv.org