arXiv cs.AI· Jihoon Kwon, Jiwon Choi, Jy-yong Sohn·· 4 小时前AI 评分31
分布对齐作为上下文学习任务向量设计准则:LTV 方法提升 9.2% 准确率
Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning
AI 导读
研究者提出以分布对齐为准则设计上下文学习(ICL)的任务向量,并引入 $d_{\text{NTP}}$ 指标衡量任务向量推理与 ICL 推理在下一 token 概率上的差异,发现该指标与下游准确率呈强负相关。
正文 · AI 翻译
摘要:上下文学习(ICL)使大型语言模型(LLM)能够通过示例适应新任务,但随着上下文长度增加,其推理成本不断攀升。任务向量通过将示例压缩为紧凑的隐藏状态表示,提供了一种有前景的替代方案,但其质量仅通过下游任务准确率进行评估。这一间接标准对于如何设计更有效的任务向量提取方法提供的洞见有限。本文提出,使用任务向量的推理应使其预测分布与 ICL 的预测分布对齐。为量化这一点,我们引入了 $d_{\text{NTP}}$,该指标衡量基于任务向量与基于 ICL 的推理在下一词元概率上的差异。我们的实证分析表明,$d_{\text{NTP}}$ 可作为性能代理指标,与下游准确率呈强负相关。受此启发,我们开发了线性任务向量(LTV),该方法通过闭式线性映射以回归方式估计示例效应,从而最小化 $d_{\text{NTP}}$。在八个分类基准和五个 LLM 上,LTV 始终优于现有任务向量基线,平均准确率提升 9.2\%,同时降低推理延迟。我们进一步表明,LTV 在回归任务上优于基线。此外,我们研究了 LTV 在不同模型规模间的可迁移性;这一方面在任务向量研究中尚处于起步阶段。具体而言,我们实证表明,来自较大模型的任务向量可将较小模型的性能提升 6.4\%,这为提取的任务表示提示了新的用途。
| 评论: | 已被 NeurIPS 2026 接收。29 页 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2605.20730 [cs.CL] |
| (或本版本的 arXiv:2605.20730v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2605.20730 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jihoon Kwon [查看邮箱]
[v1]
2026年5月20日星期三 05:26:38 UTC(2,391 KB)
[v2]
2026年11月17日星期二 05:53:04 UTC(2,385 KB)
来源:arXiv cs.AI · arxiv.org