arXiv cs.CL· Anxo Perez, Jorge Gab\'in, Javier Parapar·· 10 小时前AI 评分31
小样本的 ROI:在 Token 预算下优化上下文学习
The ROI of Small Examples: Optimizing In-Context Learning Under Token Budgets
AI 导读
在固定 token 预算下,上下文学习应优先用更多短示例而非少量长示例。研究将候选示例按长度分桶,在 Beat the AI 和 Natural Questions 两个 QA 基准上用六个指令微调 LLM 实验,发现短示例通常最有效利用提示空间,该效应在 Beat the AI 上尤其明显,NQ 上增益较小且长上下文场景更早饱和。
正文 · AI 翻译
摘要:上下文学习(ICL)在推理阶段无需更新模型参数即可提升大语言模型性能。然而,这些收益并非没有代价:在实际部署中,更长的提示会直接增加推理成本和延迟。在固定 token 预算下,提示构建因此成为一个资源分配问题。尽管先前工作常关注 ICL 中应包含多少示例,我们研究了一个互补问题:可用预算应更好地花在少量长演示上,还是花在更多数量的短演示上。我们在问答(QA)中研究这一方面,将候选演示按长度分箱,并在固定预算下用同一长度范围内的示例构建提示。在两个 QA 基准(\textit{Beat the AI} 和 \textit{Natural Questions})上、使用六个指令微调 LLM 的实验表明,较短的演示通常是提示空间最有效的利用方式。这一效应在 \textit{Beat the AI} 上尤其明显,在 NQ 上仍然可见,尽管增益较小且在长上下文设置中更早饱和。在 ANLI R3 上进行的额外自然语言推理实验发现,两个较短分箱之一在六个模型中的五个上表现最佳,尽管较长演示仍具竞争力。总体而言,我们的结果凸显了演示粒度是提示设计中的一个重要因素。
| 评论: | 被 EACL 27 主会议接收 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24971 [cs.CL] |
| (或 arXiv:2611.24971v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24971 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Anxo Perez Anxo Perez [查看电子邮件]
[v1]
2026年11月16日星期一 11:56:49 UTC(222 KB)
来源:arXiv cs.CL · arxiv.org