跳到正文
arXiv cs.AI· Giwon Hong, Emile van Krieken, Edoardo Ponti, Esmeralda S. Whitammer, Pasquale Minervini·· 10 小时前AI 评分31

MoICL:将演示子集视为专家的上下文学习混合方法

Mixtures of In-Context Learners

AI 导读

研究者提出 Mixtures of In-Context Learners(MoICL),把演示子集当作专家并学习加权函数来合并其输出分布,从而在不微调参数的情况下改进上下文学习(ICL)。

正文 · AI 翻译

查看 PDF

摘要:上下文学习(ICL)通过提供示例来适配 LLM,而无需微调模型参数;然而,它并不区分示例,并且会使 Transformer LLM 的复杂度呈二次增长,耗尽内存。作为解决方案,我们提出了上下文学习器混合(MoICL),这是一种新颖的方法,将示例子集视为专家,并基于训练集学习一个加权函数来合并它们的输出分布。在我们的实验中,与一组强基线相比,我们在 7 个分类数据集中的 5 个上展示了性能提升(与 ICL 和 LENS 相比最高提升 +13\%)。此外,我们通过减少在更少示例下达到相同性能所需的推理时间,提升了 ICL 的帕累托前沿。最后,MoICL 对域外(最高 +11\%)、不平衡(最高 +49\%)或噪声示例(最高 +38\%)更加鲁棒,或者可以从数据集中过滤掉这些示例。总体而言,MoICL 是一种更具表现力的从示例中学习的方法,且不会耗尽上下文窗口或内存。
评论: ACL 2025;代码:此 https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2411.02830 [cs.CL]
  (或 arXiv:2411.02830v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2411.02830

由 DataCite 颁发的 arXiv DOI

相关 DOI: https://doi.org/10.18653/v1/2025.acl-long.1277

链接到相关资源的 DOI

提交历史

来自:Esmeralda Whitammer [查看电子邮件]
[v1] 2024 年 11 月 5 日星期二 06:02:41 UTC(213 KB)
[v2] 2026 年 11 月 18 日星期三 16:51:08 UTC(196 KB)

来源:arXiv cs.AI · arxiv.org