arXiv cs.AI· Giwon Hong, Emile van Krieken, Edoardo Ponti, Esmeralda S. Whitammer, Pasquale Minervini·· 10 小时前AI 评分31
MoICL:将演示子集视为专家的上下文学习混合方法
Mixtures of In-Context Learners
AI 导读
研究者提出 Mixtures of In-Context Learners(MoICL),把演示子集当作专家并学习加权函数来合并其输出分布,从而在不微调参数的情况下改进上下文学习(ICL)。
正文 · AI 翻译
摘要:上下文学习(ICL)通过提供示例来适配 LLM,而无需微调模型参数;然而,它并不区分示例,并且会使 Transformer LLM 的复杂度呈二次增长,耗尽内存。作为解决方案,我们提出了上下文学习器混合(MoICL),这是一种新颖的方法,将示例子集视为专家,并基于训练集学习一个加权函数来合并它们的输出分布。在我们的实验中,与一组强基线相比,我们在 7 个分类数据集中的 5 个上展示了性能提升(与 ICL 和 LENS 相比最高提升 +13\%)。此外,我们通过减少在更少示例下达到相同性能所需的推理时间,提升了 ICL 的帕累托前沿。最后,MoICL 对域外(最高 +11\%)、不平衡(最高 +49\%)或噪声示例(最高 +38\%)更加鲁棒,或者可以从数据集中过滤掉这些示例。总体而言,MoICL 是一种更具表现力的从示例中学习的方法,且不会耗尽上下文窗口或内存。
| 评论: | ACL 2025;代码:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2411.02830 [cs.CL] |
| (或 arXiv:2411.02830v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2411.02830 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI: | https://doi.org/10.18653/v1/2025.acl-long.1277
链接到相关资源的 DOI |
提交历史
来自:Esmeralda Whitammer [查看电子邮件]
[v1]
2024 年 11 月 5 日星期二 06:02:41 UTC(213 KB)
[v2]
2026 年 11 月 18 日星期三 16:51:08 UTC(196 KB)
来源:arXiv cs.AI · arxiv.org