跳到正文
arXiv cs.CL· Guangzhi Xiong, Zhenghao He, Bohan Liu, Sanchit Sinha, Wenqian Ye, Aidong Zhang·· 10 小时前AI 评分31

用任务算子捕捉上下文学习动态

Capturing In-Context Learning Dynamics with Task Operators

AI 导读

研究者提出 Task Operator(TO),将每个注意力头的输出视为其上下文掩码对应版本的仿射变换,并把该变换作为解析推导的更新回放到注意力输出投影上,从而无需重复处理全部示例即可复现 ICL 效果。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:上下文学习(ICL)使语言模型能够通过示例执行新任务,而无需更新权重。然而,每次 ICL 推理都需要处理完整的示例集,导致部署效率低下,而且 ICL 在机制上如何运作尚未被完全理解。先前的工作将 ICL 压缩为从特定层或位置提取的固定激活向量,但这些与输入无关的干预在复杂任务上会失效,因为这类任务的输出依赖于与输入的细粒度交互。通过分析 ICL 的前向传播,我们表明每个注意力头的输出是其上下文掩码对应项的仿射变换,并且对于给定任务,该变换的参数在样本间经验上是稳定的。在此基础上,我们引入了任务算子(TO),它将这一变换作为对注意力输出投影的解析推导更新进行重放。在词汇、算法和推理任务上,TO 在先前方法中取得了最佳的整体性能,并大幅缩小了零样本推理与 ICL 之间的差距。我们进一步表明,提取的知识集中在跨层和位置的特定任务稀疏电路中,并且对来自不相交示例批次的算子取平均,能够在不扩展上下文窗口的情况下实现有效的多样本扩展。我们的代码可在 此 https URL 获取。
评论: NeurIPS 2026
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2610.01054 [cs.CL]
  (或 arXiv:2610.01054v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.01054

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Guangzhi Xiong [查看电子邮件]
[v1] 2026年10月1日星期四 04:50:17 UTC(145 KB)
[v2] 2026年11月19日星期四 18:52:44 UTC(150 KB)

来源:arXiv cs.CL · arxiv.org