arXiv cs.AI· Yiwei Guo, Siqi Huang, Bohan Li, Jing Peng, Hankun Wang, Zhihan Li, Kai Yu·· 14 小时前AI 评分26
T2L-ICAG：用上下文适配器生成提升大型音频语言模型的组合泛化能力
In-Context Adapter Generation for Compositional Generalization in Large Audio Language Models
AI 导读
研究者将 Text-to-LoRA（T2L）扩展到大型音频语言模型，提出 token 级超网络架构 T2L-ICAG，按指令生成 LoRA 适配器而非共享单一固定适配器。在两个 LALM 主干上，该方法一致优于静态 LoRA 和基于全局嵌入的 T2L 基线，且在结构上分布外的任务上增益更大。实验使用 SIFT-50M 做监督微调，并构建覆盖五类任务的受控组合评测套件。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）在标准语音和音频理解任务上取得了强劲表现，但其系统性地泛化到新颖任务组合的能力仍未被充分探索。我们从元学习的视角出发，将 Text-to-LoRA（T2L）扩展到 LALMs，使用 Transformer 超网络生成以指令为条件的 LoRA 适配器，而不是学习一个在所有指令间共享的固定适配器。为了利用细粒度任务信息，我们引入了上下文内适配器生成（ICAG），一种 token 级超网络架构；我们将所得方法称为 T2L-ICAG。我们在两个代表性 LALMs 上使用 SIFT-50M 进行监督微调来评估该方法，并构建了一个覆盖五个任务类别的受控组合评估套件。在两个 LALM 主干网络上，T2L-ICAG 始终优于静态 LoRA 以及基于全局嵌入的 T2L 基线。覆盖度和容量分析进一步表明，这些增益在结构上属于域外的任务上更大，且不能仅用参数数量来解释。这些结果表明，从指令生成任务特定适配器是提升 LALMs 组合泛化能力的一个有前景的方向。
| 评论： | 20 页，13 幅图，9 张表 |
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2610.34413 [eess.AS] |
| （或 arXiv:2610.34413v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34413 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiwei Guo [查看邮箱]
[v1]
2026 年 10 月 25 日星期日 16:10:49 UTC（789 KB）
来源：arXiv cs.AI · arxiv.org