arXiv cs.AI· Habibeh Naderi, Behrouz Haji Soleimani, Stan Matwin·· 2 天前AI 评分20
CoCo-LoRA：用音频上下文信号做多模态不确定性估计的贝叶斯 PEFT 方法
Beyond Feature Fusion: Contextual Bayesian PEFT for Multimodal Uncertainty Estimation
AI 导读
研究者提出 CoCo-LoRA，一种面向带音频上下文的文本预测任务的多模态、不确定性感知参数高效微调方法。它把池化音频嵌入投影到共享上下文空间，通过轻量分层头调制低秩空间中的上下文变分后验，将随机性限制在秩空间的紧凑隐变量中，无需高维特征融合。在多种任务与骨干组合上，CoCo-LoRA 匹配或优于纯文本 PEFT 与常规特征融合迁移基线，在高覆盖标签上尤为明显。
正文 · AI 翻译
摘要：我们提出 CoCo-LoRA，一种面向伴随音频上下文的文本预测任务的多模态、不确定性感知的参数高效微调方法。现有的 PEFT 方法（如 LoRA）高效但通常是确定性的，而近期的贝叶斯低秩适配器以轻量方式建模不确定性，却仍主要局限于单模态，并且主要依据内部文本特征来条件化不确定性。这使得它们难以反映由外部声学因素（如背景噪声、信道变化或说话风格）驱动的不确定性，而这些因素会实质影响以语音为中心的应用中的可靠性。CoCo-LoRA 通过在低秩空间中对上下文变分后验进行条件化来弥补这一空白，条件化同时基于局部文本导出的适配器特征和音频导出的上下文信号。一个池化的音频嵌入被一次性投影到共享上下文空间，然后通过轻量级逐层头进行适配，从而实现对适配器不确定性和更新的全局到局部、深度特定的调制，而无需高维多模态融合。随机性被限制在秩空间中的紧凑潜在分量内，在保持 PEFT 可扩展性的同时产生音频敏感的异方差不确定性。基于我们在多种任务和骨干网络组合上的评估，CoCo-LoRA 始终匹配或优于纯文本 PEFT 和常规特征融合迁移基线，尤其是在可靠适配至关重要的高覆盖率标签上。结果表明，将音频用作上下文不确定性信号而非融合特征流，为多模态低资源预测提供了一种稳健且参数高效的替代方案。
| 评论： | 16 页，1 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.16615 [cs.LG] |
| （或 arXiv:2604.16615v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.16615 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Habibeh Naderi [查看电子邮件]
[v1]
2026 年 4 月 17 日星期五 18:12:33 UTC（159 KB）
[v2]
2026 年 10 月 23 日星期五 18:27:01 UTC（159 KB）
来源：arXiv cs.AI · arxiv.org