arXiv cs.AI· Habibeh Naderi, Behrouz Haji Soleimani, Stan Matwin·· 14 小时前AI 评分27
SPECTRA：面向多模态不确定性估计的交叉注意力贝叶斯低秩适配
Cross-Attentive Bayesian Low-Rank Adaptation for Multimodal Uncertainty Estimation
AI 导读
SPECTRA 是一种多模态贝叶斯低秩适配框架，保持文本与音频骨干冻结，仅将随机性限制在每个 LoRA 适配器内的 rank-r 隐矩阵中，并通过交叉注意力让文本 token 特征查询帧级音频嵌入以参数化适配器隐变量的变分后验。
正文 · AI 翻译
摘要：参数高效微调（PEFT）能够高效地适配冻结的语言模型，但大多数 PEFT 方法仍是确定性的或单模态的，这限制了它们在低资源音频-文本场景中的可靠性，因为在这些场景中不确定性同时取决于语言证据和声学条件。我们提出 SPECTRA（Stochastic Posterior Estimation with Cross-modal Token-level Rank Adaptation，跨模态 token 级秩自适应的随机后验估计），这是一个用于不确定性感知音频-文本学习的多模态贝叶斯低秩适配框架。SPECTRA 保持文本和音频骨干网络冻结，并将随机性限制在每个 LoRA 适配器内部一个紧凑的秩为 $r$ 的潜矩阵中。在每个 transformer 层，由文本导出的低秩 token 特征通过轻量级交叉注意力查询帧级音频嵌入；由此得到的 token 特定声学上下文为适配器潜变量上的摊销变分后验的均值和方差提供参数。因此，音频不仅作为额外的特征流，还作为局部化的可靠性信号，同时调节适配和置信度。后验预测使用蒙特卡洛适配器采样，从而能够将预测不确定性分解为总不确定性、偶然不确定性和适配器空间中的认知不确定性。在 IEMOCAP 和临床访谈预测任务上，SPECTRA 始终与仅文本的贝叶斯 PEFT 和传统多模态迁移学习基线具有竞争力或优于它们，其中 token 级交叉注意力带来了最可靠的增益。模态不一致压力测试表明，不匹配的音频在 AUC、似然、校准和 Brier 分数上造成的退化远大于有噪声但匹配的音频，凸显了建模跨模态可靠性的重要性。这些结果表明，低秩适配器空间中的贝叶斯跨模态条件化为校准的多模态适配提供了一种高效且有原则的机制。
| 评论： | 43 页，15 幅图，第四十届神经信息处理系统年会（NeurIPS 2026） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.16657 [cs.LG] |
| （或 arXiv:2604.16657v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.16657 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Habibeh Naderi [查看邮箱]
[v1]
2026 年 4 月 17 日星期五 19:23:08 UTC（189 KB）
[v2]
2026 年 10 月 23 日星期五 18:20:08 UTC（728 KB）
来源：arXiv cs.AI · arxiv.org