arXiv cs.AI· Claudia Montero-Ram\'irez, Alba Mart\'inez-Serrano, Carmen Pel\'aez-Moreno·· 2 天前AI 评分18
基于信息瓶颈的层次化可解释多任务音频表示学习：事件-场景关系分析
Hierarchical Interpretable Multitask Audio Representation Learning: An Analysis of Event-Scene Relationships through the Information Bottleneck
AI 导读
研究提出层次化（顺序）条件范式，直接从中间事件概率预测声学场景类别，在 PaSST、PANNs 和 BEATs 三个骨干网络上完成 66 次完整训练实验。结果显示，该架构在 beta 为 0.6-0.9 时实现双任务同步学习，并系统性地产生更低条件熵、更高互信息与更优潜聚类可分性。
正文 · AI 翻译
摘要：联合声学场景分类（ASC）与音频标注（AT）模型传统上依赖无约束的多头架构。然而，这种设计忽略了声音与声学场景之间天然的层次依赖关系。在本工作中，我们研究了一种层次化（顺序）条件化范式，它直接从中间事件概率预测场景类别。通过在三种最先进的骨干网络（PaSST、PANNs 和 BEATs）上进行 66 次完整训练的大规模实证基准测试，并采用不同的损失加权设置（beta 在 [0.0, 1.0] 范围内），我们表明层次化条件化在改变多任务优化动态的同时，实现了具有竞争力的分类性能。与多头基线（其先顺序解决较容易的 ASC 任务，再优化 AT）不同，层次化架构在特定损失加权设置（beta 在 [0.6, 0.9] 范围内）下能够实现同步的双任务学习。此外，我们提出了一个多视角可解释性框架，它结合了信息瓶颈分析、流形几何分析，以及在词频-逆文档频率（TF-IDF）事件表示上的形式概念分析（FCA），为事件-场景关系提供了互补的见解。我们的发现表明，层次化条件化系统性地产生更低的条件熵、更高的互信息以及更优的潜在簇可分性（更高的轮廓系数），从而建立了一个更具结构性和语义忠实度的中间特征空间。
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21520 [eess.AS] |
| （或 arXiv:2610.21520v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21520 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Claudia Montero-Ramírez [查看电子邮件]
[v1]
2026年10月15日星期四 08:54:06 UTC（4,390 KB）
来源：arXiv cs.AI · arxiv.org