arXiv cs.CL· Eunsik Shin·· 12 小时前AI 评分31
冻结的大型音频语言模型能验证音乐时刻却难以定位：提示词低估了时间信息
Heard But Not Said: Prompting Understates Temporal Information of Musical Moments in Frozen Large Audio-Language Models
AI 导读
研究用 Slakh2100 分轨激活构建配对查询探针发现，冻结的大型音频语言模型（LALM）在无上下文时状态查询得分高于基线，而变化查询在多数短片段模型上随前文上下文改善，30s padded 编码器则无类似恢复。提示词与注意力两种方式几乎都暴露不出这一能力，说明提示失败低估了模型可验证的时间信息，但并未低估其定位能力，差距大小由查询类型和编码器决定。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）能够理解音乐，却难以在时间轴上定位所描述的时刻。我们探究这反映的是时间信息的缺失，还是时间跨度提取方式上的瓶颈。利用基于 Slakh2100 分轨激活构建的配对查询探针，我们将状态查询（例如“只有钢琴和贝斯在演奏”）和变化查询（例如“吉他退出，只剩钢琴和贝斯”）附加到同一时间跨度上，并改变模型所看到的前置音频量。在冻结的 LALMs 上，三种提取时间跨度的方法提出了不同的问题：全曲提示询问模型能否说出何时；窗口化是/否评分询问模型在给定片段时能否验证该时刻，以及是否需要之前的内容；注意力询问模型能否自行找到该时刻。状态查询在无上下文时得分高于基线，而变化查询在大多数短片段模型中随前置上下文而改善；30 秒填充编码器未表现出可比的恢复。提示和注意力几乎未揭示这一点。因此，提示失败低估了 LALMs 能够验证的内容（尽管不是它们能够定位的内容），低估程度由查询类型和编码器决定。
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29256 [cs.SD] |
| （或此版本的 arXiv:2610.29256v1 [cs.SD]） | |
| https://doi.org/10.48550/arXiv.2610.29256 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eunsik Shin [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 06:06:11 UTC（50 KB）
来源：arXiv cs.CL · arxiv.org