arXiv cs.AI· Jakub Po\'cwiardowski, Mateusz Modrzejewski·· 11 小时前AI 评分21
MI-MIDI 2：用稀疏自编码器实现文本到 MIDI 生成中的观测与控制
MI-MIDI 2: From Observation to Control with Sparse Autoencoders in Text-to-MIDI Generation
AI 导读
MI-MIDI 2 提出一套端到端协议，在 text2midi 和 MIDI-LLM 两个文本到 MIDI 生成模型中发掘并评估稀疏自编码器（SAE）特征，通过干预生成 MIDI 直接检验特征能否控制输出。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）可以在没有预定义标签的情况下揭示生成模型的特征，但在语言模型中，用于解释这些特征的证据已被证明无法可靠地指示其中哪些特征会引导输出。据我们所知，SAE 特征的解释能否预测音乐生成器中的控制尚未经过测试。我们开发了一套端到端协议，用于在文本到 MIDI 生成中发现和评估 SAE 特征，并将其应用于 text2midi 和 MIDI-LLM。该协议通过与音乐指标、共享乐器程序以及自动描述的相关性来刻画特征，每种相关性都有各自的对照：音符密度调整、匹配的非活跃片段以及置换校准。随后通过干预测试候选特征，直接在生成的 MIDI 中相对于未修改的生成结果和匹配的随机方向进行测量，在筛选中对它们排序，并在新提示上确认选定的特征。通过这些对照检验的证据指向能够引导输出的特征。对于乐器配置，描述优于置换对照；一个描述中指明合成器主音程序的特征，在预先指定的确认中引入了该程序，并在不相交提示上的复现中再次出现，且独立训练的字典中也会重现。通过密度调整相关性选出的特征作为一个整体，其目标指标呈现小幅正向偏移，而通过原始相关性选出的特征则没有。一个图谱为定向筛选中的每个特征提供了 MIDI、钢琴卷帘和音频示例。
| 评论： | 20 页，6 幅图，24 张表。含音频示例的图谱：此 https URL |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32007 [cs.SD] |
| （或 arXiv:2610.32007v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32007 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jakub Poćwiardowski [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 00:10:54 UTC（141 KB）
来源：arXiv cs.AI · arxiv.org