arXiv cs.AI· Milan Liessens Dujardin, Kevin Miao·· 11 小时前AI 评分29
MusicTwins：训练音频语言模型像其人格一样聆听
MusicTwins: Training Audio-Language Models to Listen like Their Persona
AI 导读
MusicTwins 框架通过人格摘要、个人记忆与后训练，让音频语言模型生成特定人物的个性化响应。研究基于人类写作构建包含背景、观点、性格、写作风格和音乐画像的人格表征，并用监督微调与强化学习后训练 Audio Flamingo Next。在十个留出人格上的评测显示，该模型在人格保真度（含性格、写作风格及对音乐的响应）上有明显提升。
正文 · AI 翻译
摘要：人们在感知音乐的方式、与音乐产生的联想、对音乐的喜好以及如何回应音乐方面各不相同。旨在模拟身处包含音乐的环境中的计算模型应当考虑这些差异。尽管已有研究表明 LLM 能够再现人类行为的某些方面，但音频语言模型（ALM）能否再现特定个体对文本和音乐刺激的响应，仍缺乏充分探索。我们提出 MusicTwins，一个结合人物画像摘要、个人记忆与后训练来生成特定个体响应的框架。我们从人类写作中构建人物表征，捕捉其背景、观点、性格、写作风格和音乐画像，并通过监督微调和强化学习对 Audio Flamingo Next 进行后训练。在十个留出人物上的评估显示，Audio Flamingo Next 在人物保真度方面（包括性格、写作风格和对音乐的响应）有显著提升，这支持 MusicTwins 作为训练音频语言模型以像其人物一样聆听的基础。
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32495 [cs.SD] |
| （或 arXiv:2610.32495v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32495 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Milan Liessens Dujardin [查看邮箱]
[v1]
2026年10月23日星期五 11:11:45 UTC（2,513 KB）
来源：arXiv cs.AI · arxiv.org