arXiv cs.CL· Ming-Hao Hsu, Yuxiang Wang, Yingda Shen, Zhizheng Wu·· 3 天前AI 评分22
AFFIRM：用冻结仿射场修复文本更新后的语音访问
Repairing Speech Access After Text Updates with Frozen Affine Fields
AI 导读
研究提出 AFFIRM（Affine Fields for Interface Repair across Modalities），在知识检查点保持冻结的前提下，用可拆卸算子一次前向修复仅语音访问。
正文 · AI 翻译
摘要：具备语音能力的语言模型从文本丰富的语言主干中继承大部分知识，而持续的模型维护同样以文本更新为主。然而，通过文本更新获得的知识在相同查询以语音形式提出时仍可能难以获取。我们将这种不匹配表述为更新后语音访问修复，其中承载知识的检查点保持冻结，一个可拆卸算子在一次模型前向中修复仅语音访问。我们提出跨模态接口修复仿射场（AFFIRM），它首先学习并冻结语音隐藏状态的基础校正，然后添加在算子训练查询上均值为零的查询特定校正。配对的语音和文本状态提供坐标，使这些校正以每个查询为条件。在平衡合成语音 PopQA 上，在相同的冻结单状态约束下，配对比较并未确立 AFFIRM 相对于全局 SALSA 引导或低秩 ReFT 干预的明显优势。在带有文本段落的录制 SLUE-SQA-5 问题上，一个全规模 PopQA 拟合的 AFFIRM 算子无需重新拟合即可迁移，并较其配对的 No Repair 基线将 ROUGE-L 提升 0.0941。低秩 ReFT 干预也正向迁移，而匹配的 SALSA 变体则较其配对基线低 0.0707。这些结果表明，文本习得和语音访问在更新后可能发生偏离，应分别进行验证和修复。
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.20253 [cs.CL] |
| （或 arXiv:2610.20253v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20253 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ming-Hao Hsu [查看电子邮件]
[v1]
2026年10月14日星期三 14:24:38 UTC（52 KB）
来源：arXiv cs.CL · arxiv.org