arXiv·· 12 天前AI 评分23
DirectSpeech2LLM：缓解 Speech-LLM 提示词过拟合的端到端框架
DirectSpeech2LLM: A Simple End-to-End Framework to Mitigate Prompt Overfitting in Speech-LLMs
AI 导读
针对 Speech-LLM 仅在 ASR 指令上训练后无法泛化到语音翻译等新指令的提示词过拟合问题，研究者提出端到端框架 DirectSpeech2LLM。该方法在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC 损失，并用贪心 CTC 标签生成几何与时间对齐的语音嵌入作为 LLM 输入，从而在语音条件下保留模型对未见任务的指令跟随能力。
来源：arXiv · arxiv.org