跳到正文
#语音
10月17日周六
10月16日周五
  3. arXiv cs.CL22

    多模态情感识别系统：融合面部表情、肢体动作、语音与口语文本

    一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率，显著高于任一单模态组件（p < 10⁻⁴），且各情绪状态识别率均不低于92.31%。相比之下，单模态模型在真实条件下准确率降至82.97%–87.64%，部分情绪状态识别率低至48.08%，表明基准测试的高性能难以迁移到实际使用场景。

  4. arXiv cs.CL20

    利用语音基础模型的语言选择性维度进行语码转换检测

    研究者提出一种直接从语音中检测语码转换（CS）的轻量方法，利用预训练语音编码器帧级的语言选择性隐藏状态维度，聚合激活值来预测一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器取得平均 F1 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。

  5. arXiv cs.CL27

    脑到语言解码综述：任务、信号、方法、评估与实际应用

    一篇综述系统梳理了脑到语言解码研究，将神经活动转化为语言或表达输出，涵盖侵入式与非侵入式测量，检索无年份下限、来源更新至 2026 年 9 月。文章把 Articulated、Inner、Perceived 三类任务与其涉及的神经元群体、解码器可用表征及输出对应起来，并比较已发表性能与通信成本。

  9. arXiv cs.CL26

    文本就够了？文本作为语音 LLM 的通用信息瓶颈

    研究者提出 Convex Gate（C-Gate），将语音每一帧表示为冻结 token 嵌入的凸组合，用 Whisper-large-v3 编码器加部分适配的 Qwen2.5-7B-Instruct 解码器联合训练语音识别、情感识别与口语推理，单一共享解码器即可完成转录与情感识别。适配后解码器在纯文本基准上指令跟随与 MMLU 下降，GSM8K 与 HellaSwag 持平或超过原模型。

  10. arXiv cs.AI31

    ELLSA 2：语音、表情与手势的全双工交互模型

    ELLSA 2 是一个端到端全双工对话模型，可同时优化语音交互与流式手势-表情生成，在模型不说话时也能持续生成非语言动作。它采用自回归分块合成器，结合预训练声学特征与对话骨干网络、语音合成器中独立的聆听和说话隐藏状态，并通过上下文语义调用与模板引导区分语义手势的触发与实现。

  11. arXiv cs.AI20

    PACC：将朗读语音转换为自然对话语音

    研究提出 PACC（Prosodic Adjustment with Conversational Context）方法，通过深度神经网络调整语调、重音和节奏等韵律特征，并采用 HiFi-GAN 进行语音合成，将朗读语音转换为自然对话语音。实验显示该方法在自然度和模型准确率上均有提升，并在语音转换任务和 MOS 评测中建立新基准，可扩展至其他语音转换应用。

  13. arXiv cs.CL22

    通过多教师蒸馏学习语音属性表示

    研究提出一种多属性多教师蒸馏框架，用共享 SSL 骨干网络和属性专属分支，从四个冻结教师模型学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，该模型性能接近专用单任务学生模型，且仅需一个共享编码器。学习到的层聚合策略还揭示不同语音属性自然涌现于 SSL 编码器的不同深度。

  14. arXiv cs.CL22

    通过对抗训练与蒸馏方法缓解音频大语言模型的偏见

    研究针对音频大语言模型（AuLLMs）的性别偏见，用对抗方法让模型"遗忘"性别感知，且在其他基准任务上性能不降。作者进一步蒸馏出性别无关模型，使其能感知性别但响应与教师模型一致，除非被显式触发。方法在三个 AuLLMs 上测试，性别遗忘部分结果令人满意，蒸馏部分仅部分满意。

  15. arXiv cs.CL18

    SITAR：面向自动语音识别评估的情境失真度量

    研究者提出 SITAR，一种面向自动语音识别（ASR）的情境失真度量，通过有界递归公式将情境严重度与累积范围聚合为统一分数，并训练为轻量级 BERT 家族回归器，单次前向传播即可为参考-假设对打分，无需运行时高昂成本。验证涵盖宏观与微观层面的外在效度及评分器内在可靠性，显示 SITAR 能跟踪模型能力扩展并提供正交诊断价值。完整代码、模型权重与数据集将在内部评审后发布。

  16. arXiv cs.CL18

    基于 Transformer 的孟加拉语语音早期识别系统实现句子自动补全

    一项研究提出集成系统，通过孟加拉语语音和文本分析检测痴呆症迹象，并在对话中提供句子自动补全支持。研究提取与认知衰退相关的声学特征，采用基于 Transformer 的模型将语音转写为文本，评估多种 ML 和 DL 模型，其中 LSTM 架构在建模语音和语言上下文模式方面表现突出。句子补全任务采用带注意力机制的 Bi-LSTM 序列学习模型，逐步补全对话中部分表达的孟加拉语句子。

  17. arXiv cs.CL31

    CoSTA：面向高效语音对话模型的压缩语音 token 适配

    CoSTA 是一个兼容性保持的后处理框架，通过均值初始化词表扩展、发音适配和对话适配，将语音对话模型的生成与合成 token 空间解耦，同时保留原有语音 tokenizer 和解码器。在双语语音对话基准上，CoSTA 实现约 1.7 倍语音 token 生成速度提升，降低完整响应延迟并提高吞吐量，同时保持回复质量。实验还显示其具备跨架构迁移能力，并与低速率 tokenization 形成互补。

  19. arXiv cs.CL26

    全双工语音语言模型的参考引导轮流说话风格迁移

    研究者从全双工语音语言模型自身对话中提取出一个晚期层残差流方向——"主动性向量"，无需训练或标注即可读取并调控模型的说话决策，提前最多 800 ms 预判话轮起始。生成时缩放该向量可将语音占比从 6-12% 提升至 42-61%（不干预时为 21-30%），且跨对话、权重和语料保持一致。仅需一段简短参考录音即可将说话人的轮流说话风格迁移给模型，换用他人参考时 93-98% 的情况下匹配变差。

  20. 量子位22

    网易首个AI原生语音Agent「网易叭哥说」上线用户荣誉联创计划，10万元征集产品建议

    网易首个AI原生语音Agent「网易叭哥说」上线“用户荣誉联创计划”，投入10万元征集产品建议，设11个名额、单人最高5万元，不设学历专业门槛。该Agent通过自研ASR与语义理解链路，口语输出对键盘打字效率比值提升至5倍，支持124个语种实时语音互译，专业领域翻译精准度可达98%，数据本地处理且终身免费。

  23. RadarAI38

    阿里云通义实验室虚拟数字人产品退市：2026 年 11 月 30 日停止新购，2027 年 11 月底全面停服

    阿里云宣布由通义实验室打造的虚拟数字人产品因产品策略调整退市，2026 年 11 月 30 日停止新购，2027 年 5 月 31 日停止续订及版本更新，2027 年 11 月 30 日全面停止服务，控制台、支持与工单服务及退款服务同步下线。官方建议用户迁移至阿里云云市场的蚂蚁灵境数字人、相芯数字人、一知智能 AI 直播数字人等替换方案。

  25. RadarAI50

    小米开源空间音频理解大模型 MiDashengLM-Spatial

    小米开源空间音频理解大模型 MiDashengLM-Spatial，完整公开模型权重和推理代码，采用 Apache 2.0 许可证。该模型以 MiDashengLM-7B 为基座，在保留基础音频理解能力的同时增加空间感知与推理能力，小米称其为业界首个开源的端到端空间音频理解大模型，将陆续应用于智能家居和汽车座舱场景。

  27. GitHub38

    短视频工厂：开源桌面端 AI 短视频批量剪辑工具

    YILS-LIN 开源桌面端应用「短视频工厂」，可通过提示词文本加视频分镜素材自动批量剪辑产品营销与泛内容短视频。工具集成文案生成（兼容通用 OpenAI 接口格式）、EdgeTTS 语音合成、自动混剪与字幕特效，支持中文、英文等多语言，完全本地化运行，提供 Windows、macOS 和 Linux 版本。