跳到正文
10月5日周一
  1. arXiv62

    Kandinsky 6.0 Video 发布:同步音视频生成基础模型

    Kandinsky 6.0 Video 是一组用于同步文本到音视频生成的基础扩散模型,包含 3B 参数的 Lite 版和 29B 参数的 Pro 版。两个模型都能生成 5 秒视频并同步 44 kHz 音频,支持唇形同步,提供文本到音视频(T2AV)和图像到音视频(I2AV)两种模式,内置超分辨率模型可将输出提升至 Full-HD(1920×1080)。

  2. Hacker News22

    Mistis:面向通话中用户身份验证的解耦 E2EE 协议

    Mistis 是一个解耦的端到端加密(E2EE)协议,让最终用户可在任意通话进行中按需互相发起实时身份验证挑战,以防范实时音频深度伪造导致的身份冒用。其设计灵感来自信用卡 3DS 处理流程,采用解耦的验证通道、注册流程以及将用户重定向至可信验证机制的方式,同时规避了原有的糟糕用户体验。

10月4日周日
  1. arXiv21

    LLM 语音合成中的稀疏情绪控制回路追踪

    研究针对基于 LLM 的 TTS 模型提出 codec trajectory score 与 late residual direction score 两项情绪敏感指标,用于评估 activation-patching 干预。在匹配参考条件下,分析识别出一条稀疏的从源到读出、组件级的情绪控制回路,每种情绪涉及 23–27 个注意力头与 MLP,约占全部组件的 5%。

10月3日周六
  1. 科技媒体 RSS60

    Suno 推出 Speech 语音功能,语音与音乐可单轨共同生成

    Suno 于当地时间 10 月 1 日宣布推出 Speech 功能并开放公测,官方称这是业界首个将语音与音乐作为单一连贯音轨共同生成的端到端闭源音频模型。该功能内置于 Suno 中,输入一段文字并描述音色与音乐风格即可生成带 BGM 的语音音频。官方承认当前版本偶发口音漂移和语调过于戏剧化的问题。

  2. 科技媒体 RSS53

    Suno 推出语音生成功能,公测上线网页与移动端

    AI 音乐生成工具 Suno 推出语音生成功能 Speech,可根据脚本或提示词描述生成朗读语音,目前已在网页端和移动端公开测试。该功能支持同时生成配音与配套背景音乐。Suno 首席产品官 Jack Brody 表示,音乐始终是 Suno 的核心,但公司的愿景也延伸到其他人类表达形式。

10月2日周五
  1. arXiv26

    DriftTTS:无需蒸馏的少步文本转语音,基于分布匹配漂移

    DriftTTS 是一种少步 mel 频谱生成器,无需生成式教师、蒸馏或对抗判别即可训练,采用分布匹配漂移目标,特征空间由原始 mel 与在相同 LJSpeech 训练集上预训练的冻结掩码自编码器编码器定义。它通过 on-policy rollout 在自身中间状态上训练解码器,避免了缩短扩散或流匹配调度以及对预训练多步教师的依赖。

  2. Hacker News38

    TrueScribe:Linux 本地 AI 转录工具

    开发者因 Fedora 上找不到 MacWhisper 替代品,用 C# 与 Avalonia.Net 前端加 C++ 模型绑定(CTranslate2、Nemotron 3 NeMo-Speech.cpp)自建了 Linux 本地 AI 转录工具 TrueScribe,可离线转录采访。项目以 Show HN 形式发布,开发中使用了 AI 编码智能体。

10月1日周四
9月30日周三
  1. Hugging Face Daily Papers33

    Align Then Reason:面向配音的多模态唇形同步评判模型

    针对配音质检中无参考音频、仅凭静音视频与文本判断口型是否匹配的需求,研究者提出多模态唇形同步评判模型 Align Then Reason(ATR)。该模型先在帧级唇部动作与文本间建立单调对齐,再进行推理判断,支持多语言。现有视觉语音识别器与视频语言模型即使经过微调,仍对时间错位不敏感,难以胜任该任务。

9月29日周二
9月28日周一
9月26日周六
  1. Hugging Face Daily Papers32

    Audio LLM 会先听再行动吗?诊断语音智能体中的声学上下文门控

    研究者提出 VGBench,一个包含 1,018 条样本的诊断基准,用于评估语音智能体在闲聊、自言自语和说话人切换场景下能否正确判断指令是否针对自己。基准采用统一动作空间(静默、工具调用、自然语言回答),说话人切换样本固定文字内容,仅改变声源、距离渲染和时间边界。测试覆盖 6 个原始 Audio LLM 和 3 个(后续内容缺失)。

9月25日周五
  1. Google DeepMind67

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。

    推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。

9月24日周四
9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发配音与语音智能体。

    推荐理由:Google DeepMind 发布两款 TTS 模型,给出语音克隆、逐行导演和多语言能力,可据此判断语音生成工作流的变化。

9月16日周三
9月15日周二
7月8日周三