跳到正文
RadarAI· X:面壁智能 OpenBMB (@OpenBMB)·· 8 小时前AI 评分52

社区开发者基于 VoxCPM2 推出本地视频配音工具 VoxaDub

AI 导读

社区开发者 @kadirrbrtt 基于面壁智能 VoxCPM2 声音克隆构建了本地优先的视频配音工具 VoxaDub,工作流覆盖转录对齐(可选说话人分离)、本地 Hy-MT2 上下文翻译、VoxCPM2 语音合成、时长适配以及与原始背景音合成,唇形同步为可选独立步骤。

正文 · AI 翻译

OpenBMB· @OpenBMB · X·2026-11-17 21:30· 45 分钟前AI 评分53

AI 导读

面壁智能 OpenBMB 转发社区开发者 @kadirrbrtt 基于 VoxCPM2 声音克隆构建的本地优先视频配音工具 VoxaDub,工作流覆盖转录对齐(可选说话人分离)、本地 Hy-MT2 上下文翻译、VoxCPM2 语音合成、时长适配和与原背景音合成,唇形同步为可选独立步骤。

正文 · 原文

🎬 一种新的语言。一个熟悉的声音。

社区开发者 @kadirrbrtt 构建了 VoxaDub,这是一款本地优先的视频配音工具,将 VoxCPM2 声音克隆引入多语言工作流。🌍

从源视频到配音输出:
📝 转录与对齐:转录对话并对齐时间戳,可选说话人分离以区分谁在何时说话。
🧠 翻译:本地 Hy-MT2 翻译利用上下文和可选术语表。
🎙️ 生成语音:从每位说话人选取的干净音频片段引导 VoxCPM2 合成,有助于在翻译后的对话中保留各自独特的音色特征。
⏱️ 适配时长:时长感知的翻译优化和有界音频调整有助于让语音贴合原始场景。
🎞️ 重建视频:将配音语音与原始背景音频合成。可选的唇形同步作为独立步骤提供。

🔒 离线配音在模型设置完成后可完全本地运行,也可选择云端算力。

⚡ VoxaDub 还探索了直播配音,目前处于实验阶段。时间保护机制有助于改善对齐,但不承诺完美同步。

我们很高兴看到社区将 VoxCPM2 富有表现力的语音生成能力转化为帮助故事触达新受众的工具。💙

🛠️ 探索 VoxaDub 及其多语言演示:
github.com/kadirb4rut/voxadub
🚀 VoxCPM GitHub:
github.com/OpenBMB/VoxCPM
🤗 Hugging Face 上的 VoxCPM2:
huggingface.co/openbmb/VoxCPM2

#VoxCPM2 #OpenBMB #AIDubbing #OpenSource

来源:OpenBMB · x.com

来源:RadarAI · aihot.news