社区开发者基于 VoxCPM2 推出本地视频配音工具 VoxaDub
社区开发者 @kadirrbrtt 基于面壁智能 VoxCPM2 声音克隆构建了本地优先的视频配音工具 VoxaDub,工作流覆盖转录对齐(可选说话人分离)、本地 Hy-MT2 上下文翻译、VoxCPM2 语音合成、时长适配以及与原始背景音合成,唇形同步为可选独立步骤。
OpenBMB· @OpenBMB · X·2026-11-17 21:30· 45 分钟前AI 评分53
AI 导读
面壁智能 OpenBMB 转发社区开发者 @kadirrbrtt 基于 VoxCPM2 声音克隆构建的本地优先视频配音工具 VoxaDub,工作流覆盖转录对齐(可选说话人分离)、本地 Hy-MT2 上下文翻译、VoxCPM2 语音合成、时长适配和与原背景音合成,唇形同步为可选独立步骤。
正文 · 原文
🎬 一种新的语言。一个熟悉的声音。
社区开发者 @kadirrbrtt 构建了 VoxaDub,这是一款本地优先的视频配音工具,将 VoxCPM2 声音克隆引入多语言工作流。🌍
从源视频到配音输出:
📝 转录与对齐:转录对话并对齐时间戳,可选说话人分离以区分谁在何时说话。
🧠 翻译:本地 Hy-MT2 翻译利用上下文和可选术语表。
🎙️ 生成语音:从每位说话人选取的干净音频片段引导 VoxCPM2 合成,有助于在翻译后的对话中保留各自独特的音色特征。
⏱️ 适配时长:时长感知的翻译优化和有界音频调整有助于让语音贴合原始场景。
🎞️ 重建视频:将配音语音与原始背景音频合成。可选的唇形同步作为独立步骤提供。
🔒 离线配音在模型设置完成后可完全本地运行,也可选择云端算力。
⚡ VoxaDub 还探索了直播配音,目前处于实验阶段。时间保护机制有助于改善对齐,但不承诺完美同步。
我们很高兴看到社区将 VoxCPM2 富有表现力的语音生成能力转化为帮助故事触达新受众的工具。💙
🛠️ 探索 VoxaDub 及其多语言演示:
github.com/kadirb4rut/voxadub
🚀 VoxCPM GitHub:
github.com/OpenBMB/VoxCPM
🤗 Hugging Face 上的 VoxCPM2:
huggingface.co/openbmb/VoxCPM2
#VoxCPM2 #OpenBMB #AIDubbing #OpenSource
来源:OpenBMB · x.com
来源:RadarAI · aihot.news
