Voiceboxv0.5.0

📌 本文基于 Voicebox v0.5.0（2026 年 4 月 25 日发布）撰写，仓库 5.87 万星。

软件简介

Voicebox 是作者 Jamie Pine 做的开源自托管语音工作台，MIT 协议，GitHub 上 58,702 星、7,375 个 fork，累计下载 324 万次以上。定位摆在明面上：ElevenLabs 和 WisprFlow 的免费本地替代品。模型全在你自己机器上跑，音频不出本机，没有订阅、没有云、也没有按字符计费这一套。

桌面端用 Tauri（Rust）写，不是 Electron，启动和推理都轻快。项目由 Capy 的 agent 团队协作维护，CI 会在 Linux 和 Mac Studio 上跑测试再合入。

核心功能

七个 TTS 引擎，按需挑选

• Qwen3-TTS（阿里，1.7B/0.6B，10 种语言）：唯一一个支持自然语言 delivery instructions 的引擎，用「温柔一点、慢一点」这类话控制语气。
• Chatterbox（Resemble AI，23 种语言）：零样本克隆加情绪强度控制，语言覆盖最广。
• Chatterbox Turbo（350M）：快，支持在文本里写 [laugh]、[sigh]、[gasp] 这类副语言标签。
• LuxTTS（ZipVoice，48kHz）：CPU 上就能跑，超 150 倍实时，显存占用约 1GB，快速试错首选。
• Qwen CustomVoice：9 个预设音色，同样支持指令式风格控制。
• TADA（Hume AI，3B）：为长音频设计，700 秒以上内容不漂移。
• Kokoro（hexgrad，82M）：极小，CPU 实时，预置音色直接选。

三秒克隆，三种取样方式

上传音频文件、麦克风现场录（最长 30 秒，带实时波形预览），或者直接抓系统正在播放的声音——从 YouTube 视频、播客里都能克隆。支持 WAV、MP3、FLAC、WebM。

Whisper 听写，粘到任何地方

按住快捷键（macOS 是 ⌘⌥，Windows 是 Ctrl+Alt）说话，松开，转写文本直接落进光标所在的输入框或剪贴板。Whisper 从 Base 74M 到 Large 1.5B 再到 Turbo 五档可选，覆盖 99 种语言。还可以挂一个本地 Qwen3 清理「嗯」「呃」和自我纠正、补标点，不改写原意，这步可关。

让 Agent 用你的音色说话（MCP）

内置 MCP server（http://127.0.0.1:17493/mcp），Claude Code、Cursor、Cline 这类 MCP 客户端一次调用 voicebox.speak 就能用克隆的音色播报，还能给每个 agent 绑定不同音色——Claude Code 用 Morgan Freeman，Cursor 用 Scarlett，不用看屏幕就知道谁在说话。走 agent 触发的语音都会弹出悬浮窗，不做静默后台播放。

每个下载过的引擎都会暴露成本地 REST 端点：/generate、/profiles、/models/status、/history、/health，OpenAPI 文档在 /docs。拿它做游戏 NPC 语音、批量生成有声书章节、给播客做片头都行，不收 API key、无限流、不按角色收费。

Stories 编辑器与音效链

时间轴式多轨编辑器，可以排轨、裁剪、混角色对话。音效方面有音高、混响、延迟、压缩等处理，可存成预设，还能按音色设默认效果。音色档案还能写自由格式的「性格」设定，让它用这个声音改写你的文字，或者干脆即兴演一段。

硬件与系统支持

• macOS Apple Silicon： 走 MLX/Metal，Neural Engine 加速比 4-5 倍
• Windows NVIDIA： PyTorch CUDA，应用内自动下载 CUDA 依赖
• Windows 任意显卡： DirectML 兜底
• AMD： ROCm，Linux 下会自动配 HSA_OVERRIDE_GFX_VERSION
• Linux： 官方还没出预编译安装包，得照官网 linux-install 页自行编译，或直接 docker compose up

适用人群

• 做有声书、短剧、游戏语音，需要稳定可复用的自有音色
• 把语音接进 Claude Code、Cursor 等 agent 工作流的人
• 处理敏感素材、不愿意把音频上传到第三方云端的团队

下载与体积

安装包不含模型但含推理运行时，所以都挺大：Windows exe 516.8MB、MSI 517.9MB、macOS Apple Silicon dmg 513.1MB、Intel dmg 560.1MB。NVIDIA 用户走 CUDA 还要额外拉依赖，voicebox-server-cuda.tar.gz 约 987MB，cu128 库约 2GB。模型本身是首次使用时按需下载，用哪个引擎下哪个。