SoulX-Podcast

项目介绍

SoulX-Podcast 是由 Soul AI 团队（Soul-AILab）开源的播客式语音生成推理代码库，论文发表于 2025 年 10 月（arXiv 2510.23541）。它面向「播客」这种长文本、多角色、多轮对话的场景，能把一段文本脚本直接合成成自然、有层次感的对话音频，同时也胜任传统的单人朗读（monologue TTS）任务。模型权重 SoulX-Podcast-1.7B 与方言版 SoulX-Podcast-1.7B-dialect 已发布在 HuggingFace。

核心功能

多轮多角色对话合成：支持在长音频里安排多个说话人，处理来回对话、插话、打断的语流，比单句 TTS 更贴近真实播客录制。

跨方言零样本声音克隆：给定一段参考音频即可克隆音色，且能在普通话、四川话、河南话、粤语等方言之间跨域克隆，用任意支持方言生成个性化声音，无需针对每种方言单独训练。

副语言控制：除了文字，还支持 laughter、sigh、breathing、coughing、throat_clearing 五类副语言事件，可在文本中插入 <|laughter|>、<|sigh|> 等标签，让合成结果带上笑、叹气、清嗓子等真实说话时的细节，自然度明显提升。

中英双语：同时覆盖普通话与英语，适合双语播客内容生产。

技术架构与本地部署

项目基于 Python（推荐 conda 创建 python 3.11 环境，pip install -r requirements.txt），模型权重通过 huggingface-cli 或 snapshot_download 拉取到本地。推理入口有两个：webui.py 提供网页界面，run_api.py 暴露 REST API，支持同步/异步生成、任务队列与并发控制。对速度有要求可用官方提供的 vLLM 定制版 Docker 镜像（基于 vLLM 0.10.1）加速，实测 2–3 倍提速。论文配套 Demo 与 HuggingFace Spaces 在线体验也已上线，不想本地部署可直接试用。

适用人群

• 播客主 / 内容创作者：把文字稿一键转成多角色对话音频，降低录制成本；
• 方言内容生产者：用四川话、河南话、粤语等生成带本土口音的语音；
• AI 语音 / 多模态研究者：作为可复现的基线模型做二次开发。

许可证与伦理

代码与模型权重采用 Apache 2.0 协议，允许研究与商业使用。团队在仓库中明确声明：禁止用于未经授权的声音克隆、诈骗、深度伪造等非法用途，使用需遵守当地法律法规。