Fish Audio S2-Pro：开源 TTS 的旗舰级突破

Fish Audio 的 S2-Pro 是一款面向生产环境的开源 TTS 大模型——采用 Dual-AR 架构和大规模强化学习对齐，在 80+ 语言、细粒度情感控制和实时流式推理上都做到了开源阵营的顶级水平。[1]

这篇文章从四个问题切入：它是什么、怎么做的、能做到什么、适合什么场景。

一、S2 / S2‑Pro 是什么

Fish Audio S2 是一个开源的文本转语音系统，支持多说话人、多轮对话、长文本、指令跟随以及自然语言情感控制。S2‑Pro 是其中参数量约 44 亿的旗舰版本。[2]

官方 FAQ 指出，S2‑Pro 基于超过 1000 万小时、覆盖 80+ 种语言的音频数据训练，发布内容包括模型权重、微调代码以及基于 SGLang 的流式推理引擎。[1]

团队把它定位为”最具表现力的开源 TTS 模型”，希望在自然度、可控性和开放度上对标乃至超越 Google、OpenAI、ElevenLabs 等闭源系统。[3]

二、核心架构：Dual‑AR + RVQ 音频离散化

S2 系统由音频 tokenizer 和 Dual‑Autoregressive 生成框架两部分构成。前者基于 Descript Audio Codec（DAC），使用 10 层 Residual Vector Quantization（RVQ）将 44.1kHz 音频编码为离散 token 序列。[4]

10 个 codebook 中，第 1 个作为”语义瓶颈”，主要承载语言内容及粗略韵律，剩余 9 个逐级编码更细腻的声学细节（音色、气息、环境感等）。[2]

Dual‑AR 的关键是把时间轴和”深度轴”拆开：

• Slow AR：约 40 亿参数，沿时间轴自回归地预测”主语义 codebook”
• Fast AR：约 4 亿参数，在每个时间步内一次性生成剩余 9 个残差 codebook

这种拆分避免了简单展平 10 个 codebook 带来的序列长度爆炸，在保证高保真度的同时大幅提升推理速度。[5]

三、训练数据与”统一配方”管线

官方技术博客和技术报告都强调：S2 采用”多阶段训练 + 分阶段数据管线”，涵盖视频字幕生成、语音转写、语音质量评估与奖励建模等环节，用统一的”配方”贯穿数据清洗与强化学习。[6]

数据过滤阶段，系统用专门的语音质量模型对信噪比、说话人一致性、清晰度等维度打分。同一个模型在 RL 阶段又被复用为声学偏好奖励模型，实现”从同一模型来清洗数据、再来评判生成结果”的闭环。[1]

技术报告指出，S2 为了扩展规模，依赖大规模视频与语音数据的自动标注与多阶段训练策略，逐步增强模型的指令跟随、情感控制和多说话人能力，而不是一次性端到端训练完毕。[6]

四、强化学习对齐与自然语言控制

后训练阶段，S2 采用类似群体相对策略优化（GRPO）的强化学习方法，避免长音频上下文下 PPO 式价值网络的内存开销。[1]

奖励函数综合了多种维度：文本语义匹配与指令遵循、声学偏好得分（音质自然度/悦耳度）、音色相似度等，使模型既”说对内容”，又”说得好听、像人”。[2]

模型的一个标志性特性是”用自然语言标签控制情感与韵律”：可以在文本中插入类似 [laugh]、[whisper]、[happy]、[professional broadcast]、[pitch up] 等标签，对词或短语级别的语气、情绪、音高进行细粒度控制——这些标签本身也是指令对齐的一部分。[7]

五、多说话人、声音克隆与长对话

S2‑Pro 支持多说话人建模。上传含多位说话人的参考音频时，可通过 <|speaker:i|> 这类 token 明确区分不同说话人，在一次推理中生成多角色对话。[2]

模型支持零样本语音克隆：通常只需 10–30 秒参考音频，即可较好地复现说话人的音色、说话风格和情感倾向，适用于虚拟主播、配音替身等场景。[8]

得益于 Dual‑AR 架构和长上下文建模，S2 能够生成长篇内容与多轮对话，同时保持前后语气一致和情感连贯——这一点是传统句子级 TTS 难以做到的。[6]

六、表现与评测：对齐感与自然度

在”音频图灵测试”中，S2 在指令重写后的后验均值为 0.515，而 Seed‑TTS 约为 0.417、MiniMax‑Speech 约为 0.387，说明听感上更接近人类语音。[1]

在 EmergentTTS‑Eval 评测中，相比 gpt‑4o‑mini‑tts 基线，S2 获得了 81.88% 的综合胜率，在包括 Google 和 OpenAI 闭源系统在内的所有参评模型中排名第一。[1]

GitHub 与社区讨论也反复强调：在开源与闭源模型混合基准中，S2 在自然度、情感表达和指令可控性三个维度综合表现最佳，是当前”最好听”的开源 TTS 之一。[9]

七、推理性能与 SGLang 生态

官方技术报告与产品页给出，在单张 NVIDIA H200 上，S2‑Pro 的实时因子（RTF）约为 0.195，首帧音频时间（TTFA）在 100 毫秒左右，并且在保持 RTF < 0.5 的前提下可达到每秒 3000+ 声学 token 的吞吐量，满足实时对话和实时配音需求。[4]

S2‑Pro 的推理引擎基于 SGLang，继承了 LLM 服务器常见的一系列优化：连续批处理（continuous batching）、paged KV cache、CUDA Graph 重放以及基于 RadixAttention 的前缀缓存，大幅提升并发和长对话场景下的效率。[1]

实测与官方宣传表明，其端到端延迟通常低于 150 毫秒，这使得它不仅适用于离线配音，也适合实时对话机器人、互动游戏、虚拟人等场景。[10]

八、与传统 TTS / 竞品的关键差异

传统 TTS 多采用”文本→中间表示（如 phoneme + prosody）→声码器”的流水线，而 S2 直接在大规模离散音频 token 空间内进行自回归建模，配合 RL 对齐，让”如何说”与”说什么”统一在一个大音频模型（LAM）里优化。[11]

与仅支持模板化情感或固定风格的系统不同，S2‑Pro 允许用开放域自然语言来描述情绪和说话风格，并通过 RL 奖励模型保证这些指令在听感上得到真正体现，而不是简单调节几个手工参数。[11]

分析文章指出，S2‑Pro 代表的是从”朗读引擎”向”带意图表达的声音模型”的转变，更接近 LLM 在文本中的角色：不仅输出正确的词，更负责传达语气和语境，这也是其被称为 Large Audio Model（LAM）的原因。[11]

九、部署体验与当前局限

Fish Audio 已在官网和 Fish Audio App 中提供 S2‑Pro 的在线体验，同时在 GitHub 和 Hugging Face 发布了模型权重、微调与推理代码，方便研究者和开发者本地部署或二次开发。[10]

第三方安装教程显示，本地部署需要较新的 Python 版本、FFmpeg、GPU 驱动及 CUDA 环境等，且目前官方文档仍在持续完善中，早期用户曾反馈 GitHub 文档更新稍有滞后。[12]

由于公开的性能数据主要基于 H200 等高端 GPU，普通消费级显卡在大模型 S2‑Pro 上可能需要降低并发或接受略高的延迟，但也可以通过量化、裁剪或使用较小 S2 变体来折中性能与成本。[9]

十、S2‑Pro 的意义

从技术视角看，S2‑Pro 把”音频离散化 + Dual‑AR + RL 对齐 + LLM 式服务优化”这几条路径打通，证明了开源社区也能在 TTS 领域做到与顶级闭源产品同档甚至更强的效果。[1]

从产品和生态视角，它把多说话人、零样本克隆、细粒度情感控制、80+ 语言统一在一个模型内，并且完全开源权重，对独立开发者和小团队做虚拟人、配音 SaaS、互动内容平台等极具吸引力。[13]

参考文献

[1] Fish Audio 官方博客 – Fish Audio 开源 S2 系列技术报告，https://fish.audio/zh-CN/blog/fish-audio-open-sources-s2/

[2] ChatPaper – S2 技术论文解析，https://chatpaper.com/paper/250894

[3] Reddit – r/LocalLLaMA 社区讨论，https://www.reddit.com/r/LocalLLaMA/comments/1rptdpl/fish_audio_releases_s2_opensource_controllable/

[4] PingWest – Fish Audio S2-Pro 技术报道，https://www.pingwest.com/w/311977

[5] Dev.to – Fish Audio S2-Pro 架构解析，https://dev.to/gary_yan_86eb77d35e0070f5/fish-audio-s2-pro-a-tts-model-with-emotion-in-speech-controlled-with-natural-language-1e7n

[6] arXiv – S2 技术报告，https://arxiv.org/abs/2603.08823

[7] 搜狐科技 – S2-Pro 自然语言情感控制报道，https://www.sohu.com/a/995053874_122396381

[8] Dev.to – 零样本语音克隆解析，https://dev.to/gary_yan_86eb77d35e0070f5/fish-audio-s2-proyong-zi-ran-yu-yan-kong-zhi-yu-yin-qing-gan-de-tts-mo-xing-2loa

[9] GitHub – Fish Speech Releases，https://github.com/fishaudio/fish-speech/releases

[10] AiBase 新闻 – S2-Pro 部署与性能评测，https://news.aibase.com/tw/news/26112

[11] i10x.ai – S2-Pro 与传统 TTS 对比分析，https://i10x.ai/news/fish-audio-s2-pro-open-source-expressive-tts-model

[12] YouTube – S2-Pro 本地部署教程，https://www.youtube.com/watch?v=pXZKo-5I0jE

[13] Fish Audio 官方 – S2 产品页，https://fish.audio/zh-CN/s2/