在开发高质量的文本转语音(TTS)系统时，数据准备是至关重要的第一步。本文简要总结了从原始音频到最终训练数据集的转换过程。
数据准备概述
TTS系统的训练需要大量高质量、结构化的语音数据。为了获得这样的数据集，我们需要一套完整的数据处理流程，包括音频标准化、说话人分离、分段和转写等步骤。
Emilia-Pipe流程
Emilia-Pipe是一个专为TTS数据准备设计的处理管道，它包含以下关键步骤：
- 标准化：对音频进行规范化处理，确保音量和质量的一致性
- 源分离：将长音频处理为不含背景音乐(BGM)的纯语音
- 说话人分离：提取中等长度的单一说话人语音数据
- 基于VAD的精细分段：将语音切分为3-30秒的单一说话人片段
- 自动语音识别(ASR)：获取语音片段的文本转写
- 过滤：通过质量控制获得最终处理后的数据集
Emilia预处理工具的源代码可在GitHub上获取：Amphion/preprocessors/Emilia
说话人分离技术
说话人分离(Speaker Diarization)是TTS数据准备中的关键步骤，它能识别“谁在什么时候说话”。这一技术对于从多人对话或播客等音频中提取单一说话人的语音片段至关重要。
更多关于说话人分离的技术详情可参考：Speaker Diarization 3.1
RTTM格式详解
RTTM(Rich Transcription Time Marked)是语音处理中常用的标注格式，用于记录说话人转换信息。RTTM文件的各列含义如下：
| 列名 | 说明 |
|---|---|
| Type | 片段类型；应始终为SPEAKER |
| File ID | 文件名；录音的基本名称(不含扩展名)，如rec1_a |
| Channel ID | 通道ID(从1开始索引)；应始终为1 |
| Turn Onset | 说话开始时间(从录音开始计算的秒数) |
| Turn Duration | 说话持续时间(秒) |
| Orthography Field | 应始终为<NA> |
| Speaker Type | 应始终为<NA> |
| Speaker Name | 说话人名称；在每个文件范围内应唯一 |
| Confidence Score | 系统置信度(概率)；应始终为<NA> |
| Signal Lookahead Time | 应始终为<NA> |
实际应用效率
在实际生产环境中，使用GPU可以大幅提高处理效率。根据测试，使用一张A800 GPU进行批处理，可以在单天内处理约3000小时的音频数据。
总结
TTS数据准备是一个多步骤的复杂过程，涉及音频处理、说话人分离和语音识别等多个技术领域。通过Emilia-Pipe等工具和完善的处理流程，我们可以将原始音频转化为高质量的TTS训练数据集，为构建自然、流畅的语音合成系统奠定基础。
对于希望开发TTS系统的团队，建议投入足够的资源在数据准备阶段，因为数据质量直接决定了最终模型的表现。