本文整理自一次围绕 CosyVoice-300M-SFT 的本地文件检查与技术讨论。归档日期:2026-10-13。文件、源码及硬件检查发生在此前会话中,并非归档当天重新验证;环境可能已经变化。训练命令为阅读源码后整理的模板,没有完成实跑验收。
1. 背景与最终选型结论
用户当前明确需求是:输入完整文本,生成可播放的音频文件,应用场景包括古诗朗读。现有电脑为 Intel Core Ultra 7 155H、约32 GB内存,检查时仅发现Intel核显,未发现NVIDIA显卡;已下载第一代CosyVoice-300M-SFT。
建议先跑通现有第一代SFT,以固定音色生成音频并缓存。仅有“文本转音频”需求,不足以说明第二代更适合。第二、三代的流式合成优势,在“提交全文、等待完成、获取文件”的场景中不是必要条件。
若第一代在读音、停顿、音色或自然度上不能满足要求,再使用相同文本比较其他代际。第二代不是升级第三代的必经步骤。需要专属音色克隆时,可以优先评估第三代基础版。
2. 检查结果及证据边界
会话中检查了本地模型目录、下载清单、项目适配服务及锁定版本源码:
- 9个正式文件的SHA-256与本地下载清单一致。这证明文件与该清单匹配,不等同于完成推理验收。
- 模型输出采样率配置为22050 Hz。
- 音色文件包含:中文女、中文男、日语男、粤语女、英文女、英文男、韩语女。
- 下载包README已经包含第三代介绍,不能将其中第三代能力归给第一代权重。
- 检查时,服务虚拟环境缺少torch。没有执行模型合成,也没有运行微调。
- 同目录中的.part与.chunks是下载中间产物,不参与正式模型推理。
源码版本:074ca6dc9e80a2f424f1f74b48bdd7d3fea531cc。以下接口、配置及问题均以该版本的检查结果为依据,换版本应重新核对。
3. 文本如何变成声音
主要链路:
文字 → 文字处理与编码 → LLM生成语音token → Flow生成梅尔频谱 → HiFT生成声音波形。
音色向量同时作为LLM和Flow的条件输入。
- 语音token:用整数编号表示的紧凑语音信息,不是汉字,也不是音频文件。
- 梅尔频谱:描述不同时间、不同频段声音强弱的声学表示。
- 声码器:将声学表示转换为可播放波形的模型。
- 说话人向量:一组描述音色特征的数字;192维不意味着192种人工定义的人声属性。
模块职责有交叉。读音、节奏和音色不是由某一个文件完全独立决定的。
权重、源码和配置的区别
源码规定计算过程,配置规定层数、维度及处理方式,权重保存训练得到的数值。推理使用这些数值生成结果;训练通过预测误差调整数值。
权重不是录音素材库,只有权重而没有匹配代码和配置,不能直接使用。
300M是模型规模命名,不能解释为完整系统只有300 MB;SFT是有监督微调,表示在已有模型基础上利用成对训练样本继续调整参数。
4. 模型目录各文件用途
大小采用十进制近似值。
| 文件 | 大小 | 作用 | 常规音色微调 |
|---|---|---|---|
| llm.pt | 1.24 GB | 从文字与音色条件预测语音token | 主要微调对象 |
| flow.pt | 420 MB | 从语音token与音色条件生成梅尔频谱 | 主要微调对象 |
| hift.pt | 81.9 MB | 从频谱生成声音波形 | 起步通常固定 |
| campplus.onnx | 28.3 MB | 从录音提取说话人向量 | 通常固定 |
| speech_tokenizer_v1.onnx | 522.6 MB | 将真实录音转成语音token,提供训练目标 | 通常固定 |
| spk2info.pt | 7.8 KB | 音色名称与音色特征的映射 | 新增音色需更新 |
| cosyvoice.yaml | 6.4 KB | 模型结构、特征处理、训练配置 | 调整训练参数,保持结构兼容 |
| configuration.json | 47 B | 标记框架与任务类型 | 通常不改 |
| README.md | 9.3 KB | 使用说明,注意代际混杂 | 不参与计算 |
| source-manifest.json | 3.8 KB | 来源版本、文件大小与校验值 | 追溯与校验 |
| .part、.chunks/ | 不同 | 下载中间文件与分块目录 | 不参与模型运行 |
LLM
这份第一代配置包含6层文字编码器及14层Transformer主干,基础语音词表大小4096。这里的语言模型主要生成语音token,而非作为聊天助手回答问题。
Flow
使用流匹配(Flow Matching):学习在条件引导下,将噪声状态逐步转换成合理声学特征。输出为80维梅尔频谱。它对音色和声学质感很重要,但不能单独决定全部效果。
HiFT
承担声码器角色,配置还包含基频预测器。基频与声音音高有关。普通音色微调通常先保留原声码器,避免少量数据训练损害通用音质。
两个ONNX模型
campplus负责提取音色;speech_tokenizer负责提取语音内容表示。常规微调保持它们固定,以维持输入条件及token含义的一致性。
spk2info
SFT前端按音色名读取embedding,并同时传给LLM、Flow。增加字典条目只是在注册条件,不等于训练了新音色。.pt是一种保存格式,不代表每个.pt都是神经网络权重。
5. 关键配置解释
| 参数 | 本模型值或含义 |
|---|---|
| sample_rate=22050 | 每秒音频采样点数 |
| spk_embed_dim=192 | 音色向量维数 |
| text_token_size=51866 | 文字token词表大小,不是最大输入字数 |
| speech_token_size=4096 | 基础语音token词表大小 |
| input_frame_rate=50 | 此版本语音token约每秒50帧 |
| num_mels=80 | 梅尔频谱频带数 |
| n_fft=1024 | 傅里叶变换长度 |
| hop_size=256 | 相邻声学分析帧的采样点间隔 |
| num_blocks | 模型层数 |
| attention_heads | 注意力头数 |
| dropout_rate | 训练时随机屏蔽部分内部信号以减少过拟合 |
| top_p、top_k | 推理生成token时的候选采样约束 |
| max_frames_in_batch=2000 | 动态批次帧数预算,影响显存 |
| lr=0.001 | 原配置学习率,不宜直接套用于少量数据微调 |
| accum_grad=2 | 累积两个批次梯度再更新 |
| grad_clip=5 | 限制梯度过大 |
| max_epoch=200 | 最大训练轮数,不表示必须训练200轮 |
层数、词表、特征维度影响结构兼容,不能为了省显存随意修改。微调时通常调整学习率、批次预算与轮数。
6. 三代差异
| 维度 | 第一代 | 第二代 | 第三代 |
|---|---|---|---|
| 常见型号 | 300M、SFT、Instruct等 | CosyVoice2-0.5B | Fun-CosyVoice3-0.5B-2512 |
| 主要方向 | 建立自然语音合成及克隆能力,按版本区分功能 | 改善稳定性与双向流式 | 改善准确性、相似度、多语言及控制 |
| 语言模型 | 第一代专用Transformer | 基于Qwen2架构 | 延续语言模型驱动方案,改进训练与后训练 |
| 语音表示 | 本次SFT是50 Hz,另有25 Hz版本 | 25 Hz | 改进tokenizer以保留更丰富语音信息 |
| 流式 | 后续代码可音频分块输出,依版本 | 重点支持文字持续输入、音频持续输出 | 延续并改进双向流式 |
| 音色 | SFT主打预置音色;基础版可克隆 | 适合参考音频克隆 | 进一步提高复杂场景相似度与自然度 |
| 控制 | 依具体版本,例如Instruct | 支持指令控制等能力 | 更强调语言、方言、情绪、语速和发音控制 |
第三代官方说明宣称覆盖9种常用语言、18种以上中文方言或口音;这不意味着任何输入都能稳定达到同样效果。第三代另有_RL权重,不能与普通基础版混为一谈。
第二、三代常见型号都是0.5B,质量差异不只来自参数数量,还来自数据、语音表示和训练方法。0.5B也不是完整系统的运行内存。
流式与速度
首段等待时间和完整生成时间是不同指标。双向流式允许文字尚未全部到齐就开始生成声音,但如果硬件生成1秒音频超过1秒,持续播放仍可能中断。支持流式不等于本机能实时运行。
50 Hz表示10秒声音约500个token;25 Hz约250个。更短序列通常减少自回归生成工作量,但tokenizer、结构和权重需配套,不能直接将配置50改为25。
古诗场景
需要检查特定读音、七言或五言停顿、句间间隔、长文本稳定性与教学风格。第三代的发音及指令控制值得评估,但通用评测不能代替古诗试听。任何一代都可能读错,不能保证多音字与教学标准自动一致。
7. 当前电脑的适用范围
会话检查时硬件:
- CPU:Intel Core Ultra 7 155H,16核22线程。
- 内存:约31.5 GB物理内存,不是当时空闲内存。
- GPU:Intel核显;另有虚拟显示设备,未检测到NVIDIA GPU。
- 检查时D盘剩余约492 GB。剩余空间属于时点信息。
判断:具备尝试第三代CPU推理的资源条件,但未实跑,不能保证速度。内存影响能否容纳模型,算力影响生成时间。Intel核显和NPU不会被当前代码自动用于加速;WSL2也不会凭空提供CUDA硬件。
普通CPU尝试应关闭GPU加速选项:
model = AutoModel(
model_dir="第三代完整模型目录",
fp16=False,
load_trt=False,
load_vllm=False,
)
适合离线体验、少量生成、预生成后缓存播放。实时多人服务宜使用GPU。当前官方训练流程依赖CUDA,不适合这台机器直接微调。
第三代需要独立完整权重,不能将第一代文件改名升级。
8. 何时需要训练
- 固定内置音色朗读新文本:不需要训练。
- 参考音频克隆:先选择对应基础版,使用推理能力;不更新权重。
- 长期稳定专属音色、领域风格:考虑微调。
- 从零训练通用模型:需要大规模数据和算力,不适合当前起步。
训练时LLM学习从文字预测真实录音的语音token;Flow学习在token、音色等条件下恢复真实声学特征。训练损失是优化目标,不是完整听感评分。
9. 数据准备
基本单位:录音、准确转写、说话人身份。文字必须与实际录音内容一致。
建议单声道、干净人声、统一录音条件,无背景音乐、明显混响或削波。每条3至15秒可作为经验起点。当前脚本对超过30秒录音返回空语音token,因此必须切分并检查预处理结果。
几十分钟可以用于验证流程,数小时高质量录音通常更适合认真评估专属音色,但没有保证效果的数据量门槛。
训练、验证、测试应分离,尽量按文章或录音场次划分,避免相邻片段泄漏。古诗语料覆盖多音字、停顿、句尾变化,并保留普通语句。
| 文件 | 示例 | 作用 |
|---|---|---|
| wav.scp | u0001 /data/audio/u0001.wav | 录音路径 |
| text | u0001 床前明月光,疑是地上霜。 | 准确转写 |
| utt2spk | u0001 teacher01 | 录音归属说话人 |
| spk2utt | teacher01 u0001 u0002 | 说话人录音集合 |
路径避免空格,当前脚本按空白拆分。训练集与验证集分别准备索引。
10. 训练操作模板(未实跑)
以下命令用于Linux或WSL2的NVIDIA CUDA环境,不是PowerShell命令。训练显存还要容纳梯度、优化器状态和中间激活,不能用权重文件大小推断。24 GB可作为全参数微调规划起点,但不是官方最低要求或运行保证。
环境
在匹配版本源码根目录:
conda create -n cosyvoice-train python=3.10 -y
conda activate cosyvoice-train
pip install -r requirements.txt
export PYTHONPATH="$PWD:$PWD/third_party/Matcha-TTS:$PYTHONPATH"
export MODEL_DIR="/模型目录/CosyVoice-300M-SFT"
先确认CUDA、PyTorch及ONNX执行后端。当前train.py即使使用torch_ddp也导入DeepSpeed。
特征提取与打包
for split in train dev; do
python tools/extract_embedding.py \
--dir "data/$split" \
--onnx_path "$MODEL_DIR/campplus.onnx"
python tools/extract_speech_token.py \
--dir "data/$split" \
--onnx_path "$MODEL_DIR/speech_tokenizer_v1.onnx"
mkdir -p "data/$split/parquet"
python tools/make_parquet_list.py \
--src_dir "data/$split" \
--des_dir "data/$split/parquet" \
--num_utts_per_parquet 1000 \
--num_processes 2
done
产物:utt2embedding.pt为逐句音色向量,spk2embedding.pt为说话人平均向量,utt2speech_token.pt为语音token,Parquet数据包整合音频与条件,data.list保存包路径。必须核对数据包能读取,不能只看清单生成。
微调配置
复制源码examples/libritts/cosyvoice/conf/cosyvoice.yaml到独立配置,保留结构,修改对应字段:
padding: !name:cosyvoice.dataset.processor.padding
use_spk_embedding: True
train_conf:
optim: adam
optim_conf:
lr: 0.00001
scheduler: constantlr
scheduler_conf: {}
max_epoch: 20
grad_clip: 5
accum_grad: 2
log_interval: 100
save_per_step: -1
use_spk_embedding=True使训练使用说话人平均向量;1e-5及constantlr来自本地示例中的SFT建议;20轮只是实验上限示例,应依验证结果调整。
分别训练LLM与Flow
export CUDA_VISIBLE_DEVICES=0
for model in llm flow; do
torchrun --standalone --nnodes=1 --nproc_per_node=1 \
cosyvoice/bin/train.py \
--train_engine torch_ddp \
--config conf/cosyvoice-sft.yaml \
--train_data data/train/parquet/data.list \
--cv_data data/dev/parquet/data.list \
--model "$model" \
--checkpoint "$MODEL_DIR/$model.pt" \
--onnx_path "$MODEL_DIR/speech_tokenizer_v1.onnx" \
--model_dir "exp/myvoice/$model" \
--tensorboard_dir "tensorboard/myvoice/$model" \
--ddp.dist_backend nccl \
--num_workers 2 \
--prefetch 2 \
--pin_memory
done
torchrun启动进程;checkpoint指定初始权重;train_data更新参数;cv_data评估泛化;model_dir保存检查点;tensorboard_dir保存曲线;num_workers与prefetch控制数据加载。支持BF16的GPU可评估use_amp,本地实现该选项对应BF16。
评估与导出
检查漏字、重复、多音字、音色稳定性、长句、噪声及未见文本。训练集变好而验证集变差,可能是过拟合。
检查点含epoch和step等元数据,应使用导出工具处理后再用于推理。例如:
python cosyvoice/bin/average_model.py \
--src_path exp/myvoice/llm \
--dst_model exp/myvoice/llm-export.pt \
--num 1 \
--val_best
Flow同理。新建模型副本,放入新LLM与Flow、保留原HiFT和辅助模型。按训练一致的归一化方式,将teacher01的192维平均向量保存为spk2info中的embedding(形状1×192),再用inference_sft调用。注册音色不等于完成训练。
11. 当前源码已发现的衔接问题
- 下载模型YAML未填写padding.use_spk_embedding,但当前处理函数需要它。应使用匹配的训练配置并明确设置。
- 当前train.py直接将args.onnx_path写入环境变量,不传可能因None报错。模板已补参数。
- run.sh循环llm、flow、hifigan,但模型包只有hift.pt,没有完整hifigan训练检查点。不可整段照跑。
- 声码器训练涉及生成器、判别器和专门损失;不能把hift.pt改名冒充完整hifigan.pt。
- 项目服务默认zero_shot。使用第一代预置音色应配置VOICE_MODE=sft和实际存在的SPEAKER_ID。
- 检查时服务虚拟环境缺少torch,需要安装依赖并完成一次真实合成。
- 普通训练检查点包含元数据,发布前需导出并验证与推理配置兼容。
12. 推荐落地顺序
先用第一代中文女/中文男合成一首短诗,记录耗时、音频时长、读音、停顿与听感。效果满足要求即可缓存交付。发现具体不足后,再下载独立第三代权重做同文本比较;需要专属音色时优先尝试参考音频克隆,确认仍需改善后再规划GPU微调。
未经本机实测,不能断言第二代更快、第三代实时,或任何版本已达到业务验收标准。
参考资料
- 官方源码:https://github.com/FunAudioLLM/CosyVoice
- 第一代SFT模型:https://www.modelscope.cn/models/iic/CosyVoice-300M-SFT
- 第二代模型:https://www.modelscope.cn/models/iic/CosyVoice2-0.5B
- 第三代模型:https://www.modelscope.cn/models/FunAudioLLM/Fun-CosyVoice3-0.5B-2512
- 第一代论文:https://arxiv.org/abs/2407.05407
- 第二代论文:https://arxiv.org/abs/2412.10117
- 第三代论文:https://arxiv.org/abs/2505.17589
本文基于会话中已经读取的本地文件与官方说明整理;以上链接作为出处入口,归档时未重新在线核验。