如何在 Llama-Factory 中实现多阶段渐进式训练

在大模型落地日益加速的今天，一个现实问题摆在开发者面前：如何用有限的算力资源，把通用语言模型真正“驯化”成懂业务、会对话、知边界的专用助手？全量微调性能虽好，但动辄上百GB显存的需求让大多数团队望而却步；而简单粗暴地喂一批指令数据，又容易导致模型“学偏”——忘了常识，只会机械回应。

有没有一种方式，既能控制成本，又能系统性提升模型能力？

答案是：分阶段、递进式地训练。就像教学生先打基础、再刷题、最后模拟考试一样，我们也可以让模型一步步成长。Llama-Factory 正是一个为此类复杂训练流程量身打造的框架。它不仅支持 LoRA、QLoRA 等高效微调技术，更重要的是，提供了模块化配置和状态管理机制，使得多阶段训练不再是纸上谈兵。

---

从认知学习到模型演化：为什么需要多阶段训练？

人类掌握新技能的过程从来不是一蹴而就的。我们先通过大量阅读建立语感（预训练），再通过例题学会解题套路（监督微调），最后通过反馈不断优化输出质量（偏好对齐）。这种“渐进式学习”模式恰恰是当前大模型定制的最佳参考路径。

如果把所有任务混在一起训练，比如一边让模型理解医学术语，一边要求它遵循复杂指令，甚至还要判断回答好坏，结果往往是顾此失彼——模型可能记住了格式，却失去了语言灵活性；或者学会了偏好排序，却开始胡说八道。

而多阶段训练的核心思想，就是解耦目标、逐步演进：

1. 第一阶段：领域适应（CPT）
   让模型先“沉浸”在特定领域的文本中，比如法律文书或临床记录，增强其专业词汇理解和上下文感知能力。这一阶段通常采用继续预训练（Continued Pre-training）策略，使用自回归语言建模目标。

2. 第二阶段：行为塑造（SFT）
   引入高质量的指令-响应对，教会模型如何正确响应用户请求。此时可以切换为 LoRA 微调，仅更新注意力层中的低秩矩阵，大幅降低资源消耗。

3. 第三阶段：价值对齐（DPO/RLHF）
   基于人类偏好数据调整模型输出倾向，使其更安全、更有帮助。例如，在两个回复中选择更合适的那个，并据此反向优化策略。

每个阶段都以前一阶段的最佳检查点为起点，形成知识积累的“滚雪球效应”。更重要的是，这种结构化的流程让我们可以在每一步停下来评估效果，必要时回退或调整策略，而不是等到最后才发现走偏了。

---

LoRA 与 QLoRA：让消费级 GPU 跑得动大模型

要在普通硬件上实现上述三阶段训练，离不开高效的参数微调技术。Llama-Factory 对 LoRA 和 QLoRA 的深度集成，正是其实现平民化微调的关键。

LoRA：冻结主干，只训“小插件”

传统微调需要更新数十亿参数，显存压力巨大。LoRA 的思路非常巧妙：不碰原始权重，而是引入可训练的低秩增量矩阵。

数学上，假设原始权重为 $ W \in \mathbb{R}^{d \times k} $，LoRA 将其更新表示为：
$$
W’ = W + A \cdot B
$$
其中 $ A \in \mathbb{R}^{d \times r}, B \in \mathbb{R}^{r \times k} $，且 $ r \ll d,k $。也就是说，原本要更新 $ d \times k $ 个参数，现在只需训练 $ d\times r + r\times k $ 个新增参数——当 $ r=8 $ 时，参数量通常能压缩到原模型的 0.1% 左右。

在 Llama-Factory 中，你可以通过如下参数精确控制 LoRA 行为：

参数	推荐值	说明
lora_rank	8, 16, 64	秩越高表达能力越强，但也更耗显存
lora_alpha	16, 32, 128	缩放因子，一般设为 rank 的 2 倍以上
lora_dropout	0.05	防止过拟合的小技巧
target_modules	q_proj, v_proj	通常作用于注意力机制中的查询和值投影层

实践建议：对于 7B 模型，lora_rank=64 和 lora_alpha=128 是一个不错的起点。若发现性能饱和，可尝试增大 rank；若显存紧张，则优先降低 batch size 而非 rank。

QLoRA：4-bit 量化下的极限压缩

即使有了 LoRA，加载一个 7B 模型仍需约 14GB 显存（FP16）。QLoRA 在此基础上进一步引入 NF4 量化 + 分页优化器（Paged Optimizers）+ 梯度检查点（Gradient Checkpointing），将显存需求压至 10GB 以内。

这意味着什么？一张 RTX 3090 或 4090 就能完成全流程微调。

启用 QLoRA 的关键是两个配置项：

load_in_4bit: true
quantization_bit: 4

配合 bnb_4bit_compute_dtype=float16 和 use_paged_adamw=True，即可实现端到端的低显存训练。虽然精度略有损失，但实测表明，QLoRA 在多数任务上的表现与全精度 LoRA 相差不到 2%，完全可接受。

---

多阶段训练实战：构建你的专属模型流水线

下面以构建一个“医疗问答助手”为例，展示如何利用 Llama-Factory 完成三阶段渐进式训练。

阶段一：领域自适应预训练（CPT）

目标：让模型熟悉医学语言风格与术语体系。
数据：PubMed 文摘、电子病历片段等无标注文本，总量约 10GB。
策略：全参数微调成本过高，改用 QLoRA 进行轻量级继续预训练。

# config_stage1_cpt.yaml
model_name_or_path: qwen/Qwen-7B
data_path: data/medical_texts.jsonl
output_dir: output/qwen_medical_cpt
stage: cpt
do_train: true
finetuning_type: lora
lora_rank: 64
lora_alpha: 128
per_device_train_batch_size: 2
gradient_accumulation_steps: 16
learning_rate: 2e-5
num_train_epochs: 1
save_steps: 500
logging_steps: 10
load_in_4bit: true
fp16: true

注意事项：此阶段不宜训练太久，否则可能导致通用能力退化。建议监控 perplexity 变化，一旦稳定即停止。

阶段二：监督微调（SFT）

目标：教会模型根据患者描述生成规范回答。
数据：人工标注的问诊对话对，共 5 万条，格式为 {instruction, input, output}。
策略：加载上一阶段产出的检查点，切换为更高精度的 LoRA 微调。

# config_stage2_sft.yaml
model_name_or_path: output/qwen_medical_cpt/checkpoint-500
data_path: data/qa_pairs.jsonl
output_dir: output/qwen_medical_sft
stage: sft
do_train: true
finetuning_type: lora
lora_rank: 128  # 提高秩以捕捉更复杂的指令模式
lora_alpha: 256
target_modules: ["q_proj", "v_proj", "k_proj", "o_proj"]  # 扩展至全部注意力层
per_device_train_batch_size: 4
gradient_accumulation_steps: 8
learning_rate: 5e-5
num_train_epochs: 3
warmup_ratio: 0.1
save_strategy: steps
save_steps: 100
evaluation_strategy: steps
eval_steps: 100
load_best_model_at_end: true
metric_for_best_model: eval_loss
load_in_4bit: false  # 若显存允许，关闭4bit以提升稳定性
bf16: true

关键技巧：可在数据中混入 5%-10% 的通用对话样本（如 Alpaca 数据集），作为“锚定样本”，缓解灾难性遗忘。

阶段三：偏好对齐（DPO）

目标：使模型输出更符合医生的专业判断标准。
数据：包含偏好选择的三元组 (prompt, chosen, rejected)，由三位主治医师标注，共 8 千组。
策略：继续基于 SFT 模型进行 DPO 训练，无需奖励模型，简化流程。

# config_stage3_dpo.yaml
model_name_or_path: output/qwen_medical_sft/checkpoint-best
data_path: data/dpo_pairs.jsonl
output_dir: output/qwen_medical_dpo
stage: dpo
do_train: true
finetuning_type: lora
lora_rank: 64
lora_alpha: 128
per_device_train_batch_size: 2
gradient_accumulation_steps: 16
learning_rate: 1e-5
num_train_epochs: 2
beta: 0.1  # 控制KL散度权重
label_smoothing: 0.01
save_strategy: epoch
logging_steps: 10
bf16: true

DPO 的优势在于避免了 RLHF 中复杂的奖励建模与强化学习过程，更适合中小团队快速迭代。

---

架构设计与工程实践建议

要让这套流程真正跑起来，除了算法配置，还需要关注系统层面的设计细节。

检查点管理与版本控制

建议按以下目录结构组织输出：

output/
├── qwen_medical_cpt/          # 阶段1：领域预训练
│   ├── checkpoint-500/
│   └── best_model/
├── qwen_medical_sft/          # 阶段2：指令微调
│   ├── checkpoint-100/
│   └── best_model/
└── qwen_medical_dpo/          # 阶段3：偏好对齐
    └── final_model/

每个阶段结束后，手动备份最佳模型，并记录对应的配置文件与数据版本，便于复现。

可视化与调试支持

Llama-Factory 内置 WebUI，可通过浏览器图形化操作整个训练流程：

python src/webui.py --host 0.0.0.0 --port 7860

上传数据、选择模型、设置参数、启动训练，全程无需写代码。同时支持 TensorBoard 日志输出：

tensorboard --logdir=output

实时观察 loss 曲线、学习率变化、GPU 利用率等关键指标，及时发现问题。

硬件资源规划

阶段	方法	显存需求	推荐配置
CPT	QLoRA (4-bit)	~10GB	RTX 3090/4090 单卡
SFT	LoRA (BF16)	~18GB	A10G / A6000 单卡
DPO	LoRA (BF16)	~20GB	A100 40GB ×1

若资源极度受限，可考虑在 SFT 和 DPO 阶段也使用 4-bit 加载，牺牲少量精度换取可用性。

---

解决常见痛点：来自实战的经验

痛点一：训练完指令后，模型不会“说人话”了

这是典型的灾难性遗忘现象。解决方案是在 SFT 阶段引入混合数据训练机制：

data_mixing_ratio:
  medical_qa: 0.9
  general_conversation: 0.1

保持一定比例的通用语料，相当于给模型“温习基础知识”，有效防止能力退化。

痛点二：QLoRA 训练不稳定，loss 波动剧烈

常见原因包括量化误差累积、学习率过高。建议：

• 使用 adamw_bnb_8bit 或 paged_adamw 优化器替代标准 AdamW；
• 将学习率下调至 1e-5 ~ 2e-5 区间；
• 启用梯度裁剪：max_grad_norm: 1.0。

痛点三：多阶段衔接困难，容易出错

推荐使用脚本自动化流程：

#!/bin/bash
# train_pipeline.sh

echo "Stage 1: Continued Pre-training"
llamafactory-cli $CONFIG_DIR/config_stage1_cpt.yaml

echo "Stage 2: Supervised Fine-Tuning"
sed -i "s|model_name_or_path: .*|model_name_or_path: output/qwen_medical_cpt/checkpoint-500|" $CONFIG_DIR/config_stage2_sft.yaml
llamafactory-cli $CONFIG_DIR/config_stage2_sft.yaml

echo "Stage 3: DPO Alignment"
sed -i "s|model_name_or_path: .*|model_name_or_path: output/qwen_medical_sft/checkpoint-best|" $CONFIG_DIR/config_stage3_dpo.yaml
llamafactory-cli $CONFIG_DIR/config_stage3_dpo.yaml

echo "Training pipeline completed."

结合 CI/CD 工具，实现一键重训与回归测试。

---

不止是工具：Llama-Factory 的长期价值

Llama-Factory 的意义远不止于封装了 LoRA 或提供了一个 UI 界面。它的真正价值在于，把大模型微调从“艺术”变成了“工程”。

过去，训练一个定制模型依赖研究员的手感和经验，难以复制。而现在，借助其清晰的阶段划分、灵活的配置系统和稳定的底层实现，团队可以像搭建流水线一样构建自己的模型生产体系：

• 新成员入职第一天就能跑通完整训练流程；
• 不同项目之间可以共享配置模板；
• 模型迭代周期从“月级”缩短到“天级”。

这正是 AI 原生时代所需要的基础设施——不是炫技的玩具，而是可靠的生产平台。

未来，随着自动超参搜索、联邦微调、模型编辑等功能的逐步集成，Llama-Factory 有望成为企业私有模型工厂的“操作系统”，支撑起千行百业的智能化转型。