GLM-4-9B-Chat-1M模型微调指南：基于LoRA的领域适配

被ldy取笑

406人浏览 · 2026-02-20 00:27:05

被ldy取笑 · 2026-02-20 00:27:05 发布

GLM-4-9B-Chat-1M模型微调指南：基于LoRA的领域适配

想让大模型更懂你的专业领域？试试LoRA微调，用少量资源实现定制化智能

1. 引言

当你发现GLM-4-9B-Chat-1M在通用场景下表现不错，但在你的专业领域总是差那么点意思时，微调就成了必选项。传统的全参数微调需要大量计算资源，让很多开发者望而却步。而LoRA（Low-Rank Adaptation）技术的出现，让每个人都能用消费级显卡完成大模型定制。

本文将手把手带你完成GLM-4-9B-Chat-1M的LoRA微调，无需高端硬件，就能让模型在你的领域大放异彩。无论你是做医疗、法律、金融还是其他垂直领域，这套方法都能帮你快速获得一个专属的智能助手。

2. 环境准备与快速部署

2.1 硬件要求

你不需要昂贵的A100显卡，以下配置就能轻松上手：

GPU：RTX 3090/4090（24GB显存）或RTX 4080（16GB显存）
内存：32GB以上系统内存
存储：至少50GB可用空间（用于存放模型和数据集）

如果显存不足，可以通过量化技术降低要求，后续会详细介绍。

2.2 软件环境安装

首先创建Python虚拟环境，避免依赖冲突：

conda create -n glm4-lora python=3.10
conda activate glm4-lora

安装核心依赖包：

pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118
pip install transformers==4.37.0 peft==0.6.0 datasets==2.15.0 accelerate==0.24.0

验证安装是否成功：

import torch
print(f"CUDA可用: {torch.cuda.is_available()}")
print(f"GPU数量: {torch.cuda.device_count()}")
print(f"当前GPU: {torch.cuda.get_device_name(0)}")

3. 数据准备：打造高质量训练集

3.1 数据格式要求

LoRA微调需要准备问答格式的数据，推荐使用JSON格式：

[
  {
    "instruction": "解释量子计算的基本原理",
    "input": "",
    "output": "量子计算利用量子比特的叠加态和纠缠态进行计算..."
  },
  {
    "instruction": "翻译以下英文句子",
    "input": "The rapid development of AI technology is changing the world",
    "output": "人工智能技术的快速发展正在改变世界"
  }
]

3.2 数据预处理代码

使用以下代码清洗和准备数据：

import json
from datasets import Dataset

def prepare_data(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        data = json.load(f)
    
    formatted_data = []
    for item in data:
        # 构建对话格式
        conversation = [
            {"role": "user", "content": item['instruction'] + "\n" + item.get('input', '')},
            {"role": "assistant", "content": item['output']}
        ]
        formatted_data.append({"conversations": conversation})
    
    return Dataset.from_list(formatted_data)

# 加载和预处理数据
dataset = prepare_data("your_dataset.json")
dataset = dataset.train_test_split(test_size=0.1, seed=42)

3.3 数据质量检查

确保数据质量是关键，检查以下几点：

每个样本的指令清晰明确
输出内容准确且符合预期
避免重复或矛盾的数据
保持适当的难度梯度

4. LoRA微调实战

4.1 初始化模型和Tokenizer

首先加载基础模型和分词器：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "THUDM/glm-4-9b-chat-1m"
tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True,
    use_fast=False
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

4.2 配置LoRA参数

设置LoRA的关键参数：

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,           # LoRA秩
    lora_alpha=32,  # 缩放参数
    target_modules=["query_key_value", "dense"],  # 目标模块
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# 应用LoRA配置
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

4.3 训练参数设置

配置训练参数：

from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./glm4-lora-output",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    num_train_epochs=3,
    logging_dir="./logs",
    logging_steps=10,
    save_steps=500,
    eval_steps=500,
    evaluation_strategy="steps",
    fp16=True,
    optim="adamw_torch",
    warmup_ratio=0.1,
    lr_scheduler_type="cosine"
)

4.4 开始训练

使用Transformers Trainer进行训练：

from transformers import Trainer

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["test"],
    tokenizer=tokenizer
)

# 开始训练
trainer.train()

# 保存模型
trainer.save_model()

5. 模型测试与评估

5.1 加载微调后的模型

训练完成后加载模型进行测试：

from peft import PeftModel

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 加载LoRA权重
model = PeftModel.from_pretrained(base_model, "./glm4-lora-output")
model = model.merge_and_unload()  # 合并权重

5.2 测试对话效果

编写测试函数验证微调效果：

def test_model(query):
    inputs = tokenizer.apply_chat_template(
        [{"role": "user", "content": query}],
        add_generation_prompt=True,
        tokenize=True,
        return_tensors="pt"
    ).to(model.device)
    
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            do_sample=True,
            top_p=0.9
        )
    
    response = outputs[0][inputs['input_ids'].shape[1]:]
    return tokenizer.decode(response, skip_special_tokens=True)

# 测试领域相关问题
test_questions = [
    "请解释一下你专业领域的一个核心概念",
    "针对某个具体问题，你的解决方案是什么？"
]

for question in test_questions:
    print(f"问题: {question}")
    print(f"回答: {test_model(question)}")
    print("-" * 50)

6. 实用技巧与问题解决

6.1 显存优化技巧

如果遇到显存不足的问题，可以尝试以下方法：

# 使用梯度检查点
model.gradient_checkpointing_enable()

# 使用4bit量化
from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4"
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quantization_config,
    device_map="auto",
    trust_remote_code=True
)

6.2 常见问题解决

问题1：训练损失不下降

检查学习率是否合适
验证数据质量
调整LoRA秩（r值）

问题2：过拟合

增加dropout率
使用早停策略
增加数据多样性

问题3：生成质量差

调整温度参数
使用top-p采样
检查提示词设计

7. 进阶应用：多LoRA适配

对于需要适配多个领域的场景，可以训练多个LoRA适配器：

# 加载不同的LoRA适配器
model = PeftModel.from_pretrained(base_model, "./lora-adapter-1")
# 使用第一个适配器
output1 = model.generate(**inputs)

# 切换另一个适配器
model.load_adapter("./lora-adapter-2")
output2 = model.generate(**inputs)