LLaMA-Factory 入门：Mac 环境下的文档处理微调与部署

在 Mac 上部署大模型进行文档处理微调，需要完成环境配置、模型选择、数据准备、微调训练和部署应用几个关键步骤。以下是详细流程：

环境配置 确保系统已安装 Python 3.8 或更高版本，推荐使用 Miniconda 管理环境。通过以下命令创建虚拟环境：

conda create -n llama_factory python=3.10
conda activate llama_factory

安装 PyTorch 时选择与 Mac 芯片兼容的版本。对于 M1/M2 芯片，使用如下命令：

pip install torch torchvision torchaudio

模型选择与下载 LLaMA-Factory 支持多种开源大模型，如 LLaMA-2、Alpaca 等。从 Hugging Face 下载模型权重：

git lfs install
git clone https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

注意需提前申请模型访问权限。

数据准备 整理待处理的文档数据为 JSON 格式，每条数据包含指令和输出字段。示例结构：

{
  "instruction": "总结以下文档",
  "input": "文档内容...",
  "output": "摘要文本..."
}

使用脚本将数据转换为模型可接受的输入格式。

微调训练 配置训练参数，关键参数包括学习率、批大小和训练轮次。启动训练命令示例：

python src/train_bash.py \
  --model_name_or_path ./Llama-2-7b-chat-hf \
  --data_path ./data/doc_process.json \
  --output_dir ./output \
  --bf16 True \
  --per_device_train_batch_size 4 \
  --gradient_accumulation_steps 8 \
  --learning_rate 2e-5 \
  --num_train_epochs 3

训练过程中可监控损失值变化调整参数。

部署应用 将微调后的模型转换为 GGUF 格式以便在 Mac 上高效运行：

python convert.py --input_dir ./output --output_dir ./gguf_models --quantize q4_0

使用 llama.cpp 进行本地推理：

./main -m ./gguf_models/model-q4_0.gguf -p "文档内容..."

优化建议

• 使用 LoRA 技术降低显存消耗
• 采用 4-bit 量化平衡性能与精度
• 对于长文档处理，调整 max_seq_length 参数
• 通过 Flask 或 FastAPI 封装模型接口

定期检查模型输出质量，根据实际效果调整训练数据和超参数。Mac 的 Metal 框架可加速模型推理，在代码中启用 MPS 后端：

import torch
device = torch.device("mps")