LLaMA-Factory 快速入门（一）：从环境到运行，Mac 大模型微调部署入门

环境准备

在Mac上部署LLaMA-Factory需要确保系统版本为macOS 10.15或更高版本。安装Homebrew作为包管理工具，通过命令行运行以下指令完成基础依赖的安装：

brew install cmake git python@3.10

Python版本建议选择3.10.x，避免兼容性问题。通过虚拟环境隔离项目依赖，使用venv模块创建并激活环境：

python3 -m venv llama-env
source llama-env/bin/activate

依赖安装

克隆LLaMA-Factory官方仓库到本地，进入项目目录后安装PyTorch与相关依赖。根据Mac硬件选择PyTorch版本，M系列芯片需安装适配Apple Silicon的版本：

git clone https://github.com/LLaMA-Factory/LLaMA-Factory.git
cd LLaMA-Factory
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu
pip install -r requirements.txt

若需启用GPU加速，需额外安装metal-performance-shaders包以支持Metal API。

模型配置

下载预训练基础模型权重至项目目录下的models文件夹。支持Hugging Face格式的模型文件，例如LLaMA-2-7B：

mkdir -p models/llama-2-7b
wget -P models/llama-2-7b https://huggingface.co/meta-llama/Llama-2-7b/resolve/main/pytorch_model.bin

修改configs/model_config.yaml文件，指定模型路径与参数。调整max_seq_len和batch_size以适应本地硬件资源。

数据准备

准备微调数据集，格式需为JSON或CSV。示例数据集应包含instruction和output字段：

{"instruction": "Translate to French", "output": "Bonjour le monde"}

将数据集存放于data/目录下，通过scripts/preprocess_data.py脚本进行预处理，生成二进制训练文件。

启动微调

运行训练脚本前需设置环境变量指定显存分配策略（适用于多GPU场景）：

export PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.9

执行以下命令启动全参数微调：

python train.py --config configs/finetune_config.yaml --dataset custom_data

若需使用LoRA等高效微调方法，修改配置文件中peft_method参数为lora，并设置对应的秩（rank）和缩放因子（alpha）。

推理测试

训练完成后，在output/目录下生成适配器权重。使用交互式测试脚本验证模型效果：

python inference.py --model_path models/llama-2-7b --adapter_path output/checkpoint-final

输入测试文本后，模型将生成预测结果。对于长文本生成，通过--max_length参数控制输出长度。

性能优化

针对Mac设备特点，可通过以下方式提升效率：

• 开启Flash Attention优化注意力计算，在配置文件中设置use_flash_attention: true
• 使用--gradient_checkpointing减少显存占用
• 量化模型权重至4-bit或8-bit，降低推理资源消耗

常见问题

进程被系统终止时，需检查是否触发内存保护机制。调整--batch_size或使用梯度累积解决。遇到库版本冲突时，通过pip freeze > requirements.txt生成新的依赖清单。Metal后端报错需确认PyTorch版本是否支持MPS加速。