LLaMA Factory 安装指南

1. 安装依赖

按照 GitHub 上介绍的过程安装即可，为了加快速度，增加了国内的 pip 源。

git clone https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd LLaMA-Factory
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e .[metrics]

可选的额外依赖项

• deepspeed
• metrics
• unsloth
• galore
• vllm
• bitsandbytes
• gptq
• awq
• aqlm
• qwen
• quality

2. LLaMA Board 可视化界面

注意：LLaMA Board 可视化界面目前仅支持单 GPU 训练，请使用命令行接口来进行分布式训练。

使用本地环境

1. 设置 GPU 环境变量：

   • Linux/Mac: export CUDA_VISIBLE_DEVICES=0
   • Windows: set CUDA_VISIBLE_DEVICES=0

2. 启动 Web 界面：

python src/train_web.py
# 或
python -m llmtuner.webui.interface

启动后即可访问 web 界面。

3. 数据准备

• 可以使用 HuggingFace / ModelScope 上的数据集
• 或加载本地数据集
• 使用自定义数据集时，请更新 data/dataset_info.json 文件

提示：如果报错找不到数据，请在 llama factory 目录下运行 python src/train_web.py