1、下载llama.cpp

打开Git，输入以下代码：

git clone https://github.com/ggerganov/llama.cpp.git

2、安装Python依赖

进入cmd，依次执行以下操作：

#创建虚拟环境，命名为llama
python -m venv llama

#进入虚拟环境文件夹（不同电脑文件路径不同）
cd C:\Users\用户名\llama

#激活虚拟环境
\Scripts\activate

#进入llama.cpp文件夹
cd C:\Users\用户名\llama.cpp

#安装环境依赖
pip install -e .

#或者
pip install -r requirements.txt

3、gguf格式转换

# 确保当前处于llama.cpp项目文件夹下
# safetensors转gguf，需要使用llama.cpp提供的convert-hf-to-gguf.py
python convert_hf_to_gguf.py --outfile <要导出的文件地址.gguf> <微调后的模型来源目录>

示例：

python convert_hf_to_gguf.py --outfile /root/autodl-tmp/ggufs/qwen7b_lora.gguf /root/autodl-tmp/exports

       
参考博客：https://blog.csdn.net/m0_73365120/article/details/141901884