本地下载和配置Hugging Face模型的完整指南
·
本文将详细介绍如何在PyCharm中配置环境并本地下载Hugging Face模型,包括GPT-2、LLaMA-7B等流行大模型,方便离线训练和研究。
环境配置步骤
1. 创建并激活Conda环境
# 创建新的conda环境(可选) conda create -n myenv python=3.9 conda activate D:\cy_pycharm\myenv
2. 安装必要的Python包
# 升级huggingface_hub pip install -U huggingface_hub//我试这个不成功 尝试下面版本成功 # 使用清华镜像安装特定版本的transformers和huggingface_hub pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "transformers==4.40.2" "huggingface_hub==0.22.2"
3. 配置Hugging Face镜像和环境变量
# 设置HF镜像端点(解决国内访问问题) $env:HF_ENDPOINT = "https://hf-mirror.com" # 永久设置缓存目录 setx HF_HOME "D:\hf_cache"//防止C盘爆了
模型下载方法
方法一:使用Python代码下载
python
from huggingface_hub import snapshot_download
# 下载tiny-gpt2模型到相对路径
snapshot_download(
repo_id="sshleifer/tiny-gpt2",
local_dir="tiny-gpt2-offline",
resume_download=True
)
# 下载完整GPT-2模型
snapshot_download(
repo_id="gpt2",
local_dir="D:\DPmycode\direct-preference-optimization-main\gpt2-offline",
resume_download=True
)
方法二:使用命令行工具下载
# 下载GPT-2模型 huggingface-cli download gpt2 --local-dir "D:\DPmycode\direct-preference-optimization-main\gpt2-offline" # 下载LLaMA-7B模型(需要权限) huggingface-cli download meta-llama/Llama-2-7b-hf --local-dir "./llama-7b-offline"
python -c "from huggingface_hub import snapshot_download; snapshot_download('sshleifer/tiny-gpt2', local_dir='tiny-gpt2-offline', resume_download=True)"//sshleifer/tiny-gpt2模型名 tiny-gpt2-offline相对地址
可以都尝试一下
更多推荐



所有评论(0)