本文将详细介绍如何在PyCharm中配置环境并本地下载Hugging Face模型,包括GPT-2、LLaMA-7B等流行大模型,方便离线训练和研究。

环境配置步骤

1. 创建并激活Conda环境

# 创建新的conda环境(可选)
conda create -n myenv python=3.9
conda activate D:\cy_pycharm\myenv

2. 安装必要的Python包

# 升级huggingface_hub
pip install -U huggingface_hub//我试这个不成功 尝试下面版本成功

# 使用清华镜像安装特定版本的transformers和huggingface_hub
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "transformers==4.40.2" "huggingface_hub==0.22.2"

3. 配置Hugging Face镜像和环境变量

# 设置HF镜像端点(解决国内访问问题)
$env:HF_ENDPOINT = "https://hf-mirror.com"

# 永久设置缓存目录
setx HF_HOME "D:\hf_cache"//防止C盘爆了

模型下载方法

方法一:使用Python代码下载

python

from huggingface_hub import snapshot_download

# 下载tiny-gpt2模型到相对路径
snapshot_download(
    repo_id="sshleifer/tiny-gpt2",
    local_dir="tiny-gpt2-offline",
    resume_download=True
)
# 下载完整GPT-2模型
snapshot_download(
    repo_id="gpt2",
    local_dir="D:\DPmycode\direct-preference-optimization-main\gpt2-offline",
    resume_download=True
)

方法二:使用命令行工具下载

# 下载GPT-2模型
huggingface-cli download gpt2 --local-dir "D:\DPmycode\direct-preference-optimization-main\gpt2-offline"

# 下载LLaMA-7B模型(需要权限)
huggingface-cli download meta-llama/Llama-2-7b-hf --local-dir "./llama-7b-offline"

python -c "from huggingface_hub import snapshot_download; snapshot_download('sshleifer/tiny-gpt2', local_dir='tiny-gpt2-offline', resume_download=True)"//sshleifer/tiny-gpt2模型名  tiny-gpt2-offline相对地址 

可以都尝试一下

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐