LLM2Vec环境配置模型下载【保姆级教程】

环境配置

这个模型使用需要安装两个关键的库，flash-attn和llm2vec。重点是flash-attn的安装。
首先创建一个Python=3.9的conda虚拟环境：

conda create -n LLM2Vec python==3.9 -y

开胃小菜

然后先把需要的其他库装了，比较顺利：

pip install numpy==1.25 # 这里指定了1.X的numpy，因为2.X会报错（虽然但是看起来像废话）
pip install pandas==2.2.3
pip install llm2vec
#以下是附加包，安不安都行
pip install PyYAML tqdm timm scipy nltk

重头戏—— flash-attn

flash-attn，由于服务器没有sudo权限，所以属实是头疼了很久，但是学姐给我指了条明路，最终安装成功。

conda install -c nvidia cuda-compiler # 安装nvcc
nvcc -V # 看一下系统的cuda版本，我这里显示的是12.9

试错ing，尝试安装flash-attn，不出意外的话应该是安装失败的。

pip install flash-attn -i https://pypi.tuna.tsinghua.edu.cn/simple --no-build-isolation 

我这里报错发现nvcc的cuda版本（12.9）和环境中的cuda版本（11.8）不一致，但是Python=3.9、CUDA=12.9,没找到对应的torch版本，于是决定选择torch=2.4.0+cu118

pip install https://download.pytorch.org/whl/cu118/torch-2.4.0%2Bcu118-cp39-cp39-linux_x86_64.whl#sha256=e0a73c7384d3e0a09fea5c2a10afc95bac9386e7360fe0bddd167b09697f59a8 # 下载torch

OK，目前只欠东风，需要统一以下CUDA版本：

conda list cudatoolkit # 看一下当前的cuda列表，目前这里还是空的
conda install cudatoolkit=11.8 -c nvidia/label/cuda-11.8.0 # 把nvcc的CUDA版本打下来！
nvcc -V # 再次nvcc，已经变成了11.8，这时候应该是可以安装flash-attn了

距离成功只差临门一脚。安装flash-attn的时候，我的网络不是很稳定，于是去github仓库直接找wheel文件下载，这里有两种，一个是abiTrue，一个是abiFalse。据说有的人False的这个文件安装成功了，所以我跟风也选了这个：

pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.7.3/flash_attn-2.7.3+cu11torch2.3cxx11abiFALSE-cp39-cp39-linux_x86_64.whl

模型下载

申请访问权

Llama的模型需要手动提交使用申请，需要注意，不能填地区是中国，否则会被拒绝，我填了铃木园子（日本东京大学），过了几分钟就通过了。之后会给你发一个邮件，里面有仓库下载地址：

这时候仓库（here的超链接）的内容已经是完整的了点进去获得你的token。点右边的克隆仓库，得到git命令：

token获取

这时候你已经获得了仓库的访问权利，但是要告诉Hugging Face你有通行证，所以需要申请一个token。点击头像，点击acess token：

之后Create new token创建新的token，起一个好听的名字，比如Hello_World（这个要记住）。这里我只需要调用模型而不是微调，所以token type选READ，需要微调的要选WRITE。之后会给你一个形如hf_XXXX的token，这个也要记住，后面会用。

git拉取

在命令行运行git命令：

git clone https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct # 如果你对网速有自信的话用这个
git clone https://hf-mirror.com/meta-llama/Meta-Llama-3-70B-Instruct # 国内推荐这个

这时候会弹出一个对话框，让你输入Name和Password（好像是），这里的Name和Password分别对应了token的名称以及token的值。输入之后就可以看到git在全速下载文件了~