Qwen3微调 01 Unsloth环境准备

前言

开个坑，最近开始学习LLM，打算记录一下。
先从准备环境开始，我在autodl上面租了一个4090服务器，扩容到150G。pytorch版本是2.5.1。

一、安装虚拟环境到数据盘

由于要安装多个项目，因此建议创建虚拟环境以避免依赖冲突。我需要安装虚拟环境到数据盘，可以按如下进行。

mkdir -p /root/autodl-tmp/conda/pkgs
conda config --add pkgs_dirs /root/autodl-tmp/conda/pkgs

第一行

• mkdir表示make directory（创建目录），在Linux系统中创建新的文件夹。
• -p 自动创建所有不存在的父级目录，如果要创建 /a/b/c/，但 /a/b/ 不存在，-p 会自动先创建 /a/ 和 /a/b/，再创建 /a/b/c/。
• /root/autodl-tmp/conda/pkgs 路径结构：
  /root/：root用户的家目录
  autodl-tmp/：AutoDL的数据盘挂载点（高速SSD）
  conda/：Conda相关文件的总目录
  pkgs/：专门存放Conda包缓存的目录

第二行

• conda config，Conda 配置管理命令；作用：用于查看、修改 Conda 的配置设置；
• –add，添加配置项，向某个配置选项中添加一个新的值（而不是替换）；
• pkgs_dirs，即packages directories（包目录），指定 Conda 存储下载的包文件的目录；/root/autodl-tmp/conda/pkgs，在autodl的数据盘上。

同样，使用以下代码将虚拟环境安装到/root/autodl-tmp/conda/envs

mkdir -p /root/autodl-tmp/conda/envs
conda config --add envs_dirs /root/autodl-tmp/conda/envs

验证是否生效:

# 执行命令查看配置的路径是否在文件内容中
cat /root/.condarc

看到系统展示:
channels:
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
-defaults
show_channel_urls: true
pkgs_dirs:
-/root/autodl-tmp/conda/pkgs
envs_dirs:
-/root/autodl-tmp/conda/envs
即成功。

二、Unsloth安装部署

1.创建unsloth虚拟环境

conda create --name unsloth python=3.11
conda init
source ~/.bashrc
conda activate unsloth

2.安装Jupyter及Jupyter Kernel

conda install jupyterlab
conda install ipykernel
python -m ipykernel install --user --name unsloth --display-name "Python unsloth"

3.安装Unsloth

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

4.安装Unsloth

安装完成后在任意Jupyter中选择unsloth kernel，即可进入对应的虚拟环境进行代码编写。
可以输入如下代码进行测试

from unsloth import FastLanguageModel
import torch

如下所示