本地部署Deepseek教程（显卡检查+终端运行+删除模型+WebUI+角色设定+初步训练+注意事项）

显卡检查

确保显卡支持CUDA，NVIDIA显卡需安装对应版本的驱动和CUDA工具包。运行以下命令检查CUDA是否可用：

nvidia-smi

若显示显卡信息且CUDA版本≥11.7，则符合要求。AMD显卡需通过ROCm支持，但兼容性可能受限。

终端运行

克隆官方仓库并安装依赖：

git clone https://github.com/deepseek-ai/deepseek-llm.git
cd deepseek-llm
pip install -r requirements.txt

启动基础推理：

python cli_demo.py --model_path ./your_model_dir

模型会自动从Hugging Face下载，需确保网络畅通。

删除模型

手动删除模型文件释放空间：

rm -rf ./your_model_dir

或通过Python清理缓存：

from transformers import file_utils
file_utils.delete_cached_files()

WebUI部署

使用Gradio快速搭建交互界面：

pip install gradio

修改web_demo.py中的模型路径后运行：

python web_demo.py

支持自定义主题和端口配置，默认访问地址为http://localhost:7860。

角色设定

在configs/character.yaml中定义角色参数：

characters:
  assistant:
    greeting: "你好，我是Deepseek助手"
    personality: "专业且友好"

通过环境变量加载配置：

export CHARACTER_CONFIG=./configs/character.yaml

初步训练

准备训练数据（JSON格式）：

{"prompt": "解释量子力学", "response": "量子力学是研究微观粒子运动规律的物理学分支..."}

启动LoRA微调：

python finetune.py \
  --base_model deepseek-llm-7b \
  --data_path ./data/train.json \
  --output_dir ./output

需至少16GB显存，建议使用bitsandbytes进行8bit量化训练。训练日志默认保存在./logs目录。

注意事项

• 模型下载需20GB以上磁盘空间，7B版本约需24GB显存
• 推荐使用Linux系统获得最佳性能
• 首次运行会自动创建~/.cache/huggingface缓存目录
• WebUI部署建议配合Nginx反代提升安全性

热爱从来都不分轻重，随手而为的美好，也值得被记录。收藏点赞关注转发都有积分哦。

点个关注
进入我主页「资源」
免费下载，直接运行
持续分享
不套路、不加密，关注不迷路！