本地部署大模型完全指南①：硬件选型与环境搭建

想本地跑大模型，先看看你的电脑够不够用。本文从零开始，帮你选对硬件、搭好环境。

前言：为什么要本地部署大模型？

2026年，用云端大模型已经很方便了，但本地部署有它不可替代的优势：

• 数据安全：敏感数据不出本机，适合企业内网
• 零延迟：不用等网络传输，响应毫秒级
• 无用量限制：想调多少次调多少次
• 离线可用：出差、涉密环境也能用
• 长期省钱：高频调用场景下，比API按量付费划算

但本地部署也有门槛：硬件怎么选？环境怎么配？模型怎么下？别急，一步步来。

---

一、硬件选型：你的电脑能跑什么模型？

1.1 核心指标：显存

大模型推理最关键的硬件指标是显存（VRAM），不是CPU也不是内存。模型参数以"亿"为单位，需要加载到显存中才能运行。

不同参数量的模型对显存的需求（量化后）：

模型参数量	FP16精度	Int8量化	Int4量化	推荐显卡
7B (70亿)	14GB	8GB	4GB	RTX 3060 12G
14B (140亿)	28GB	14GB	8GB	RTX 4090 24G
32B (320亿)	64GB	32GB	16GB	双RTX 4090
70B (700亿)	140GB	70GB	35GB	A100 / 四卡4090
671B (DeepSeek R1)	超1300GB	670GB	335GB	多卡A100/H100

结论：

• 普通玩家（RTX 3060/4060）：跑7B~14B量化模型，体验良好
• 进阶玩家（RTX 4090）：跑32B量化模型，胜任大多数任务
• 企业用户（多卡/服务器）：跑70B+，追求最强效果

1.2 显存不够？三种省钱方案

方案一：CPU+内存运行（零成本）

• 用 llama.cpp 的纯CPU模式
• 速度较慢（7B模型约2-3 token/s）
• 适合实验和测试

方案二：使用量化模型

• 模型精度从FP16降到Int4，体积缩水75%
• 质量损失约3-5%，人类几乎感知不到
• 主流7B模型Int4后只需4GB显存

方案三：模型蒸馏版本

• 如DeepSeek的蒸馏版1.5B/7B/14B
• 性能接近原版，体积小得多

1.3 GPU之外的硬件考量

配件	推荐规格	说明
CPU	i5-12400F或以上	影响数据传输速度
内存	32GB起步，64GB推荐	加载模型和上下文用
硬盘	1TB NVMe SSD	模型文件很大（7B约4-15GB）
散热	双风扇以上显卡	长时间推理GPU满载

---

二、环境搭建：从零开始配置

2.1 安装显卡驱动

NVIDIA显卡（推荐）：

# 确认显卡型号
nvidia-smi

# 如果没驱动，去NVIDIA官网下载对应驱动
# https://www.nvidia.com/download/index.aspx

# 驱动安装后用 nvidia-smi 检查CUDA版本
# 推荐 CUDA 12.x 以上

AMD显卡：

• ROCm 5.x+，支持Radeon RX 6000/7000系列
• 注意：部分框架对AMD支持不如NVIDIA完善

Intel显卡：

• Arc A系列及以上，使用IPEX或OpenVINO
• 适合入门级部署

2.2 安装Ollama（最简单的方式）

Ollama是目前本地部署大模型最方便的工具，没有之一。

# Windows 下载安装
# 访问 https://ollama.com/download 下载Windows版
# 双击安装，一路Next

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

验证安装：

ollama --version
# 输出：ollama version 0.x.x

2.3 容器化部署（进阶）

如果你熟悉Docker，更推荐这种方式：

# 拉取Ollama Docker镜像
docker pull ollama/ollama

# 启动容器（启用GPU加速）
docker run -d --gpus all -v ollama_data:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# 查看容器运行状态
docker ps | grep ollama

Docker的优势：

• 环境隔离，不影响宿主机
• 方便多版本切换
• 一键部署到服务器

2.4 安装Open WebUI（可视化界面）

Ollama只有命令行，加上Open WebUI就有了类似ChatGPT的网页界面：

# 推荐用Docker安装
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui_data:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

安装完成后，浏览器访问 http://localhost:3000，注册账号即可使用。

---

三、第一个模型：下载并运行

3.1 用Ollama下载模型

# 查看可用模型列表
ollama list

# 搜索模型
ollama search deepseek

# 下载并运行DeepSeek R1 7B蒸馏版（推荐新手入门）
ollama run deepseek-r1:7b

# 下载其他热门模型
ollama run qwen2.5:7b       # 通义千问
ollama run llama3.1:8b      # Llama 3.1
ollama run gemma2:9b        # Google Gemma 2

第一次运行会自动下载模型。以deepseek-r1:7b为例，下载约4.5GB，视网速等待数分钟。

3.2 第一次对话

下载完成后，会进入交互式对话界面：

>>> 你好，请用中文自我介绍

你好！我是DeepSeek，一个由深度求索公司开发的AI助手。
我可以在本地运行，保护你的隐私安全。
今天有什么可以帮你的吗？

>>> 用Python写一个斐波那契数列函数

当然，以下是Python实现的斐波那契数列：

def fibonacci(n):
    a, b = 0, 1
    for _ in range(n):
        print(a, end=' ')
        a, b = b, a + b

# 测试
fibonacci(10)  # 输出：0 1 1 2 3 5 8 13 21 34

3.3 性能基准测试

下载完成后，跑一个简单的性能测试：

# Ollama自带的性能测试
ollama run deepseek-r1:7b

# 输入以下内容测试生成速度
"请写一篇200字左右的短文，主题是人工智能的未来"

# 或者用命令行测试
curl -X POST http://localhost:11434/api/generate \
  -d '{
    "model": "deepseek-r1:7b",
    "prompt": "用Python写一个快速排序算法，并附上注释",
    "stream": false
  }'

参考速度（RTX 4090，deepseek-r1:7b）：

• 生成速度：40-60 token/s
• 首token延迟：200-400ms
• 上下文窗口：支持32K tokens

---

四、环境管理技巧

4.1 查看模型信息

# 查看已下载模型列表
ollama list

# 输出示例：
# NAME                     ID              SIZE      MODIFIED
# deepseek-r1:7b           a42b25d8c2a9    4.5 GB    2 days ago
# qwen2.5:7b               c4f1b1c7f5c3    4.1 GB    1 week ago
# llama3.1:8b              2a1bc0a0f9b7    4.7 GB    5 days ago

4.2 删除不需要的模型

# 删除指定模型
ollama rm deepseek-r1:7b

# 删除所有模型（谨慎操作）
ollama list | tail -n +2 | awk '{print $1}' | xargs -I{} ollama rm {}

4.3 修改模型存储路径

模型文件默认存放在C盘，如果你的C盘空间紧张：

# Windows：设置环境变量
# 系统变量 → 新建 → 变量名 OLLAMA_MODELS
# 变量值 D:\ollama_models

# 重启Ollama服务生效

4.4 模型配置调优

# 创建Modelfile自定义模型参数
cat > Modelfile << EOF
FROM deepseek-r1:7b

# 设置参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

# 设置系统提示词
SYSTEM You are a helpful Python programming assistant.
EOF

# 基于Modelfile创建自定义模型
ollama create my-coding-helper -f Modelfile

# 运行自定义模型
ollama run my-coding-helper

---

五、常见问题排查

5.1 CUDA错误

Error: CUDA is not available

解决方法：

1. 确认已安装NVIDIA驱动：nvidia-smi
2. 确认CUDA版本：nvcc --version
3. 如果实在不行，用CPU模式：OLLAMA_HOST=0.0.0.0 OLLAMA_KEEP_ALIVE=24h ollama serve

5.2 内存不足

Error: model requires X GB VRAM but only Y GB available

解决方法：

1. 使用更小的量化版本（:7b → :7b-int4）
2. 关闭其他占用显存的程序
3. 减小上下文窗口大小：设置 num_ctx 2048

5.3 下载速度慢

国内下载模型建议配置镜像：

# 设置镜像源（使用国内镜像加速）
export OLLAMA_MIRROR=https://mirror.example.com

# Windows PowerShell
$env:OLLAMA_MIRROR="https://mirror.example.com"

---

总结

本文从硬件选型开始，逐步完成了本地大模型的环境搭建。你现在的电脑上已经有一个可以随时调用的私有AI助手了。

下一步预告：第②篇《Ollama一键部署DeepSeek与Qwen实战》，我们将深入探索如何部署和管理多种模型，以及API调用的高级用法。

---

需要完整脚本和配置文件的同学，可以看我主页的付费资源专栏。

有问题欢迎评论区留言，大家一起讨论！