Windows 环境要求

在开始之前，建议先确认当前电脑是否满足本地推理的基础要求。

虽然 Ollama 对硬件要求并不算特别高，但模型推理会持续占用：
• GPU显存
• 系统内存
• 硬盘缓存
• CPU 调度资源

如果配置过低，可能会出现：
• 推理速度过慢
• GPU 无法加载模型
• 系统卡顿
• 长时间运行崩溃
推荐配置如下

项目	推荐配置
操作系统	Windows 10 / Windows 11 64位
内存	≥16GB（推荐32GB）
显卡	NVIDIA RTX 系列（推荐 RTX3060 及以上）
显存	建议 8GB 以上
硬盘空间	至少 50GB 可用空间
显卡驱动	最新 NVIDIA 驱动

实际测试中，RTX2060 虽然能够运行部分 7B 模型，但长时间推理时显存压力会比较明显；而 RTX3060 12GB 在本地开发环境下会更加稳定。

1.2. 检查 NVIDIA 显卡环境

在安装 Ollama 之前，建议先确认 GPU 是否能够被系统正常识别。

打开命令行执行：
nvidia-smi
如果能够看到以下信息：
• GPU 型号
• 显存大小
• 驱动版本
• CUDA 版本

说明当前 GPU 环境基本正常。

如果无法识别 GPU，则需要优先安装 NVIDIA 驱动。

1.3. 安装 Ollama

Ollama 是目前本地大模型部署中最流行的工具之一。

它最大的优势是：
• 安装简单
• 模型管理方便
• 支持多种主流模型
• API 调用非常友好
• 对开发者环境支持较好
1.3.0图文示意步骤

1.3.1 下载 Ollama

访问网站有以下几个：
文档（Docs）：https://docs.ollama.com
下载页面：Download Ollama on macOS
GitHub（开源代码）：https://github.com/ollama/ollama
访问官网如下所示：
 

下载 Windows 版本并安装。

1.3.2 安装完成验证

安装完成后打开命令行，执行：
ollama -v
如果输出版本号，说明安装成功，如下图所示：

1.4. 运行第一个本地模型

Ollama 支持大量主流开源模型，例如：
• DeepSeek
• Qwen
• Llama
• Gemma
• Mistral

首次运行模型时，系统会自动下载模型文件。

不同模型指令图形示意

1.4.1 运行 DeepSeek 模型

ollama run deepseek-r1:7b
首次运行时会自动下载模型，请耐心等待。如下图所示
 

1.4.2 运行 Qwen 模型

ollama run qwen2.5:7b

1.4.3 运行 Llama 模型

ollama run llama3

1.5. 查看已安装模型

ollama list
可以看到当前本地已下载的模型列表。如下图所示：

1.6. 模型存储位置（Windows）

Ollama 默认模型存储路径，具体取决于安装时候的设置。
C:\Users\你的用户名.ollama\models
如果后续需要清理空间，可以从这里管理模型文件。

1.7. 验证 GPU 是否参与推理

例如要求写个集装箱算法：