前言：

对于想要在本地或自托管环境中运行 LLM 的用户而言，Ollama 提供了一个无需 GPU、在 CPU 环境也可高效完成推理的轻量化 “本地推理” 方案。而要让 Ollama 真正 “接地气”，往往需要与其他开源项目进行配合——例如将文档、数据源或应用前端与 Ollama 打通，这便衍生出许多解决方案。

Ollama 简介：

在进入对比之前，先简单回顾一下 Ollama 的定位和特性：

本地推理：

• CPU 即可运行：适合 Mac 或 Linux 环境。

• 若无 GPU 的情况下，也能让开源模型（如 LLaMA、GPT-Neo、Mistral 等）跑起来。

轻量易用：

• 安装方式简洁，一键下载二进制文件或通过 Homebrew、pkg 安装。

• 只需一个命令行工具就能加载模型并进行对话、推理。

量化优化：

• 支持对常见大语言模型做 4-bit 或 8-bit 等量化，进一步降低资源占用。

发展活跃：

• 在 GitHub 上有不错的社区支持和更新节奏，适合初中级开发者快速上手。

安装 Ollama 客户端

Ollma可以像其他软件一样在电脑上完成一键安装，不同的是，建议按照实际需求配置下系统环境变量参数。
默认的模型保存路径在C盘，我们把路径更改到有更多可用空间的分区或目录，可以更好地管理存储空间。配置环境变量

• 添加 OLLAMA_MODELS 环境变量改变模型存储的位置。例如 E:\ollama\models

• 设置完成后重启 ollama 或 PowerShell，即可完成更改。

• 用 Ollama 下载模型

• 首先我们需要安装 Ollama（https://ollama.com/），它可以在本地运行和管理大模型。

• 直接下载速度太慢，使用加速，GitHub Proxy 代理加速（https://ghfast.top/）【实测速度超快】：
  https://mirror.ghproxy.com/https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe

  接下来点击 Ollama 官网左上方的 “Models” 按钮，会列出支持的各种模型，目前最火的 DeepSeek-R1 排在显眼位置，点击进入主题页面：

点击进去后，查看各个模型，不同模型执行的命令不同，最后部分看你选择的参数模型。

7b命令：ollama run deepseek-r1:7b
1.5b命令：ollama run deepseek-r1:1.5b

DeepSeek R1 提供多个版本，参数量越大，模型通常越强大，但也需要更多的计算资源，比如 1.5B 代表有 15 亿个参数。具体选择哪一个看你硬件设备了。

将本机的电脑配置发给 deepseek，看看它的推荐是哪个模型

选择好模型之后，点击右侧这个按钮，复制指令，这里是：ollama run deepseek-r1:1.5b在 Windows 搜索栏输入 “cmd” 回车，唤出命令行窗口：

黏贴运行刚才复制的命令，开始下载，1.5b 模型容量大约 1.1GB，请保持网络畅通：

当界面出现 success 显示安装成功。输入 “你是谁”，看到 deepseek 的回答。

最后：欢迎大家后台留言私信深度了解我们平台哦~