注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列一百零二

0基础也能懂！Ollama保姆级教程：Windows/mac/Linux/Docker全系统安装，搭配Open WebUI玩转本地大模型

在本地运行大模型不再是“高端玩家”的专属——Ollama作为开源轻量的大模型运行框架，能让普通电脑（甚至8GB内存+6GB显存）轻松跑起Llama 3.3、DeepSeek-R1、Mistral等热门模型。本文整合菜鸟教程核心内容，3000字带你吃透Ollama：从多系统安装、模型运行，到搭配Open WebUI实现可视化交互，每步都附具体命令和避坑指南，0基础也能跟着做，彻底告别“云端依赖”，实现数据隐私自主掌控。

一、先搞懂：Ollama是什么？为什么选它？

在学安装前，先明确Ollama的核心价值——它解决了本地部署大模型的“三大痛点”：

• 门槛高：传统部署需手动配置Python环境、安装PyTorch、处理模型权重，步骤繁琐；Ollama封装了所有依赖，一条命令就能下载+运行模型。
• 显存不够：支持模型量化（如4-bit/8-bit），原本需要24GB显存的7B模型，量化后6GB显存就能跑，普通家用显卡也能hold住。
• 跨系统难：兼容Windows、macOS、Linux，还支持Docker容器部署，无论你用什么电脑，都能找到适配方案。

简单说，Ollama是“本地大模型的管理神器”：支持Llama 3.3、DeepSeek-R1、Phi-4、Gemma 2等数十种主流模型，能自动处理模型下载、版本管理、运行优化，开发者、研究人员或对数据隐私敏感的用户，都能靠它快速落地本地AI应用。

不过，学习Ollama前需要一点基础：

1. 懂Python基础（若用Python SDK调用模型）；
2. 了解Docker基本概念（若用Docker部署）；
3. 会用命令行（如Windows的PowerShell、mac/Linux的终端）做简单操作（如切换目录、运行脚本）。

二、实战：Ollama多系统安装，每步都有具体命令

Ollama支持4种安装方式（Windows/macOS/Linux/Docker），你可以根据自己的系统选择，全程10分钟内搞定，关键步骤附“验证方法”，避免装错。

1. Windows系统：自定义路径+验证安装

Windows用户注意：默认安装路径是C盘，若C盘空间不足，一定要用命令指定安装目录，步骤如下：

• Step 1：下载安装包
  打开浏览器访问Ollama官网下载页：https://ollama.com/download，或直接用链接下载Windows安装程序：https://ollama.com/download/OllamaSetup.exe。

• Step 2：安装（可选自定义路径）
  若按默认路径安装，双击安装包后一路点“下一步”即可；
  若要安装到D盘或其他目录，先打开PowerShell，切换到安装包所在文件夹，再运行命令（将路径替换为你的目标目录）：

  # 示例：安装到D盘的Ollama文件夹
  .\OllamaSetup.exe /DIR="D:\Ollama"
  

• Step 3：验证安装是否成功
  安装完成后，打开新的PowerShell（若之前打开过需重启），输入以下命令：

  ollama --version
  

  若显示类似“ollama version 0.1.48”的版本号，说明安装成功；若提示“命令不存在”，检查是否重启了命令行，或安装路径是否添加到系统环境变量（通常安装程序会自动添加）。

2. macOS系统：解压安装+终端验证

macOS（Intel芯片/Apple Silicon芯片均支持）安装更简单，无需担心路径问题：

• Step 1：下载安装包
  访问Ollama官网下载macOS版本：https://ollama.com/download/Ollama-darwin.zip，下载后得到压缩包。

• Step 2：解压并安装
  双击压缩包，将解压后的“Ollama”文件拖到“应用程序”文件夹（或其他目录），完成安装。

• Step 3：验证安装
  打开终端（启动台→其他→终端），输入命令：

  ollama --version
  

  显示版本号即成功，若提示“permission denied”，右键点击终端→“显示简介”→勾选“使用Rosetta打开”（仅Apple Silicon芯片可能需要）。

3. Linux系统：一键脚本，无需手动配置

Linux用户无需下载安装包，一条命令就能完成安装，支持Ubuntu、CentOS等主流发行版：

• Step 1：运行一键安装脚本
  打开终端，输入以下命令（会自动下载并安装Ollama）：

  curl -fsSL https://ollama.com/install.sh | bash
  

  安装过程中若提示“需要管理员权限”，输入sudo -s切换到root用户后再重新运行命令。

• Step 2：验证安装
  安装完成后，终端输入：

  ollama --version
  

  显示版本号即成功，若失败，检查网络是否能访问GitHub（Ollama开源地址），或手动下载脚本后运行。

4. Docker安装：适合多环境隔离，附GPU支持

若你熟悉Docker，用容器部署Ollama更灵活（避免与本地环境冲突），还能轻松支持GPU加速：

• Step 1：拉取Ollama官方镜像
  打开终端，输入命令拉取Docker镜像（确保已安装Docker）：

  docker pull ollama/ollama
  

• Step 2：运行Docker容器

  • 仅用CPU运行：适合没有独立显卡的电脑，命令如下：

    docker run -d -p 11434:11434 ollama/ollama
    

  • 支持NVIDIA GPU运行：需先安装NVIDIA Docker驱动，再用命令：

    docker run -d -p 11434:11434 --gpus all ollama/ollama
    

• Step 3：验证容器是否运行
  输入docker ps，若看到“ollama/ollama”状态为“Up”，说明容器启动成功；打开浏览器访问http://localhost:11434，显示“Ollama is running”即服务正常。

三、Ollama核心操作：运行模型、管理模型，3条命令搞定

安装完成后，用Ollama运行大模型只需“下载→运行→交互”三步，支持自动适配硬件，无需手动调参。

1. 运行模型：一条命令下载+启动

Ollama的run命令会自动完成“模型下载+启动对话”，你只需指定模型名称（如DeepSeek-R1、Llama 3.3），示例如下：

• 运行轻量模型（适合6GB显存）：

  # 运行DeepSeek-R1的1.5B版本（约3GB显存）
  ollama run deepseek-r1:1.5b
  

• 运行中等模型（适合12GB显存）：

  # 运行Llama 3.3的8B版本
  ollama run llama3.3:8b
  

• 运行大型模型（适合24GB显存）：

  # 运行Mistral的70B版本
  ollama run mistral:70b
  

首次运行时，Ollama会自动下载模型文件（1.5B约6GB，8B约13GB），下载速度取决于网络，若太慢可配置国内镜像（参考Ollama中文社区教程）。下载完成后，会直接进入对话界面，输入问题即可与模型交互，输入/exit可退出对话。

2. 管理模型：查看、删除已安装模型

若想知道自己装了哪些模型，或删除不用的模型释放空间，用以下命令：

• 查看已安装模型：

  ollama list
  

  会显示模型名称（如deepseek-r1:1.5b）、大小、修改时间。
• 删除模型：

  # 示例：删除deepseek-r1:1.5b模型
  ollama rm deepseek-r1:1.5b
  

3. 自定义模型：用Modelfile创建专属模型

若你想基于现有模型做微调（如添加自定义Prompt、调整参数），可以用ollama create命令从Modelfile创建模型。例如，创建一个“只回答Python问题”的DeepSeek-R1模型：

1. 新建一个文本文件，命名为Modelfile，内容如下：

   FROM deepseek-r1:1.5b  # 基于DeepSeek-R1 1.5B版本
   PROMPT "你是Python专家，只回答Python相关问题，其他问题请拒绝。"  # 自定义Prompt
   

2. 运行命令创建模型（命名为python-expert）：

   ollama create python-expert -f ./Modelfile
   

3. 运行自定义模型：

   ollama run python-expert
   

此时模型会只回答Python问题，实现简单的定制化需求。

四、升级体验：搭配Open WebUI，从“命令行”到“可视化界面”

Ollama默认是命令行交互，体验不够友好，推荐搭配Open WebUI（开源可视化界面），支持对话历史、多模型切换、RAG知识库集成，手机也能访问，步骤如下：

1. Open WebUI是什么？

Open WebUI是专为Ollama设计的“前端界面”，支持：

• 可视化对话（替代命令行，支持表情、文件上传）；
• 多模型管理（一键切换DeepSeek-R1、Llama 3.3等）；
• RAG功能（上传文档构建知识库，让模型基于文档回答）；
• 权限管理（适合企业场景，设置用户角色）；
• 移动端适配（支持PWA，可添加到手机桌面）。

它的开源地址：https://github.com/open-webui/open-webui，官方文档：https://docs.openwebui.com/。

2. Open WebUI安装：Docker一键部署（推荐）

若你已用Docker安装Ollama，搭配Open WebUI只需一条命令，自动连接本地Ollama服务：

• 普通安装（CPU/GPU通用）：

  docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  

• 支持NVIDIA GPU（提升RAG等功能速度）：

  docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
  

若你没装Docker，也可以用Python的pip安装（需Python 3.11）：

# 安装Open WebUI
pip install open-webui
# 启动服务
open-webui serve

3. 用Open WebUI连接Ollama，开始交互

安装完成后，打开浏览器访问http://localhost:3000，首次使用需创建管理员账号，然后按以下步骤连接Ollama：

1. 点击右上角“设置”→“模型”→“添加模型”；
2. 选择“Ollama”作为模型来源，输入Ollama服务地址：
   • 本地安装Ollama：输入http://host.docker.internal:11434（Docker部署）或http://localhost:11434（本地直接安装）；
3. 点击“加载模型”，Open WebUI会自动获取Ollama中已安装的模型（如deepseek-r1:1.5b）；
4. 返回对话界面，选择要使用的模型，即可开始可视化对话，还能上传文档让模型基于文档回答（RAG功能）。

此外，Open WebUI支持“自动更新”：用Watchtower工具可实现容器自动更新，命令如下：

# 每5分钟检查更新
docker run -d --name watchtower --restart unless-stopped -v /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower --interval 300 open-webui

五、总结：Ollama是本地大模型的“最佳入门工具”

从安装到运行，Ollama用“极简设计”降低了本地大模型的门槛——无需复杂配置，普通电脑也能跑起对标GPT-4的模型（如DeepSeek-R1），搭配Open WebUI后，还能实现企业级的可视化交互和RAG功能。

更多技术内容

更多技术内容可参见
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄