🐳Ollama，简单直接，被AI各种应用广泛支持，广泛到我们“不得不”学习一下⚡️。

ℹ️教程说明

Ollama 是一款轻量级本地大模型部署工具，使用广泛，且容易上手，适合作为AI技术的入门。

🧩教程各部分链接：

• 第一课：ollama运行原理介绍及同类工具对比
  • ollama运行原理介绍及同类工具对比，与选择建议
• 第二课：ollama安装（Windows）
  • 介绍了两种典型安装模式：普通安装方式和独立 CLI
• 第三课：ollama安装大模型的方式汇总
  • ollama安装大模型的五种典型方式的详细汇总
• 第四课：🐑 Ollama 命令汇总
  • 本文全面介绍了Ollama的相关命令的语法与示例，包括核心命令、模型管理命令、高级与系统命令
     
• 第五课：桌面模型管理应用调用ollama大模型
  • 本文介绍了如何通过桌面应用调用本地Ollama大模型，对比了11款主流工具，并重点介绍了几个常用工具的具体安装和配置。
• 第六课：Python 调用 Ollama 大模型方式汇总
  • 本文系统介绍了Python调用Ollama大模型的多种方式，包括官方SDK、REST API、OpenAI兼容接口、CLI调用及上层框架集成。

 📒参考资源：

🎩官网资源：

• 官网：https://ollama.com/
• Ollama 中文文档：  https://ollama.readthedocs.io/
• 接口 Endpoints - Ollama 官方中文文档：https://ollama-docs.apifox.cn/
• github官网Python调用示例：https://github.com/ollama/ollama-python

• 中文文档：https://ollama.cadn.net.cn/

•  国内下载镜像：https://www.newbe.pro/Mirrors/Mirrors-ollama

⚛️专项文档地址：

• REST API 参考:https://github.com/ollama/ollama/blob/main/docs/api.md

  • /api/generate、/api/chat、流式、超参、keep_alive 等。

• Modelfile 规范:https://github.com/ollama/ollama/blob/main/docs/modelfile.md

  • 构建私有模型、添加系统提示、模板与分词器设置。

• Embedding 支持:https://github.com/ollama/ollama/blob/main/docs/embeddings.md

  • 常用于 RAG 管线，说明调用参数与返回维度。

• 服务器部署与环境变量:https://github.com/ollama/ollama/blob/main/docs/faq.md

  • 端口、并发、KV 缓存、显存/内存优化要点

🧠模型地址：

• huggingface.co：https://huggingface.co/models
• 魔搭模型：https://modelscope.cn/models

第一课：ollama运行原理介绍及同类工具对比

一、Ollama 深度解析

1.1 背景

• 厂商 / 开发者：Ollama Inc.（独立科技公司）
• 成立背景：2023 年成立于美国，核心团队来自前 Google、Meta 等公司的 AI 基础设施工程师，专注于「降低本地大模型使用门槛」。
• 开发模式：商业公司主导的开源项目（核心代码开源，模型库由官方维护）。
• 核心方向：通过简化部署流程和统一交互接口，推动本地 LLM 在开发者工具链、边缘设备中的普及，目前已完成多轮融资（公开信息显示融资规模超千万美元）。

1.2 核心定位与功能

Ollama 是一款轻量级本地大模型部署工具，核心目标是「降低本地运行大语言模型（LLM）的门槛」。它封装了模型下载、环境配置、推理加速等复杂流程，让开发者通过简单命令即可在本地（Windows/macOS/Linux）运行 Llama 3、Gemini、Mistral 等主流模型，支持命令行交互、API 调用和自定义模型配置。

🌟其核心特性包括：

• 轻量级架构：基于llama.cpp推理引擎，支持CPU/GPU硬件加速
• 模型管理：提供预构建模型库（Llama 3、DeepSeek、Qwen等），支持自定义模型开发
• API兼容性：兼容OpenAI API标准，可无缝接入LangChain等开发框架
• 跨平台支持：Windows/macOS/Linux全平台覆盖
• 安全性：模型在本地运行，不联网，保护隐私

1.3. 运行原理

Ollama 的核心作用是「简化本地模型的生命周期管理」，Ollama 的架构可分为三层，形成「模型管理 - 推理服务 - 交互接口」的闭环：

• 模型管理层
  维护官方模型库（library），统一模型格式（基于 GGUF 等量化格式）。当执行 ollama pull <模型名> 时，会自动下载模型权重、配置文件（如 tokenizer 信息）和量化参数，并缓存到本地（默认路径：~/.ollama/models，Windows为：C:\Users\<用户名>\.ollama\models）。支持自动校验模型完整性，避免损坏文件导致的运行失败。

• 推理服务层
  核心是内置的推理引擎（基于 llama.cpp 优化），负责：

  • 硬件适配：自动检测 CPU/GPU（支持 NVIDIA CUDA、Apple Metal、AMD ROCm），动态分配计算资源（如 GPU 显存不足时自动切换 CPU fallback）；
  • 量化加速：默认使用 4-bit/8-bit 量化模型（平衡性能与内存占用），通过 KV 缓存、张量并行等技术优化推理速度；
  • 服务启动：运行模型时启动本地 HTTP 服务（默认端口 11434），作为请求入口处理推理任务，支持并发请求（通过队列机制避免资源竞争），该服务负责：
    • 加载模型到内存（根据硬件自动选择 CPU/GPU 加速）；
    • 处理用户输入的推理请求；
    • 维护模型运行的生命周期（如暂停、重启、释放资源）。

• 交互接口层
  提供两种交互方式：

  • 命令行交互（ollama run）：适合快速测试，支持上下文对话（自动维护对话历史）；
  • REST API（/api/chat、/api/generate）：适合集成到代码（Python/Java 等），支持流式输出（SSE）和批量推理。

图形化逻辑图如下：

+-------------------+
|   用户输入命令     |
+-------------------+
          |
          v
+-------------------+
|   Ollama CLI      |
+-------------------+
          |
          v
+-------------------+
|   模型下载/缓存    |
+-------------------+
          |
          v
+-------------------+
|   模型加载到内存   |
+-------------------+
          |
          v
+-------------------+
|   模型推理引擎     |
+-------------------+
          |
          v
+-------------------+
|   返回结果         |
+-------------------+

1.4 核心优势与局限

• 👆优势：

  • 极简部署：无需手动配置依赖（如 CUDA 环境、Python 库），一键安装即用；
  • 模型生态丰富：官方库包含 100+ 主流模型，支持自定义模型（通过 Modelfile 配置系统提示、参数等）；
  • 跨平台一致性：Windows/macOS/Linux 命令完全统一，降低多环境适配成本。

• 👇局限：

  • 定制化能力有限：高级推理参数（如批处理大小、缓存策略）暴露较少，难以深度优化；
  • 模型格式依赖：主要支持官方适配的模型，自定义训练的非标准模型需转换格式；
  • 性能天花板：相比原生 llama.cpp 等工具，封装层会带来轻微性能损耗（约 5-10%）。

二、同类工具解析（面向 AI 工程师）

2.1 llama.cpp（C++ 推理框架）

🌍 背景

• 厂商 / 开发者：以 Georgi Gerganov 为核心的开源社区（个人主导 + 社区贡献）
• 成立背景：2023 年由保加利亚开发者 Georgi Gerganov 发起（因 Meta 开源 Llama 模型后，需轻量化推理方案而诞生），无商业公司背景。
• 开发模式：纯开源项目（MIT 许可证），核心维护者为 Georgi Gerganov，全球数千名开发者贡献代码（优化硬件适配、模型兼容等）。
• 核心方向：聚焦 LLM 推理引擎的极致性能优化，尤其在 CPU 和低资源设备上的效率提升，是众多上层工具（如 Ollama、LM Studio）的底层依赖。

🚩 定位

专注于 LLM 高效推理的 C++ 开源框架，支持 CPU/GPU 加速，是许多上层工具（如 Ollama）的底层依赖。

📚 运行原理

• 核心优化：基于 C++ 实现纯原生推理，通过 SIMD 指令集（如 AVX2、NEON）加速 CPU 计算；支持 CUDA/Metal 核函数直接操作张量，减少内存拷贝开销。
• 模型格式：主打 GGUF 格式（通用量化格式，支持 1-bit 到 16-bit 量化），兼容 Llama、Mistral、Gemini 等模型家族。
• 运行方式：通过命令行启动，需手动指定模型路径、推理参数（如 ./main -m model.gguf -p "prompt"），无内置 HTTP 服务（需配合第三方工具如 llama-server 提供 API）。

💡 优势与局限

• 优势：性能极致（同硬件下推理速度比 Ollama 快 5-15%）、支持低资源设备（如树莓派）、可深度定制推理参数；
• 局限：门槛高（需手动编译、配置参数）、无模型管理功能（需手动下载模型）、生态较封闭（API 需自行开发）。

2.2 LM Studio（GUI 工具）

🌍 背景

• 厂商 / 开发者：LM Studio, Inc.（独立科技公司）
• 成立背景：2023 年成立于美国西雅图，团队以「让本地 AI 像浏览器一样易用」为目标，创始人来自微软、亚马逊等公司的 AI 产品团队。
• 开发模式：商业软件（免费基础版 + 付费专业版），核心推理引擎基于 llama.cpp 二次开发，闭源但兼容开源模型格式。
• 核心方向：面向开发者和企业用户提供「零代码本地 LLM 工具」，主打图形界面交互和快速集成能力，目前已推出企业级部署方案。

🚩 定位

面向开发者的「本地 LLM 桌面客户端」，通过图形界面简化模型部署，兼顾易用性与基础定制能力。

📚 运行原理

• 架构：前端基于 Electron 实现 GUI，后端集成 llama.cpp 作为推理引擎，中间层封装模型下载、服务启动逻辑。
• 核心功能：可视化模型库（支持搜索、筛选）、实时性能监控（GPU/CPU 占用、推理速度）、对话历史管理、API 服务开关（默认端口 1234）。
• 推理优化：自动选择最优量化精度（根据硬件配置推荐 4-bit/8-bit），支持「模型预热」（提前加载到内存减少启动时间）。

💡 优势与局限

• 优势：零命令行操作、可视化调试（如查看 token 生成速度）、适合快速演示；
• 局限：定制化弱（参数调整选项少）、API 功能简单（不支持批量推理）、资源占用较高（Electron 框架开销）。

2.3 Text Generation Web UI（Web 界面工具）

🌍 背景

• 厂商 / 开发者：以 oobabooga（网名，真实身份未公开）为核心的开源社区
• 成立背景：2022 年底由匿名开发者 oobabooga 发起，最初为适配开源模型 Llama 而开发，后逐步支持多模型，无商业公司背景。
• 开发模式：纯开源项目（AGPL 许可证），GitHub 星标数超 5 万，社区贡献者超千人，主要维护者为 oobabooga 及几位核心志愿者。
• 核心方向：提供「全功能本地 LLM 调试环境」，聚焦开发者的实验性需求（如参数调优、插件扩展），是研究人员和爱好者的常用工具。

🚩 定位

开源的浏览器端 LLM 交互工具，主打「高度可定制化」，适合模型调试与实验。

📚 运行原理

• 技术栈：后端基于 Python（FastAPI），前端基于 Gradio，推理依赖 transformers 或 llama.cpp 后端。
• 核心能力：支持多模型并行加载、自定义推理参数（温度、top_p、最大生成长度等）、插件扩展（如 RAG 集成、语音输入）、模型微调（通过 LoRA 插件）。
• 部署方式：需手动安装 Python 环境和依赖（如 pip install -r requirements.txt），启动后通过浏览器访问（默认 localhost:7860）。

💡 优势与局限

• 优势：参数可调范围极广（适合研究场景）、支持复杂功能（如长上下文窗口扩展）、社区插件丰富；
• 局限：部署复杂（依赖冲突频发）、资源占用高（Python 环境 + 前端框架）、不适合生产环境集成。

2.4 Hugging Face Transformers（Python 库）

🌍 背景

• 厂商 / 开发者：Hugging Face, Inc.（AI 领域知名公司）
• 成立背景：2016 年成立于美国纽约，最初以 NLP 工具库起家，逐步发展为全球最大的开源 AI 模型社区，2023 年估值超 40 亿美元。
• 开发模式：商业公司支持的开源项目（Apache 2.0 许可证），核心库由公司团队开发，同时接受社区贡献，模型库（Hugging Face Hub）开放给全球开发者上传共享。
• 核心方向：构建「AI 模型开发全流程生态」，除 Transformers 库外，还涵盖数据集（Datasets）、评估工具（Evaluate）、部署工具（Inference Endpoints）等，是学术界和工业界的标准工具链。

🚩 定位

AI 领域最流行的模型推理库，支持几乎所有主流 LLM，是构建自定义推理服务的基础工具。

📚 运行原理

• 核心设计：基于 PyTorch/TensorFlow 封装模型架构（如 Transformer），提供统一的 pipeline 接口简化推理流程。
• 加速机制：通过 bitsandbytes 实现量化（4/8-bit）、transformers_accelerate 优化分布式推理、ONNX Runtime 提升 CPU 性能。
• 集成方式：需开发者手动编写代码加载模型（如 AutoModelForCausalLM.from_pretrained()），并自行搭建 API 服务（如配合 FastAPI）。

💡 优势与局限

• 优势：支持模型最全面（包括未量化的原生模型）、可深度定制推理逻辑（如修改 attention 实现）、与 Hugging Face 生态（Datasets、Evaluate）无缝衔接；
• 局限：门槛高（需熟悉 Python 和深度学习框架）、部署复杂（需手动处理依赖和服务化）、性能优化需手动配置。

2.5 vLLM（高性能推理引擎）

🌍 背景

• 厂商 / 开发者：vLLM Inc.（由学术项目孵化的商业公司）
• 成立背景：2023 年由加州大学伯克利分校的计算机科学团队发起（核心成员包括李沐团队成员），最初是学术研究项目（解决大模型推理效率问题），后成立公司商业化。
• 开发模式：开源核心引擎（Apache 2.0 许可证）+ 商业云服务（vLLM Cloud），公司团队主导开发，同时接受社区对模型兼容性的贡献。
• 核心方向：聚焦「生产级 LLM 推理性能优化」，主打高吞吐量和低延迟，服务于需要大规模部署 LLM 的企业（如云厂商、AI 应用开发商），已获得知名风投投资。

🚩 定位

面向生产环境的高性能 LLM 推理引擎，主打高吞吐量和低延迟，适合大规模部署。

📚 运行原理

• 核心创新：基于 PagedAttention 机制（类似操作系统内存分页）优化 KV 缓存管理，支持连续批处理（Continuous Batching）提升 GPU 利用率。
• 部署方式：提供 Python API 和 HTTP 服务（兼容 OpenAI API 格式），需配合 CUDA 环境（仅支持 NVIDIA GPU）。
• 性能指标：同硬件下吞吐量比 Hugging Face Transformers 高 5-10 倍，延迟降低 30-50%。

💡 优势与局限

• 优势：生产级性能、支持动态批处理、兼容 OpenAI API（易于迁移）；
• 局限：仅支持 GPU（无 CPU fallback）、依赖复杂（需特定 CUDA 版本）、不适合低资源设备。

三、工具横向对比（AI 工程师视角）

四、选择建议（AI 工程师决策指南）

1. 快速验证想法 / 集成到工具链 → 选 Ollama
   优势：零配置、API 友好，适合在原型开发中快速接入本地模型，支持跨平台一致性。

2. 追求极致性能 / 低资源设备 → 选 llama.cpp
   优势：C++ 原生推理，适合嵌入式设备（如边缘计算）或对延迟敏感的场景（需接受较高的使用门槛）。

3. 可视化调试 / 非技术人员协作 → 选 LM Studio 或 Text Generation Web UI

   • 简单可视化需求 → LM Studio（GUI 直观）；
   • 复杂调试（如长上下文测试） → Text Generation Web UI（参数全开放）。

4. 自定义推理逻辑 / 学术研究 → 选 Hugging Face Transformers
   优势：支持修改模型结构、自定义 attention 机制等底层操作，与研究生态无缝衔接。

5. 生产环境大规模部署 → 选 vLLM
   优势：高吞吐量 + 低延迟，兼容 OpenAI API 便于迁移，适合企业级服务（需 NVIDIA GPU 支持）。

💎 总结：

Ollama 代表了「简单化」趋势，通过封装复杂度降低本地 LLM 使用门槛；而 llama.cpp、vLLM 等工具则聚焦「专业化」，为性能或定制化需求提供深度支持。AI 工程师需根据场景优先级（易用性 / 性能 / 定制化）选择：快速迭代选 Ollama，深度优化选 llama.cpp，生产部署选 vLLM，学术研究选 Hugging Face Transformers。