ollama-docker：如何用Docker Compose快速部署Ollama的完整指南

【免费下载链接】ollama-docker Welcome to the Ollama Docker Compose Setup! This project simplifies the deployment of Ollama using Docker Compose, making it easy to run Ollama with all its dependencies in a containerized environment 项目地址: https://gitcode.com/gh_mirrors/ol/ollama-docker

ollama-docker是一个简化Ollama部署流程的Docker Compose项目，通过容器化环境让用户轻松运行Ollama及其所有依赖。本文将详细介绍如何使用Docker Compose快速部署Ollama，无需复杂配置即可搭建属于自己的AI模型服务。

准备工作：部署前的必要条件

在开始部署Ollama之前，请确保您的系统已安装Docker环境（包含Docker Compose功能）。Docker的跨平台特性让ollama-docker可以在Windows、macOS和Linux系统上运行，满足不同用户的使用需求。

可选的GPU支持配置

如果您的设备配备NVIDIA显卡并希望利用GPU加速，可以通过以下步骤安装NVIDIA Container Toolkit：

1. 添加NVIDIA官方仓库密钥和源列表：

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2. 安装并配置工具包：

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

3. 验证GPU配置是否成功：

docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi

快速开始：Ollama部署步骤

第一步：获取项目代码

通过Git命令克隆项目仓库到本地：

git clone https://gitcode.com/gh_mirrors/ol/ollama-docker
cd ollama-docker

第二步：启动Ollama服务

根据您的硬件配置选择合适的启动命令：

CPU模式启动

如果没有GPU或不需要GPU加速，使用基础配置启动：

docker compose up -d

GPU模式启动

已配置GPU环境的用户，使用GPU专用配置文件：

docker compose -f docker-compose-ollama-gpu.yaml up -d

第三步：访问Ollama Web界面

服务启动后，在浏览器中访问 http://localhost:8080 即可打开Ollama WebUI界面。首次使用时，系统会引导您完成基本设置。

模型管理：安装与使用AI模型

安装模型

1. 在WebUI中点击右上角"设置"按钮
2. 选择"模型"选项卡
3. 搜索并安装所需模型（如llava-phi3）
4. 等待模型下载完成（根据网络情况可能需要几分钟）

开始使用

模型安装完成后，您可以像使用ChatGPT一样与AI模型交互。ollama-docker提供了直观的聊天界面，支持文本输入和响应显示。

项目结构解析

ollama-docker项目主要包含以下核心组件：

• ollama服务：核心AI模型运行环境，通过 docker-compose.yml 或 docker-compose-ollama-gpu.yaml 配置
• ollama-webui：提供网页交互界面，默认运行在8080端口
• app服务：开发容器，包含Langchain和Ollama的示例代码，位于 src/ 目录

开发与扩展

探索Langchain集成

项目中的app容器提供了Langchain与Ollama集成的示例代码，您可以在 src/ 目录下找到：

• basic_chain.py：基础链操作示例
• rag.py：检索增强生成功能实现

本地开发环境

如果您希望在Docker之外进行开发，可以使用项目提供的 run.sh 脚本设置虚拟环境：

./run.sh

停止与清理

如需停止Ollama服务并清理容器，执行以下命令：

docker compose down

此命令会停止所有相关容器并移除网络配置，但不会删除已下载的模型数据，下次启动时可直接使用。

总结

ollama-docker项目通过Docker Compose实现了Ollama的一键部署，极大降低了AI模型服务的搭建门槛。无论您是AI爱好者、开发人员还是研究人员，都可以通过这个项目快速体验和扩展Ollama的功能。按照本文指南，您只需几个简单步骤就能拥有属于自己的本地AI服务，开始探索大语言模型的无限可能！ 🚀

【免费下载链接】ollama-docker Welcome to the Ollama Docker Compose Setup! This project simplifies the deployment of Ollama using Docker Compose, making it easy to run Ollama with all its dependencies in a containerized environment 项目地址: https://gitcode.com/gh_mirrors/ol/ollama-docker