Docker中部署Ollama大模型服务的完整指南

基础部署流程

拉取Ollama镜像

从Docker Hub获取最新镜像：

docker pull ollama/ollama:latest

启动容器

执行以下命令启动容器并配置关键参数：

docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama-data:/root/.ollama \
  ollama/ollama:latest

参数说明：

验证部署

检查容器运行状态：

docker ps | grep ollama

访问http://localhost:11434，返回Ollama is running即表示成功。

核心操作指令

模型管理

# 拉取模型
docker exec -it ollama ollama pull llama3

# 运行模型
docker exec -it ollama ollama run llama3

# 列出本地模型
docker exec -it ollama ollama list

容器维护

# 进入容器
docker exec -it ollama bash

# 停止/删除容器
docker stop ollama
docker rm ollama

# 删除镜像
docker rmi ollama/ollama:latest

高级配置方案

GPU加速支持

配置NVIDIA GPU需安装nvidia-docker后添加参数：

docker run -d \
  --name ollama \
  --gpus all \
  -p 11434:11434 \
  -v ollama-data:/root/.ollama \
  ollama/ollama:latest

环境变量配置

通过-e参数设置默认模型等变量：

docker run -d \
  --name ollama \
  -e OLLAMA_MODEL="llama3" \
  -p 11434:11434 \
  ollama/ollama:latest

故障排查指南