1.安装 Ollama

1.1 安装命令,也可以去官网 Download Ollama on Linux

curl -fsSL https://ollama.com/install.sh | sh

1.2  安装完成后,可以查看。

ollama -v

1.3 修改端口

# 打开文件
vim /etc/systemd/system/ollama.service

# 增加
Environment=“OLLAMA_HOST=0.0.0.0:11434”

# 重现加载
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama

# 查看日志
journalctl -u ollama.service

2. 部署DeepSeek推理模型

根据实际的环境配置,选择合适的 DeepSeek 尺寸模型进行部署。初次安装或者显卡资源少推荐先安装 1.5B或7B、8B尺寸的模型。

2.1 下载 DeepSeek R1 模型

根据您的硬件配置,选择适合的模型版本。以下是下载 DeepSeek R1 8B 模型的示例:

ollama pull deepseek-r1:8b



请注意,模型的下载可能需要一些时间,具体取决于您的网络速度。

2.2 运行 DeepSeek R1 模型

下载完成后,您可以通过以下命令运行模型:

ollama run deepseek-r1:8b


此时,您可以在终端与模型进行交互,输入您的问题或任务,模型将提供相应的响应。

3. 安装  open-webui (🏡 Home | Open WebUIOpen WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.https://docs.openwebui.com/),也可以安装 Dify(欢迎使用 Dify | Difyhttps://docs.dify.ai/zh-hans)、chatbox(Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。https://chatboxai.app/zh),我这里安装的是 open-webui。

如果您的计算机上有 Ollama,请使用以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要运行支持 Nvidia GPU 的 Open WebUI,请使用以下命令:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

此安装方法使用将 Open WebUI 与 Ollama 捆绑在一起的单个容器映像,从而允许通过单个命令进行简化设置。根据您的硬件设置选择适当的命令:

  • 借助 GPU 支持:通过运行以下命令来利用 GPU 资源:

    docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
  • 仅适用于 CPU:如果您不使用 GPU,请改用以下命令:

    docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

这两个命令都有助于 Open WebUI 和 Ollama 的内置、无忧安装,确保您可以快速启动并运行一切。

由于已经安装过 ollmam  我的安装命令是:

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=127.0.0.1:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐