ubuntu 20.04 本地部署 DeepSeek R1
1.1 安装命令,也可以去官网1.2安装完成后,可以查看。ollama -v1.3 修改端口。
1.安装 Ollama
1.1 安装命令,也可以去官网 Download Ollama on Linux
curl -fsSL https://ollama.com/install.sh | sh
1.2 安装完成后,可以查看。
ollama -v
1.3 修改端口
# 打开文件
vim /etc/systemd/system/ollama.service
# 增加
Environment=“OLLAMA_HOST=0.0.0.0:11434”
# 重现加载
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama
# 查看日志
journalctl -u ollama.service
2. 部署DeepSeek推理模型
根据实际的环境配置,选择合适的 DeepSeek 尺寸模型进行部署。初次安装或者显卡资源少推荐先安装 1.5B或7B、8B尺寸的模型。

2.1 下载 DeepSeek R1 模型
根据您的硬件配置,选择适合的模型版本。以下是下载 DeepSeek R1 8B 模型的示例:
ollama pull deepseek-r1:8b
请注意,模型的下载可能需要一些时间,具体取决于您的网络速度。
2.2 运行 DeepSeek R1 模型
下载完成后,您可以通过以下命令运行模型:
ollama run deepseek-r1:8b
此时,您可以在终端与模型进行交互,输入您的问题或任务,模型将提供相应的响应。
3. 安装 open-webui (🏡 Home | Open WebUIOpen WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.
https://docs.openwebui.com/),也可以安装 Dify(欢迎使用 Dify | Dify
https://docs.dify.ai/zh-hans)、chatbox(Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
https://chatboxai.app/zh),我这里安装的是 open-webui。
如果您的计算机上有 Ollama,请使用以下命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要运行支持 Nvidia GPU 的 Open WebUI,请使用以下命令:
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
此安装方法使用将 Open WebUI 与 Ollama 捆绑在一起的单个容器映像,从而允许通过单个命令进行简化设置。根据您的硬件设置选择适当的命令:
-
借助 GPU 支持:通过运行以下命令来利用 GPU 资源:
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama -
仅适用于 CPU:如果您不使用 GPU,请改用以下命令:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
这两个命令都有助于 Open WebUI 和 Ollama 的内置、无忧安装,确保您可以快速启动并运行一切。
由于已经安装过 ollmam 我的安装命令是:
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=127.0.0.1:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)