目录

第一部分:Ollama与DeepSeek-r1模型部署

一、环境准备

1. 确保服务器已安装Docker

2. 确认Docker运行状态

二、安装和运行Ollama

1. 拉取Ollama镜像

2. 创建持久化存储目录

3. 运行Ollama容器

4. 检查容器运行状态

三、下载和运行DeepSeek-r1模型

1. 进入Ollama容器

2. 运行DeepSeek-r1模型

第二部分:安装Miniconda3并配置清华镜像源

一、安装Miniconda3

1. 创建安装目录

2. 安装wget工具(如未安装)

3. 从清华镜像站下载Miniconda3安装脚本

4. 执行安装脚本

5. 配置环境变量

6. 验证安装

二、配置清华大学镜像源

1. 生成.condarc配置文件

2. 编辑.condarc文件

3. 写入以下配置内容

4. 清除索引缓存

三、创建Python环境并安装Open-WebUI

1. 创建Python 3.11环境

2. 激活环境

3. 先安装NumPy(避免依赖问题)

4. 安装Open-WebUI

四、启动Open-WebUI

1. 设置环境变量

2. 启动Open-WebUI

3. 访问Web界面

常见问题解决

1. Docker容器无法访问

2. Conda环境问题

3. NumPy和GCC版本兼容问题


本教程将分为两大部分:Ollama部署与模型配置,以及Miniconda3安装与配置清华镜像源。

第一部分:Ollama与DeepSeek-r1模型部署

一、环境准备

1. 确保服务器已安装Docker

# 安装Docker(如未安装)
yum install -y docker
systemctl start docker
systemctl enable docker

2. 确认Docker运行状态

systemctl status docker

二、安装和运行Ollama

1. 拉取Ollama镜像

docker pull ollama/ollama

2. 创建持久化存储目录

mkdir -p /data1/ollama

3. 运行Ollama容器

docker run -d -v /data1/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

4. 检查容器运行状态

docker ps | grep ollama

三、下载和运行DeepSeek-r1模型

1. 进入Ollama容器

docker exec -it ollama bash

2. 运行DeepSeek-r1模型

ollama run deepseek-r1:1.5b

系统会自动下载模型,这可能需要几分钟到几十分钟不等,取决于网络情况。

第二部分:安装Miniconda3并配置清华镜像源

一、安装Miniconda3

1. 创建安装目录

mkdir -p /data1/miniconda3

2. 安装wget工具(如未安装)

yum install -y wget

3. 从清华镜像站下载Miniconda3安装脚本

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh -O /data1/miniconda3/miniconda.sh

4. 执行安装脚本

bash /data1/miniconda3/miniconda.sh -b -u -p /data1/miniconda3

参数说明:

  • -b: 批处理模式,无需交互确认
  • -u: 更新已有的安装
  • -p: 指定安装路径
5. 配置环境变量
echo 'export PATH="/data1/miniconda3/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

6. 验证安装

conda --version

二、配置清华大学镜像源

1. 生成.condarc配置文件

conda config --set show_channel_urls yes

2. 编辑.condarc文件

vi ~/.condarc

3. 写入以下配置内容

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

4. 清除索引缓存

conda clean -i

三、创建Python环境并安装Open-WebUI

1. 创建Python 3.11环境

conda create -n py311 python=3.11

2. 激活环境

conda activate py311

3. 先安装NumPy(避免依赖问题)

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple numpy==1.24.0

4. 安装Open-WebUI

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

注:如果遇到GCC版本过低问题,可以尝试以下解决方案:

# 安装开发工具集
yum install centos-release-scl
yum install devtoolset-9-gcc devtoolset-9-gcc-c++

# 启用新版GCC
scl enable devtoolset-9 bash

或尝试安装较低版本:

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui==0.5.0

四、启动Open-WebUI

1. 设置环境变量

export OLLAMA_API_BASE_URL=http://localhost:11434/api
export OPENAI_API_BASE_URL=http://localhost:11434/v1

2. 启动Open-WebUI

python -m openwebui

3. 访问Web界面

完成以上步骤后,可通过浏览器访问http://服务器IP:3000来使用Open-WebUI界面。

常见问题解决

1. Docker容器无法访问

检查防火墙设置:

# 临时关闭防火墙
systemctl stop firewalld

# 或开放特定端口
firewall-cmd --permanent --add-port=11434/tcp
firewall-cmd --permanent --add-port=3000/tcp
firewall-cmd --reload

2. Conda环境问题

如果遇到"conda not found"错误:

source /data1/miniconda3/bin/activate
conda init bash
source ~/.bashrc

3. NumPy和GCC版本兼容问题

如前所述,可以通过安装特定版本的NumPy或升级GCC来解决。

参考资料:

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐