Linux配置:

CPU >= 4 核
RAM >= 16 GB
Disk >= 50 GB
Docker >= 24.0.0 & Docker Compose >= v2.26.1

下载Ollama:Ollama 是一个可以在本地部署和管理开源大语言模型的框架

下载地址:https://ollama.com/download
按需下载,这里我们以linux版本进行操作
按需下载,这里我们以linux版本进行操作,复制安装语句到linux服务器上安装
在这里插入图片描述
安装完成,可以输入ollama查看是否安装成功
在这里插入图片描述
安装完ollama,进行修改配置文件,目的是让外部能够访问ollama,配置文件的路径/etc/systemd/system/ollama.service,输入vim /etc/systemd/system/ollama.service
在这里插入图片描述
在Environment参数中,添加OLLAMA_HOST=0.0.0.0:11434,保存关闭
然后更新配置:systemctl daemon-reload
在这里插入图片描述
重启:systemctl restart ollama在这里插入图片描述
安装DeepSeek-r1模型:ollama run deepseek-r1:7b,安装完之后,即可进行问答操作,也可以在ollama中查看模型,语句ollama list
在这里插入图片描述

在这里插入图片描述

下载RAGFlow:RAGFlow 基于大语言AI模型的企业级智能问答知识库

RAGFlow的github地址:https://github.com/infiniflow/ragflow/blob/main/README_zh.md

先克隆RAGFlow项目到本地
在这里插入图片描述
下完完项目,目录下会有个ragflow文件,进入ragflow/docker,修改.env中ragflow版本为全量版本,默认是RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim版本,我们注释掉,选择全量版本进行安装
在这里插入图片描述
再使用docker进行安装ragflow
cd ragflow
docker compose -f docker/docker-compose.yml up -d
在这里插入图片描述
如果你遇到 Docker 镜像拉不下来的问题,可以在 docker/.env 文件内根据变量 RAGFLOW_IMAGE 的注释提示选择华为云或者阿里云的相应镜像。

华为云镜像名:swr.cn-north-4.myhuaweicloud.com/infiniflow/ragflow
阿里云镜像名:registry.cn-hangzhou.aliyuncs.com/infiniflow/ragflow

服务器启动成功后再次确认服务器状态:

docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功:
在这里插入图片描述
在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow(http://你的IP地址)
在这里插入图片描述
在这里插入图片描述
添加模型后,就可以进行问答了,也可以添加个人知识库进行训练问答
在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐