引言

RAGFlow 是一个基于检索增强生成(Retrieval-Augmented Generation, RAG)的开源框架,而 Ollama 是一个本地运行大型语言模型(LLM)的工具。将两者结合可以构建一个强大的本地知识问答系统,无需依赖云服务即可实现高质量的文本生成和问答功能。

环境要求

CPU >= 4 cores
RAM >= 16 GB
Disk >= 50 GB
Docker >= 24.0.0 & Docker Compose >= v2.26.1

1. 配置本地ollama模型

通过官网下载ollama
ollama官网
下载完后,点击官网的Models,可以下载合适的模型,同时要注意自己的电脑情况下载
当你选择模型后,直接复制命令粘贴在终端运行,运行结束后就是简陋的ai
在这里插入图片描述

2.检查自己的wsl情况

WSL(Windows Subsystem for Linux)是微软开发的一项技术,允许用户在Windows系统中直接运行完整的Linux环境,无需虚拟机。win默认系统自带了wsl,直接管理员身份打开cmd执行相关操作。

升级到最新版本

wsl --update

下载过程很慢

安装ubuntu命令

wsl --install -d ubuntu

这里安装成功后会自动提示你创建用户名,密码,其中密码是看不见打的,记住自己填了什么

3.下载docker

直接到官网下载
docker官网
注册可以跳过,直接进入

4.下载ragflow

ragflow的GitHub链接
下在成功后,打开下载后的文件夹
输入

cd docker
docker compose -f docker-compose.yml up -d12

如果没有找到docker,说明下载不完整
在这里插入图片描述
这里打开
然后运行docker logs -f ragflow-server
会出现以下证明生效
在这里插入图片描述
注意,要启动docker,再运行这个命令,不然无法运行
这时回到docker,看到以下就成果了
在这里插入图片描述

5.打开ragflow页面

http://localhost/knowledge 

注册一下,进入后点击头像
在这里插入图片描述
在待添加的模型里面选择ollama
在这里插入图片描述
要得到以上效果,需要在ollama官网里面选择一个chat模型,一个embedding模型
这里我们打开在github上下载的ragflow文件里面,同刚才的步骤,切换到终端打开,然后cd到docker中下载这两个模型,或者你选择其他的模型
在待添加的模型里面点击添加模型,模型类型根据刚才下载的类型填写,模型名称根据下载的名字填写,如果不知道是什么,终端运行ollama list查看已经下载的模型,
url这里,如果你是在ragflow里面下载的模型,就填写http://host.docker.internal:11434
最大token数就是你在使用这个ai的时候,一次性最多输入的字符,根据自己情况填写
随后在已经添加的模型里面,点击添加模型,步骤同刚才,url只要是部署在ragflow里面的,就用http://host.docker.internal:11434这个

完成以上步骤后,我们点击右上角的设置默认模型,选择你自己添加的

在这里插入图片描述
然后我们就可以在知识库里面添加自己的文档

在这里插入图片描述在这里插入图片描述
注意上传后要点击简析按钮

然后就可以对话了,新建一个自己的助理
在这里插入图片描述
选择对应的数据库,等等。
至于回答你的速度跟你下载的模型大小有关

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐