ragflow+ollama配置大模型
RAGFlow 是一个基于检索增强生成(Retrieval-Augmented Generation, RAG)的开源框架,而 Ollama 是一个本地运行大型语言模型(LLM)的工具。将两者结合可以构建一个强大的本地知识问答系统,无需依赖云服务即可实现高质量的文本生成和问答功能。
引言
RAGFlow 是一个基于检索增强生成(Retrieval-Augmented Generation, RAG)的开源框架,而 Ollama 是一个本地运行大型语言模型(LLM)的工具。将两者结合可以构建一个强大的本地知识问答系统,无需依赖云服务即可实现高质量的文本生成和问答功能。
环境要求
CPU >= 4 cores
RAM >= 16 GB
Disk >= 50 GB
Docker >= 24.0.0 & Docker Compose >= v2.26.1
1. 配置本地ollama模型
通过官网下载ollama
ollama官网
下载完后,点击官网的Models,可以下载合适的模型,同时要注意自己的电脑情况下载
当你选择模型后,直接复制命令粘贴在终端运行,运行结束后就是简陋的ai
2.检查自己的wsl情况
WSL(Windows Subsystem for Linux)是微软开发的一项技术,允许用户在Windows系统中直接运行完整的Linux环境,无需虚拟机。win默认系统自带了wsl,直接管理员身份打开cmd执行相关操作。
升级到最新版本
wsl --update
下载过程很慢
安装ubuntu命令
wsl --install -d ubuntu
这里安装成功后会自动提示你创建用户名,密码,其中密码是看不见打的,记住自己填了什么
3.下载docker
直接到官网下载
docker官网
注册可以跳过,直接进入
4.下载ragflow
ragflow的GitHub链接
下在成功后,打开下载后的文件夹
输入
cd docker
docker compose -f docker-compose.yml up -d12
如果没有找到docker,说明下载不完整
这里打开
然后运行docker logs -f ragflow-server
会出现以下证明生效
注意,要启动docker,再运行这个命令,不然无法运行
这时回到docker,看到以下就成果了
5.打开ragflow页面
http://localhost/knowledge
注册一下,进入后点击头像
在待添加的模型里面选择ollama
要得到以上效果,需要在ollama官网里面选择一个chat模型,一个embedding模型
这里我们打开在github上下载的ragflow文件里面,同刚才的步骤,切换到终端打开,然后cd到docker中下载这两个模型,或者你选择其他的模型
在待添加的模型里面点击添加模型,模型类型根据刚才下载的类型填写,模型名称根据下载的名字填写,如果不知道是什么,终端运行ollama list查看已经下载的模型,
url这里,如果你是在ragflow里面下载的模型,就填写http://host.docker.internal:11434
最大token数就是你在使用这个ai的时候,一次性最多输入的字符,根据自己情况填写
随后在已经添加的模型里面,点击添加模型,步骤同刚才,url只要是部署在ragflow里面的,就用http://host.docker.internal:11434这个
完成以上步骤后,我们点击右上角的设置默认模型,选择你自己添加的

然后我们就可以在知识库里面添加自己的文档


注意上传后要点击简析按钮
然后就可以对话了,新建一个自己的助理
选择对应的数据库,等等。
至于回答你的速度跟你下载的模型大小有关
更多推荐
所有评论(0)