1.Windows安装docker

Windows安装Docker-CSDN博客

2.安装olloma

https://ollama.com/

安装完成,可以在桌面右下角看到olloma图标

3.安装deepseekR1模型

ollama官网(deepseek-r1),找到deepseek模型

 选择合适大小的模型,然后复制对应的脚本

在命令行窗口 ,执行脚本,就可以把对应的模型,下载到本地电脑。

显示success,表示模型安装完成。

4.安装dify

github下载dify包

https://github.com/langgenius/dify

由于github访问比较慢,我已经把下载好的包,放在csnd,可以直接下载

https://download.csdn.net/download/liangmengbk/90487779?spm=1001.2014.3001.5501

将zip解压,得到如下文件

找到docker目录中的 .env.example文件,将文件名称改为.env

用记事本打开这个文件,在最下面增加配置:

#启用自定义模型
CUSTOM_MODEL_ENABLED=true
#指定ollama的api地址
OLLAMA_API_BASE_URL=host.docker.internal:11434

文件编辑完成后保存。

在docker目录中,按住Shift+鼠标右键,打开

 执行docker compose up -d命令,运行容器。

发现运行失败,这是因为网络原因导致的,解决方法是配置国内的镜像源。

操作步骤如下:

"https://hub-mirror.c.163.com", 
"https://mirror.ccs.tencentyun.com",
"https://docker.m.daocloud.io", 
"https://mirror.baidubce.com", 
"https://docker.mirrors.ustc.edu.cn"

配置完成,点击Apply,再次执行docker compose up -d命令

在docker中可以看到已经安装的容器。

到此,dify所依赖的环境都安装好了。

开始安装dify项目

浏览器输入 http://127.0.0.1/signin

如果出现了这种情况,在docker面板中重启nginx

 然后通过下图的地方,再次访问。

第一次加载需要设置邮箱、用户名和密码信息 

登录成功

5.在dify中关联大模型

找到设置

选择模型供应商

 安装完成,刷新页面,点击添加模型

模型名称,可以通过命令 ollama list 查看已经安装的模型。

 基础URL,在安装dify时,docker文件夹中env文件配置的OLLAMA_API_BASE_URL参数值。

点击保存按钮

点击保存按钮后,页面无响应,F12控制台返回超时。

处理方法:

1.控制台设置ollama_host参数

set OLLAMA_HOST=0.0.0.0

2.重启Ollama服务

以上操作完成,重新添加模型。

添加成功,会在这里显示模型

系统模型配置中,也可以看到

创建聊天助手

到此,dify就和本地大模型关联起来了。

6.安装Embedding模型,为创建知识库做准备

选择BGE-M3模型作为Embedding模型

在本地安装模型

在dify中添加模型,操作与前面的添加deepseek模型相似。

添加完成

到此,嵌入模型就安装好了。

7.创建知识库

在dify中选择知识库

选择文件 

保存,会显示嵌入处理中,等待嵌入完成。

知识库已经创建完毕了。

也就是说通过bge-m3模型,已经把员工手册这个资料向量化了。

8.关联知识库

 在前面创建的测试助手中添加知识库

 从文档中分析出了每月的发薪日期。

点击这里,可以看到对文档的引用情况。

点击发布,发布更新,可以将当前的配置进行保存。

到此,deepseek+dify,部署本地知识库就完成了。 

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐