快速搭建自己的Ai小助手(基于Dify构建自己的知识库调用LLM模型APi或OLLAMA模型本地部署LLM模型)
比如在自己的环境变量里配置好OLLAMA模型的端口。本文的目的在于快速搭建一个前端Ai对话模型,模型基于已有的LLM模型和自己构建的知识库回答用户问题。部署Dify需要先安装好docker ,安装docker的教程可以参考其他博主,这一步比较简单不再赘述。如下先添加chat模型:之后也需要添加Text Embedding模型 不然在解析自己的文本知识库的时候会非常的慢。也可以使用阿里的通义千问模型
一、引言
本文的目的在于快速搭建一个前端Ai对话模型,模型基于已有的LLM模型和自己构建的知识库回答用户问题。本文将分为以下部分:
Dify本地部署、LLM模型的调用、上线Ai小助手。
二、Dify本地部署
部署Dify需要先安装好docker ,安装docker的教程可以参考其他博主,这一步比较简单不再赘述。参考链接:Docker 安装 (完整详细版)_docker安装-CSDN博客
下一步需要从github仓库拉取代码:
git拉取:
git clone https://github.com/langgenius/dify.git
或者直接zip下载,一样的。
然后需要在后台运行docker:

打开刚刚拉取完docker的源代码,进入到docker目录下:

然后cmd到这个目录之下 输入以下命令:
docker compose up -d

以上表示你的Dify运行成功!
Dify默认运行在80端口 ,所以直接在浏览器输入http://127.0.0.1就可以访问到dify ,在浏览器输入:
http://127.0.0.1/apps
会让你注册登录,按要求注册登录即可,成功登录:

下一步需要配置LLM模型,以及Embedding模型。
三、LLM模型的调用
点击自己的头像,点击设置。

在模型提供商里可以看到有很多家公司可供使用。
2.1本地部署LLM使用。
这里推荐使用OLLAMA本地化部署,首先你需要下载好OLLAMA并做好相应的配置。OLLAMA官网:Ollama 直接download即可,很好下载。但是必须要做好相关的配置任务。比如在自己的环境变量里配置好OLLAMA模型的端口。相关问题可参考以下博客:RagFlow添加OLLAMA模型失败--解决方案-CSDN博客
你可以在OLLAMA中下载自己想使用的模型,比如qwq、deepseek等,我这里以deepseek为例:

复制右侧的运行 命令,在命令行终端运行,下载。
ollama run deepseek-r1:1.5b
可以看到正在下载:

下载完成后再次输入以上命令可以进入对话终端。
然后就可以在Dify中添加模型了
如下先添加chat模型:之后也需要添加Text Embedding模型 不然在解析自己的文本知识库的时候会非常的慢。

ollama添加text embedding模型运行以下命令:
ollama pull nomic-embed-text

至此LLM模型添加成功。
其实也可以直接添加deepseek的APi直接调用 会很方便很多 但是花钱,LLM模型调用deepseek 的api:


也可以使用阿里的通义千问模型,里面有大模型 也Embedding模型,比较方便

三、Ai小助手
以上内容全部配置完成以后,现在可以开始配置自己的Ai小助手了。首先需要搭建自己的知识库,

然后添加自己的知识库文件,处理文本


然后开始创建自己的应用:

然后点击发布点击更新,里面有个嵌入的方式,认为比较方便可以快速构建ai小助手。

这个直接copy到html页面即可,但是后面提供了一种vue的导入Component的方法,如下:
<template>
<div></div>
</template>
<script setup>
import { onMounted } from 'vue';
// 设置全局配置
window.difyChatbotConfig = {
token: 'xxxxxxxxx',
baseUrl: "https://xxxxxxx/",
systemVariables: {
// user_id: 'YOU CAN DEFINE USER ID HERE',
},
};
// 动态加载外部 JS
const loadScript = () => {
const script = document.createElement('script');
script.src = "https://xxxxxxxx/embed.min.js";
script.id = 'xxxxxxxxxx';
script.defer = true;
document.body.appendChild(script);
};
// 在组件挂载后加载
onMounted(() => {
loadScript();
});
</script>
<style>
#dify-chatbot-bubble-button {
background-color: #1C64F2 !important;
}
#dify-chatbot-bubble-window {
width: 24rem !important;
height: 40rem !important;
}
</style>
以上便是所有内容 ,以下是测试效果:

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)