很久没有更新文章了,最近正好需要研究一些机器学习的东西,打算研究一下

  • dify
  • Ollama

以下是基于FN 的dify本地化部署,当然这也可能是全网唯一的飞牛部署dify手册

部署

官方手册:https://docs.dify.ai/en/getting-started/install-self-hosted/docker-compose
采用docker-compose方式部署

  1. 确保FN启动22端口(系统设置-SSH-右侧蓝色开启)
  2. 根据官方网站https://docs.dify.ai/en/getting-started/install-self-hosted/docker-compose,docker compose up -d 启动容器,新手遇到权限不足的报错,记得在docker 前加sudo
  3. 根据doc访问,http://localhost/install

Tips:FN会默认占用80 443,在开始前可以(系统设置-安全性-端口设置-高级设置中取消80 443的重定向)

  1. FN 应用商店 Ollama下载

  2. dify 设置 模型供应商添加Ollama,模型类型LLM, 模型名称:DeepSeek-R1-Distill-Qwen-1.5B(Ollma 设置-模型),基础URL http://192.168.xx.xx:11435(切记不要使用127与localhost)

  3. 开始使用

Tips:有一些其他途径(如SSH部署或者docker部署,这里有一些连接问题的r&q https://docs.dify.ai/en/development/models-integration/ollama#faq

默认deepseek的模型还是太大了,换了阿里的qwen:0.5b

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐