解决Dify与LLM连接失败问题
Dify 网页中模型配置不上问题
现在就是以 ollama 大模型为例
在 dify 网页中一直显示,已经保存了修改,然后你点击那个已经添加的模型,结果显示没有任何模型添加。可能原因就是模型ollama 和 dify 没有在联通导致数据连接不进去。
解决方法就是重装ollama,
创建工作目录和 Docker 网络
# 在宿主机家目录下新建一个专门存放 Ollama 配置和数据的文件夹
mkdir ~/docker-ollama && cd ~/docker-ollama
kdir ~/docker-ollama`:在当前用户的家目录(`~`)下创建文件夹 `docker-ollama`。
# 创建一个自定义 Docker 网络,名字叫 ollama-net
docker network create ollama-net
docker network create`:新建一个隔离的虚拟网络。
编写 Docker Compose 文件
# 打开(或新建)docker-compose.yml 编辑
nano docker-compose.yml
`nano docker-compose.yml`:使用轻量编辑器 Nano 创建或修改 `docker-compose.yml` 文件。
在打开的编辑器里粘贴:
#注释不要写在文件中啊啊啊啊啊
version: '3.8' # 指定 Compose 文件版本
services:
ollama:
image: ollama/ollama:latest # 官方镜像
container_name: ollama-server # 容器在本机的名字
ports:
- "11434:11434" # 将容器的 11434 端口映射到宿主机的 11434
volumes:
- ./ollama-data:/root/.ollama # 把宿主机 ./ollama-data 目录挂载到容器内的 Ollama 数据目录
networks:
- ollama-net # 加入前面创建的私有网络
environment:
OLLAMA_HOST: 0.0.0.0 # 环境变量,让 Ollama 监听所有网卡
OLLAMA_MODELS_MIRROR: "https://mirror.ghproxy.com/" # 模型镜像加速
networks:
ollama-net: # 在同一个文件里声明网络
driver: bridge # 默认桥接模式
注释不要写在yaml 文件中可能有影响,可以叫deepseak 吧注释去除。
启动 Ollama 服务
docker compose up -d
在容器内下载模型并测试
进入 Ollama 容器
docker exec -it ollama-server sh
下载指定模型
ollama pull llava
`ollama pull <模型名>`:告诉 Ollama 下载并缓存指定模型文件(`llava` 是多模态 LLaVA 模型),放到 `/root/.ollama/models` 下。
退出容器
exit
验证服务是否可用
检查容器状态
docker ps
显示所有后台运行的容器,确认 `ollama-server` 状态为 `Up`,并且端口 11434 已映射。
测试 API 接口
curl http://localhost:11434/api/tags
正常返回 JSON,包含 `llava:latest` 等信息
Dify 与 Ollama 互联(可选)
让 Dify 加入同一个网络
在 Dify 的 `docker-compose.yml` 中对应服务下添加:
networks:
- ollama-net
并在文件末尾声明:
networks:
ollama-net:
external: true
然后重启 Dify:
**基础 URL**:`http://ollama-server:11434`
- **模型名称**:`llava`(或精确写 `llava:latest`)
- **支持 Vision**:是

这样,Dify 容器就能通过 Docker 网络直连 `ollama-server`,无需再敲 IP,整个流程在容器内隔离、清晰、安全、可复现。
最终架构图
宿主机 (172.16.0.77)
├─ ~/docker-ollama
│ ├─ docker-compose.yml # Ollama 服务定义
│ └─ ollama-data/ # 模型缓存和配置持久化
└─── Docker 网络:ollama-net
├─ ollama-server (11434) # Ollama 服务容器
└─ dify-web / dify-api # Dify 相关容器,加入同一网络
更多推荐


所有评论(0)