背景需求:博主希望在同一台主机上部署Dify+Ollama+Deepseek和AI绘图ComfyUI,在编写Dify文生图工作流中,Deepseek生成文本后立刻执行AI绘图。此时Ollama并未卸载Deepseek模型,内存和显存依旧有占用,这会影响AI绘图速度,所以通过HTTP请求的方式联系Ollama卸载模型

具体实现:

1.请求地址:http://Ollama地址:端口/api/generate

因为博主的Dify是在docker容器中运行,所以Ollama地址要用host.docker.internal

2.请求方式:POST

3.请求体:JSON

{"model": "deepseek-r1:8b", "keep_alive": 0}

model:目标模型名称

keep_alive:0立即卸载,-1永不卸载

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐