win10部署本地LLM和AI Agent
虚拟机里的程序能访问本机运行的 Ollama 模型RAGFlow 是部署在虚拟机里的,默认情况下,0llama 只能允许本机访问(监听 localhost:11434),其他设备(比如虚拟机)是无法连接的。默认模型下载到 C 盘,配置后可以下载D盘。
1、Docker Desktop
Docker_Desktop_Installer.4.38.0.exeDocker_Desktop_Installer.4.38.0.exeDocker_Desktop_Installer.4.38.0.exe
查看Docker版本:
docker version
docker info

2、安装Dify
git clone https://gitee.com/dify_ai/dify.git
3、运行Dify
3.1 修改Dify的.env配置文件
D:\Hworkspace\dify\difyGitee\docker\.env
3.2 修改国内镜像源

3.3 修改环境变量
C:\Users\hzf28\.docker\daemon.json
3.4 执行命令启动Dify
cd D:\Hworkspace\dify\difyGitee\docker>
docker compose up -d
4、安装Ollama
OllamaSetup0.9.0.exe
http://www.2265.com/soft/542390.html
4.1 验证安装是否成功
ollama --version
4.2 配置环境变量
OLLAMA_HOST=0.0.0.0:11434
虚拟机里的程序能访问本机运行的 Ollama 模型RAGFlow 是部署在虚拟机里的,默认情况下,0llama 只能允许本机访问(监听 localhost:11434),其他设备(比如虚拟机)是无法连接的。
OLLAMA_MODELS:D:\Users\hzf28\AppData\Ollama
默认模型下载到 C 盘,配置后可以下载D盘
4.3 下载大模型
大模型库:https://ollama.com/library
4.4 运行大模型
ollama list
ollama ps
ollama run qwen3:1.7b
4.5.验证大模型

5、运行deepseek-r1:7b
5.1 下载大模型并运行
ollama run deepseek-r1:7b

6、关联Dify和本地大模型
http://127.0.0.1/

https://docs.dify.ai/zh-hans/introduction
6.1 调试
docker compose logs -f
6.1 Dify组件
docker compose up -d
✔ Container docker-web-1 Running 0.0s
✔ Container docker-sandbox-1 Running 0.0s
✔ Container docker-ssrf_proxy-1 Running 0.0s
✔ Container docker-redis-1 Running 0.0s
✔ Container docker-db-1 Running 0.0s
✔ Container docker-weaviate-1 Running 0.0s
✔ Container docker-worker-1 Running 0.0s
✔ Container docker-api-1 Running 0.0s
✔ Container docker-nginx-1 Running
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)