本地部署qwen3

1.1、安装ollma

# 通过官网下载安装（推荐）：
# 访问 https://ollama.ai/ 下载 macOS 版，拖入 Applications 文件夹。

# 或使用 Homebrew 安装（需提前安装 Homebrew）：
brew install ollama

1.2拉取 Qwen3 小模型

# 示例：拉取 Qwen2 的 1.8B 小模型（兼容性较好）
ollama pull qwen2:1.8b

# 如果已有第三方提供的 Qwen3 模型（如 qwen3:0.5b），直接拉取：
ollama pull <模型名称>

• 查看可用模型列表：访问 Ollama 模型库 搜索 qwen。

运行模型

# 运行模型交互式对话
ollama run qwen2:1.8b

# 或指定 qwen3 模型（如果已存在）
ollama run qwen3:0.5b

1.4.、运行测试

# 启动ollama
ollama serve

# 后台启动，不建议该启动方式
ollama serve &

# 测试运行
在浏览器访问 http://localhost:11434，正常应返回 Ollama is running
# 调试API
curl -v POST http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen:1.7b", "messages": [{"role": "user", "content": "你好"}]}'

# OpenAI库调用
base_url='http://localhost:11434/v1'
api_key='ollama' # 随便一串字符串即可

1.5、代码调试

import os
from openai import OpenAI
from dotenv import load_dotenv
from pathlib import Path
env_path = Path(__file__).parent / ".env"


load_dotenv(env_path)

client = OpenAI(
    # api_key=os.getenv('DASHSCOPE_API_KEY'),
    api_key='ollama',
    base_url=os.getenv('OLLAMA_URL')
)

compiletion = client.chat.completions.create(
    # model="qwen-plus",
    model=os.getenv('OLLAMA_MODEL'),
    messages=[
        {"role": "system", "content": "You are a helpful assistant"},
        {"role": "user", "content": "你是谁"}
    ],
    stream=True,
    stream_options={"include_usage": True}
)

for chunck in compiletion:
    if chunck.choices:
        print(chunck.choices[0].delta.content)

2.本地部署dify

2.1、本地部署dify

# 使用 Docker 快速部署（需提前安装 Docker）
git clone https://github.com/langgenius/dify.git
cd dify/docker  # 主要判断docker-compose.yml在哪个目录下
# 启动docker后执行
# 判断docker是否启动  docker info
# docker 一些国内的镜像源"https://docker.1ms.run", "https://docker.xuanyuan.me"
docker-compose up -d

2.2、绑定本地模型

# 访问 http://localhost:80 初始配置：
# 1. 模型设置 → 选择 "Ollama" → 填写 API URL: http://host.docker.internal:11434
# 2. 知识库 → 上传文档 → 创建应用

2.2、报错解决

• 2.2.1、容器一直重启

  # 1.查看日志
  docker logs -f docker_api_1
  # 2.如果报错线程创建权限问题
  services:
    your_service:
      security_opt:
        - seccomp:unconfined  # 禁用 seccomp 过滤
      cap_add:
        - SYS_NICE            # 允许进程调整优先级
        - SYS_RESOURCE        # 允许修改资源限制
      ulimits:
        nproc: 65535          # 提高进程数限制
  # 然后重启容器
  docker-compose down  # 删除容器和卷
  docker system prune -a  # 清理所有未使用的镜像和缓存,可以不执行
  docker-compose up -d
  

• 2.2.2、安装ollama插件报错

  # 查看日志 docker logs docker_plugin_daemon_1 报错还是权限问题，依然使用上面方法解决
  services:
    your_service:
      security_opt:
        - seccomp:unconfined  # 禁用 seccomp 过滤
      cap_add:
        - SYS_NICE            # 允许进程调整优先级
        - SYS_RESOURCE        # 允许修改资源限制
      ulimits:
        nproc: 65535          # 提高进程数限制