整个流程概览:

  1. 从 Hugging Face 找到并下载 Deepseek 1.5B 系列模型的 GGUF 文件(.gguf 扩展名)。
  2. 确认 Ollama 已安装并运行。
  3. 创建一个 Modelfile 文件,告诉 Ollama 你的 GGUF 文件在哪里。
  4. 使用 ollama create 命令,基于 Modelfile 在 Ollama 中注册这个模型。
  5. 使用 ollama run 命令运行你在 Ollama 中注册的新模型。

前提条件:

  1. Ollama 已在 Windows 系统上成功安装并运行。 (如果未安装,请参考之前的《Ollama 详细安装与使用指南》)
  2. Windows 10 或 11 系统。
  3. 稳定的网络连接,用于下载 GGUF 模型文件。
  4. 足够的磁盘空间,用于存放下载的 GGUF 模型文件和 Ollama 本身。 1.5B GGUF 文件大小通常在 1-3GB 左右。
  5. 足够的 RAM 和(如果可能)显卡显存。 即使是 1.5B 模型,硬件资源仍然影响运行流畅度。建议 8GB RAM,16GB+ 更佳。有支持 CUDA 的独立显卡会大大加快推理速度。
  6. 了解如何在 Windows 文件资源管理器中查看文件路径。
  7. 会使用基本的文本编辑器(如记事本、VS Code 等)。

详细步骤:

步骤 1:从 Hugging Face 下载 Deepseek 1.5B 系列模型的 GGUF 文件

这是获取模型文件的关键步骤。我们需要找到社区转换好的 GGUF 格式文件。

  1. 访问 Hugging Face 网站: 打开你的浏览器,前往 https://huggingface.co/
  2. 搜索 Deepseek 1.5B 模型: 在页面顶部的搜索框中输入与 Deepseek 1.5B 系列相关的模型名称和关键词,例如:
    • Deepseek-Coder-1.3B-instruct GGUF (这是一个常用的、参数量接近 1.5B 的 Deepseek 编码模型)
    • Deepseek-V2-1.5B GGUF (如果社区已将其转换为 GGUF)
    • 你也可以只搜索 Deepseek GGUF,然后在结果中查找参数量为 1.5B 或 1.3B instruct 的模型。
  3. 找到包含 GGUF 文件的模型仓库: 浏览搜索结果,找到由社区用户(通常是模型转换者,如 TheBloke 是非常活跃的贡献者)提供的模型仓库。点击进入该仓库页面。
  4. 导航到文件列表: 在模型仓库页面中,找到并点击 “Files” 或 “Files and versions” 选项卡。
  5. 识别并下载 .gguf 文件: 在文件列表中,查找文件扩展名为 .gguf 的文件。你可能会看到多个 .gguf 文件,名称中通常包含模型的参数量(如 1.3B, 1.5B)和量化程度(如 Q4_K_M, Q5_K_M, Q8_0 等)。
    • 选择合适的量化版本: Q4_K_M 是一个常用的、相对较小的量化版本,适合大多数资源有限的电脑;Q5_K_M 提供更好的平衡;Q8_0 文件最大,精度最高,需要的资源也最多。选择一个适合你电脑硬件的版本。
    • 下载文件: 点击选中的 .gguf 文件名,进入文件详情页,然后点击下载按钮(通常是文件大小旁边的小下载图标)。
  6. 记下文件路径: 模型文件下载完成后,务必记下该文件在你的 Windows 电脑上保存的完整路径。例如:C:\Users\YourUsername\Downloads\deepseek-coder-1.3b-instruct.Q4_K_M.gguf (请将 YourUsername 替换为你实际的 Windows 用户名,并确认文件名是否一致)。稍后创建 Modelfile 时需要用到这个精确路径。

步骤 2:确认 Ollama 已安装并运行

在继续之前,快速确认 Ollama 服务正在运行。

  1. 打开命令提示符或 PowerShell。
  2. 运行命令 ollama list。如果命令成功执行(即使列表是空的),说明 Ollama 服务正在运行。如果命令无法识别或报错,请参考之前的指南重新安装或启动 Ollama 服务。

步骤 3:创建一个 Ollama Modelfile

Modelfile 是一个简单的文本文件,用来定义模型及其行为。在这里,我们用它来指定本地的 GGUF 文件作为模型的来源。

  1. 打开一个文本编辑器: 例如记事本、VS Code、Notepad++ 等。

  2. 创建 Modelfile 内容: 在编辑器中输入以下内容:

    代码段

    FROM C:\Users\YourUsername\Downloads\your_deepseek_1.5b_model.gguf
    

    重要:

    • C:\Users\YourUsername\Downloads\your_deepseek_1.5b_model.gguf 替换为你实际下载的 .gguf 文件在步骤 1 中记录的完整路径和文件名。请确保路径是正确的,包括盘符。
    • Windows 路径中使用反斜杠 \,但在 Modelfile 中,使用正斜杠 / 或双反斜杠 \\ 是更安全的做法,尽管单个反斜杠通常也有效。稳妥起见,建议使用正斜杠 / 或双反斜杠 \\。 例如:FROM C:/Users/YourUsername/Downloads/your_deepseek_1.5b_model.ggufFROM C:\\Users\\YourUsername\\Downloads\\your_deepseek_1.5b_model.gguf
    • (可选)添加模型参数: 对于 Deepseek 模型,特别是 instruct(指令遵循)版本,通常需要定义停止序列(Stop Sequences),这些是模型在生成文本时遇到就会停止的特殊标记。你可以根据模型在 Hugging Face 上的说明(通常在模型卡片 Model Card 中有说明)添加这些参数。例如,对于 Deepseek Coder Instruct,常见的停止标记可能包括 <|endoftext|>, <<, >> 等。

    Modelfile 示例(包含停止参数):

    代码段

    FROM C:/Users/YourUsername/Downloads/deepseek-coder-1.3b-instruct.Q4_K_M.gguf # <-- 替换为你的实际路径
    
    # 以下参数示例适用于 Deepseek Coder Instruct,请根据你的模型实际情况调整
    PARAMETER stop "<|endoftext|>"
    PARAMETER stop "<<"
    PARAMETER stop ">>"
    PARAMETER stop "<|file_separator|>" # 用于编码模型的特殊标记
    PARAMETER stop "<|fim_middle|>"
    PARAMETER stop "<|fim_suffix|>"
    PARAMETER stop "<|fim_prefix|>"
    
    # 如果是其他类型的 Deepseek 1.5B 模型,停止标记可能不同或没有
    # 如果不确定,可以先不加这些参数,运行后根据模型行为再调整
    
  3. 保存 Modelfile: 将文件保存到一个你知道的位置,文件名可以任意取,但建议使用有意义的名称并加上 .Modelfile 扩展名,例如 my-deepseek-1.5b.Modelfile。记住文件保存的目录路径。

步骤 4:使用 ollama create 命令在 Ollama 中注册模型

打开命令提示符或 PowerShell。

  1. 切换到 Modelfile 所在的目录: 使用 cd 命令切换到你保存 .Modelfile 文件的目录。

    • 示例: 如果你保存在下载文件夹: Bash

      cd C:\Users\YourUsername\Downloads # 替换为你的实际路径
      
  2. 使用 ollama create 命令注册模型: 输入以下命令,并按回车键:

    Bash

    ollama create my-deepseek-1.5b -f my-deepseek-1.5b.Modelfile
    
    • my-deepseek-1.5b:这是你给这个模型在 Ollama 中注册的 新名称。你可以取任何你喜欢的名字,以后运行模型就使用这个名字。
    • -f my-deepseek-1.5b.Modelfile:指定用于创建模型的 Modelfile 文件。请确保这里的 Modelfile 文件名和你保存的一致。
  3. 等待创建完成: Ollama 会读取 Modelfile,验证 GGUF 文件路径,并在其内部注册这个模型。这个过程通常很快。如果成功,会显示 success

    # 示例输出:
    success
    

    如果报错,请仔细检查 Modelfile 中的 GGUF 文件路径是否正确,或者 Modelfile 语法是否有误。

  4. 确认模型已注册(可选): 运行 ollama list 命令,你应该能在列表中看到你刚刚注册的新模型名称(例如 my-deepseek-1.5b)。

    Bash

    ollama list
    

步骤 5:使用 ollama run 命令运行本地注册的 Deepseek 1.5B 模型

现在,你就可以像运行从 Ollama 库拉取的模型一样,运行你刚刚从本地 GGUF 文件注册的模型了。

  1. 输入运行命令: 在命令提示符或 PowerShell 中,输入以下命令:

    Bash

    ollama run my-deepseek-1.5b # 替换为你自己在步骤 4 中设置的模型名称
    
  2. 等待模型加载并开始交互: Ollama 会加载你通过 Modelfile 指定的 GGUF 文件。加载完成后,会显示 >>> 提示符。现在,你就可以开始与 Deepseek 1.5B 模型进行对话或提交代码相关的 Prompt 了。

  3. 退出交互: 输入 /bye 或按下 Ctrl + D

注意事项与故障排除

  • GGUF 文件不能删除或移动: 一旦你使用 Modelfile 创建了模型,Ollama 会直接引用 Modelfile 中指定的那个 GGUF 文件。如果你删除、移动或重命名了 .gguf 文件,Ollama 将无法加载模型。如果需要移动 .gguf 文件,需要更新你的 .Modelfile 中的路径,并重新运行 ollama create 命令(使用相同的模型名称,这会更新模型配置)。
  • 路径错误: 这是最常见的错误。仔细检查 Modelfile 中 FROM 后面的路径是否完整且正确指向 .gguf 文件。建议使用文件资源管理器复制文件的完整路径。
  • 硬件不足: 如果模型加载失败或运行极其缓慢,可能是你的电脑硬件(特别是 RAM 和 VRAM)不足以支持所选的量化版本的 1.5B 模型。尝试下载一个量化程度更低(文件更小)的 GGUF 版本,更新 Modelfile,并重新 ollama createollama run
  • Modelfile 语法错误: 如果 ollama create 报错,检查 Modelfile 的内容是否符合 Dockerfile 格式,特别是 FROM 关键字和文件路径。
  • 模型名称冲突: 如果你尝试创建的模型名称已经存在于你的 Ollama 列表中,ollama create 可能会失败或覆盖原有的模型。如果需要覆盖,确保你知道后果;如果不想覆盖,换一个新名称。
  • 性能优化参数: Modelfile 支持更多参数来优化模型加载和运行时的行为(例如 num_gpu 控制使用多少 GPU 层)。这些参数可以根据你的硬件和模型特性进行调整,但通常基础的 FROMPARAMETER stop 已经足够运行。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐