在 Windows 上使用 Ollama 运行 Deepseek 1.5B 系列模型
ggufollama run这是获取模型文件的关键步骤。我们需要找到社区转换好的 GGUF 格式文件。TheBloke.gguf1.3B1.5BQ4_K_MQ5_K_MQ8_0.gguf在继续之前,快速确认 Ollama 服务正在运行。Modelfile 是一个简单的文本文件,用来定义模型及其行为。在这里,我们用它来指定本地的 GGUF 文件作为模型的来源。例如记事本、VS Code、Notepa
整个流程概览:
- 从 Hugging Face 找到并下载 Deepseek 1.5B 系列模型的 GGUF 文件(
.gguf扩展名)。 - 确认 Ollama 已安装并运行。
- 创建一个 Modelfile 文件,告诉 Ollama 你的 GGUF 文件在哪里。
- 使用
ollama create命令,基于 Modelfile 在 Ollama 中注册这个模型。 - 使用
ollama run命令运行你在 Ollama 中注册的新模型。
前提条件:
- Ollama 已在 Windows 系统上成功安装并运行。 (如果未安装,请参考之前的《Ollama 详细安装与使用指南》)
- Windows 10 或 11 系统。
- 稳定的网络连接,用于下载 GGUF 模型文件。
- 足够的磁盘空间,用于存放下载的 GGUF 模型文件和 Ollama 本身。 1.5B GGUF 文件大小通常在 1-3GB 左右。
- 足够的 RAM 和(如果可能)显卡显存。 即使是 1.5B 模型,硬件资源仍然影响运行流畅度。建议 8GB RAM,16GB+ 更佳。有支持 CUDA 的独立显卡会大大加快推理速度。
- 了解如何在 Windows 文件资源管理器中查看文件路径。
- 会使用基本的文本编辑器(如记事本、VS Code 等)。
详细步骤:
步骤 1:从 Hugging Face 下载 Deepseek 1.5B 系列模型的 GGUF 文件
这是获取模型文件的关键步骤。我们需要找到社区转换好的 GGUF 格式文件。
- 访问 Hugging Face 网站: 打开你的浏览器,前往
https://huggingface.co/。 - 搜索 Deepseek 1.5B 模型: 在页面顶部的搜索框中输入与 Deepseek 1.5B 系列相关的模型名称和关键词,例如:
Deepseek-Coder-1.3B-instruct GGUF(这是一个常用的、参数量接近 1.5B 的 Deepseek 编码模型)Deepseek-V2-1.5B GGUF(如果社区已将其转换为 GGUF)- 你也可以只搜索
Deepseek GGUF,然后在结果中查找参数量为 1.5B 或 1.3B instruct 的模型。
- 找到包含 GGUF 文件的模型仓库: 浏览搜索结果,找到由社区用户(通常是模型转换者,如
TheBloke是非常活跃的贡献者)提供的模型仓库。点击进入该仓库页面。 - 导航到文件列表: 在模型仓库页面中,找到并点击 “Files” 或 “Files and versions” 选项卡。
- 识别并下载 .gguf 文件: 在文件列表中,查找文件扩展名为
.gguf的文件。你可能会看到多个.gguf文件,名称中通常包含模型的参数量(如1.3B,1.5B)和量化程度(如Q4_K_M,Q5_K_M,Q8_0等)。- 选择合适的量化版本: Q4_K_M 是一个常用的、相对较小的量化版本,适合大多数资源有限的电脑;Q5_K_M 提供更好的平衡;Q8_0 文件最大,精度最高,需要的资源也最多。选择一个适合你电脑硬件的版本。
- 下载文件: 点击选中的
.gguf文件名,进入文件详情页,然后点击下载按钮(通常是文件大小旁边的小下载图标)。
- 记下文件路径: 模型文件下载完成后,务必记下该文件在你的 Windows 电脑上保存的完整路径。例如:
C:\Users\YourUsername\Downloads\deepseek-coder-1.3b-instruct.Q4_K_M.gguf(请将YourUsername替换为你实际的 Windows 用户名,并确认文件名是否一致)。稍后创建 Modelfile 时需要用到这个精确路径。
步骤 2:确认 Ollama 已安装并运行
在继续之前,快速确认 Ollama 服务正在运行。
- 打开命令提示符或 PowerShell。
- 运行命令
ollama list。如果命令成功执行(即使列表是空的),说明 Ollama 服务正在运行。如果命令无法识别或报错,请参考之前的指南重新安装或启动 Ollama 服务。
步骤 3:创建一个 Ollama Modelfile
Modelfile 是一个简单的文本文件,用来定义模型及其行为。在这里,我们用它来指定本地的 GGUF 文件作为模型的来源。
-
打开一个文本编辑器: 例如记事本、VS Code、Notepad++ 等。
-
创建 Modelfile 内容: 在编辑器中输入以下内容:
代码段FROM C:\Users\YourUsername\Downloads\your_deepseek_1.5b_model.gguf重要:
- 将
C:\Users\YourUsername\Downloads\your_deepseek_1.5b_model.gguf替换为你实际下载的 .gguf 文件在步骤 1 中记录的完整路径和文件名。请确保路径是正确的,包括盘符。 - Windows 路径中使用反斜杠
\,但在 Modelfile 中,使用正斜杠/或双反斜杠\\是更安全的做法,尽管单个反斜杠通常也有效。稳妥起见,建议使用正斜杠/或双反斜杠\\。 例如:FROM C:/Users/YourUsername/Downloads/your_deepseek_1.5b_model.gguf或FROM C:\\Users\\YourUsername\\Downloads\\your_deepseek_1.5b_model.gguf。 - (可选)添加模型参数: 对于 Deepseek 模型,特别是 instruct(指令遵循)版本,通常需要定义停止序列(Stop Sequences),这些是模型在生成文本时遇到就会停止的特殊标记。你可以根据模型在 Hugging Face 上的说明(通常在模型卡片 Model Card 中有说明)添加这些参数。例如,对于 Deepseek Coder Instruct,常见的停止标记可能包括
<|endoftext|>,<<,>>等。
Modelfile 示例(包含停止参数):
代码段FROM C:/Users/YourUsername/Downloads/deepseek-coder-1.3b-instruct.Q4_K_M.gguf # <-- 替换为你的实际路径 # 以下参数示例适用于 Deepseek Coder Instruct,请根据你的模型实际情况调整 PARAMETER stop "<|endoftext|>" PARAMETER stop "<<" PARAMETER stop ">>" PARAMETER stop "<|file_separator|>" # 用于编码模型的特殊标记 PARAMETER stop "<|fim_middle|>" PARAMETER stop "<|fim_suffix|>" PARAMETER stop "<|fim_prefix|>" # 如果是其他类型的 Deepseek 1.5B 模型,停止标记可能不同或没有 # 如果不确定,可以先不加这些参数,运行后根据模型行为再调整 - 将
-
保存 Modelfile: 将文件保存到一个你知道的位置,文件名可以任意取,但建议使用有意义的名称并加上
.Modelfile扩展名,例如my-deepseek-1.5b.Modelfile。记住文件保存的目录路径。
步骤 4:使用 ollama create 命令在 Ollama 中注册模型
打开命令提示符或 PowerShell。
-
切换到 Modelfile 所在的目录: 使用
cd命令切换到你保存.Modelfile文件的目录。- 示例: 如果你保存在下载文件夹: Bash
cd C:\Users\YourUsername\Downloads # 替换为你的实际路径
- 示例: 如果你保存在下载文件夹: Bash
-
使用
Bashollama create命令注册模型: 输入以下命令,并按回车键:ollama create my-deepseek-1.5b -f my-deepseek-1.5b.Modelfilemy-deepseek-1.5b:这是你给这个模型在 Ollama 中注册的 新名称。你可以取任何你喜欢的名字,以后运行模型就使用这个名字。-f my-deepseek-1.5b.Modelfile:指定用于创建模型的 Modelfile 文件。请确保这里的 Modelfile 文件名和你保存的一致。
-
等待创建完成: Ollama 会读取 Modelfile,验证 GGUF 文件路径,并在其内部注册这个模型。这个过程通常很快。如果成功,会显示
success。# 示例输出: success如果报错,请仔细检查 Modelfile 中的 GGUF 文件路径是否正确,或者 Modelfile 语法是否有误。
-
确认模型已注册(可选): 运行
Bashollama list命令,你应该能在列表中看到你刚刚注册的新模型名称(例如my-deepseek-1.5b)。ollama list
步骤 5:使用 ollama run 命令运行本地注册的 Deepseek 1.5B 模型
现在,你就可以像运行从 Ollama 库拉取的模型一样,运行你刚刚从本地 GGUF 文件注册的模型了。
-
输入运行命令: 在命令提示符或 PowerShell 中,输入以下命令:
Bashollama run my-deepseek-1.5b # 替换为你自己在步骤 4 中设置的模型名称 -
等待模型加载并开始交互: Ollama 会加载你通过 Modelfile 指定的 GGUF 文件。加载完成后,会显示
>>>提示符。现在,你就可以开始与 Deepseek 1.5B 模型进行对话或提交代码相关的 Prompt 了。 -
退出交互: 输入
/bye或按下Ctrl + D。
注意事项与故障排除
- GGUF 文件不能删除或移动: 一旦你使用 Modelfile 创建了模型,Ollama 会直接引用 Modelfile 中指定的那个 GGUF 文件。如果你删除、移动或重命名了
.gguf文件,Ollama 将无法加载模型。如果需要移动.gguf文件,需要更新你的.Modelfile中的路径,并重新运行ollama create命令(使用相同的模型名称,这会更新模型配置)。 - 路径错误: 这是最常见的错误。仔细检查 Modelfile 中
FROM后面的路径是否完整且正确指向.gguf文件。建议使用文件资源管理器复制文件的完整路径。 - 硬件不足: 如果模型加载失败或运行极其缓慢,可能是你的电脑硬件(特别是 RAM 和 VRAM)不足以支持所选的量化版本的 1.5B 模型。尝试下载一个量化程度更低(文件更小)的 GGUF 版本,更新 Modelfile,并重新
ollama create和ollama run。 - Modelfile 语法错误: 如果
ollama create报错,检查 Modelfile 的内容是否符合 Dockerfile 格式,特别是FROM关键字和文件路径。 - 模型名称冲突: 如果你尝试创建的模型名称已经存在于你的 Ollama 列表中,
ollama create可能会失败或覆盖原有的模型。如果需要覆盖,确保你知道后果;如果不想覆盖,换一个新名称。 - 性能优化参数: Modelfile 支持更多参数来优化模型加载和运行时的行为(例如
num_gpu控制使用多少 GPU 层)。这些参数可以根据你的硬件和模型特性进行调整,但通常基础的FROM和PARAMETER stop已经足够运行。
更多推荐
所有评论(0)