准备GGUF文件

下载通义千问0.5B的GGUF文件：

wget https://modelscope.cn/models/Qwen/Qwen2.5-0.5B-Instruct-GGUF/resolve/master/qwen2.5-0.5b-instruct-q4_k_m.gguf -O /models/qwen2.5-0.5b-instruct-q4_k_m.gguf

查看已有模型

查看所有已下载的模型：

ollama list

示例输出：

NAME                 ID              SIZE      MODIFIED     
qwen0.5B4k:latest    c3d1ee501313    491 MB    2 hours ago     
qwen:0.5b            5528c25b93ab    1.3 GB    16 hours ago

查看Modelfile内容

查看已有Modelfile文件内容：

ollama show qwen0.5B4k --modelfile

示例输出：

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM qwen0.5B4k:latest
FROM /usr/share/ollama/.ollama/models/blobs/sha256-74a4da8c9fdbcd15bd1f6d01d621410d31c6fc00986f5eb687824e7b93d7a9db
TEMPLATE "{{ if .System }}<|im_start|>system{{ .System }}<|im_end|>{{ end }}<|im_start|>user{{ .Prompt }}<|im_end|><|im_start|>assistant"
PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

修改Modelfile

创建新的Modelfile文件qwen0.5b.mf，内容如下：

FROM /software/models/qwen2.5-0.5b-instruct-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|im_start|>system{{ .System }}<|im_end|>{{ end }}<|im_start|>user{{ .Prompt }}<|im_end|><|im_start|>assistant"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"

加载模型

执行加载命令：

ollama create qwen0.5b -f qwen0.5b.mf

验证加载结果

验证模型是否成功加载：

ollama list