内网没办法直连，只能从官方下载安装包
https://github.com/ollama/ollamahttps://github.com/ollama/ollama

安装参考了
https://www.jb51.net/ai/1027756.htmlhttps://www.jb51.net/ai/1027756.html教程都差不多

--------------------------------------------------------------------------------------------------------------------------------

20260601

因为服务器连不上外网，使用这两种方法曲线安装

一.在win迁移到linux

先在ollama下载模型，然后把下载下来的文件上传到你的服务器

模型是F:\ollama\models\blobs下的sha256-****文件

然后要通过 ollama show <model-name> --modelfile > nihao.mf导出一个配置文件

上传到服务器后要放在相同目录下，一般是/usr/share/ollama/.ollama/models/blobs

然后ollama create <model-name> -f ./nihao.mf生成模型

就可以run起来了，具体的ctx长度也是在那个文件配置（记得修改里面的from目录）

https://zhuanlan.zhihu.com/p/21135753631https://zhuanlan.zhihu.com/p/21135753631

二.在modelscope下载gguf

这个下载下来是gguf文件，和方法一的sha256文件是类似的用法。

有些新模型框架不能加载就是ollama太旧（要更新ollama），而且ollama只能用gguf格式的

下载完模型后需要ModelFIle

https://modelscope.cn/models/unsloth/Qwen3.6-35B-A3B-GGUF/feedbackhttps://modelscope.cn/models/unsloth/Qwen3.6-35B-A3B-GGUF/feedback在我启动之后发现模型胡言乱语，就参考了大佬的配置
 

需要在ModelFile中写入两个非标参数：
RENDERER qwen3.5
PARSER qwen3.5
完整的ModelFile示例：
FROM Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf
TEMPLATE {{ .Prompt }}
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER temperature 1
PARAMETER top_k 20
PARAMETER top_p 0.95
PARAMETER min_p 0
PARAMETER presence_penalty 1.5
PARAMETER repeat_penalty 1

然后就能跑起来了

--------------------------------------------------------------------------------------------------------------------------------
小白做备忘记录使用