1. ollama格式:速度快,体积小(因为做了压缩和量化的处理)

2. hugging face格式:安全性更高,更方便微调,速度慢,体积大

ollama run qwen2.5:0.5b  既是运行也是下载,(如果没有模型没有下载,先下载后运行;如果下载了就直接运行)

安装注意事项:

ollama默认安装地址是C盘,无法更改 (默认安装路径通常是:C:\Users\[用户名]\AppData\Local\Programs\Ollama\)


1. 安装 Ollama 

访问 Ollama 官网下载安装:        (这里 macOS, Linux, and Windows都适用)

标题

  • 安装后验证

安装完成后,在命令提示符中输入 

ollama --version

显示这个就表示安装成功

如果安装成功,就可以运行你的命令:

下载模型:

启动cmd进入终端,输入  

ollama run qwen2.5:0.5b

 就会把ollama云端上的模型自动的拉取到本地

下载小技巧:一开始的速度是非常快的,随着下载推进,ollama会降网速,可以按CTRL+C停止下载,重新运行下载指令,重新激活它的这个下载速度

 下载完成后:

后面就可以输入对话和他聊天或者咨询

 输入如下  可以退出对话!

/bye

ollama list: 显示所有安装模型的版本

 ollama rm 模型名称: 删除指定模型 

ollama serve:启动ollama模型

 启动后在浏览器上输入:127.0.0.1:11434  (ollama默认端口是11434)  (但是并不启动特定的某一个模型)


ollama接口调用 

自动化运行,可以用python安装ollam (需要安装过python)

输入

pip install ollama

 安装好后 需要确定ollama服务已经启动状态(ollama serve要处于正常运行的状态)

...未完待续

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐