一、ollama是什么?

Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。根据现有信息,Ollama 的开发公司是 LlamaFactory。LlamaFactory 提供了全面的开发资源,助力开发者创新和集成大型语言模型。

二、ollama安装及常用环境变量

ollama支持window、mac、Linux三种操作系统的安装,安装方式与其他软件无差别,简单易用。接下来重点介绍相关参数的功能。

1、OLLAMA_MODELS:模型文件存放目录,默认目录为当前用户目录。特别是window系统默认安装在C盘,对于很多用户来说不是太友好,建议修改。

三类系统模型默认存放路径:
Windows 目录:C:\Users\username\.ollama\models
MacOS 目录:~/.ollama/models
Linux 目录:/usr/share/ollama/.ollama/models

windows系统修改模型存放路径方法:

假设你希望将模型文件保存到 D:\ollama\models,你可以按照以下步骤操作:
1、打开“系统属性”对话框,点击“环境变量”按钮。
2、在“系统变量”部分,点击“新建”按钮。
3、在“变量名”字段中输入 OLLAMA_MODELS,在“变量值”字段中输入 D:\ollama\models。
4、点击“确定”按钮保存设置。

注:其他环境变量的使用方法相同

2、OLLAMA_HOST:Ollama 服务监听的网络地址,默认为127.0.0.1,如果允许其他电脑访问 Ollama(如:局域网中的其他电脑),建议设置0.0.0.0,从而允许其他网络访问

3、OLLAMA_PORT:Ollama 服务监听的默认端口,默认为11434,如果端口有冲突,可以修改设置成其他端口(如:8080等)

4、OLLAMA_ORIGINS:HTTP 客户端请求来源,半角逗号分隔列表,若本地使用无严格要求,可以设置成星号,代表不受限制

5、OLLAMA_KEEP_ALIVE:大模型加载到内存中后的存活时间,默认为5m即 5 分钟(如:纯数字如 300 代表 300 秒,0 代表处理请求响应后立即卸载模型,任何负数则表示一直存活);我们可设置成24h,即模型在内存中保持 24 小时,提高访问速度

6、OLLAMA_NUM_PARALLEL:请求处理并发数量,默认为1,即单并发串行处理请求,可根据实际情况进行调整

7、OLLAMA_MAX_QUEUE:请求队列长度,默认值为512,可以根据情况设置,超过队列长度请求被抛弃

8、OLLAMA_DEBUG:输出 Debug 日志标识,应用研发阶段可以设置成1,即输出详细日志信息,便于排查问题

9、OLLAMA_MAX_LOADED_MODELS:最多同时加载到内存中模型的数量,默认为1,即只能有 1 个模型在内存中

三、Ollama常用命令

在命令行中直接输入ollama,就可以看到ollama支持的命令。中文翻译如下:

## 使用方法:
  `ollama [标志]`  
  `ollama [命令]`

## 可用命令:
  `serve`       启动 ollama  
  `create`      从 Modelfile 创建一个模型  
  `show`        显示模型信息  
  `run`         运行一个模型  
  `stop`        停止一个正在运行的模型  
  `pull`        从注册表中拉取一个模型  
  `push`        将模型推送到注册表  
  `list`        列出模型  
  `ps`          列出正在运行的模型  
  `cp`          复制一个模型  
  `rm`          删除一个模型  
  `help`        关于任何命令的帮助

## 标志:
  `-h, --help`      ollama 的帮助  
  `-v, --version`   显示版本信息

## 获取帮助
使用 `ollama [命令] --help` 获取更多关于某个命令的信息。

以下展示几个常用命令。

1、ollama list --展示本地模型列表

>ollama list
NAME                ID              SIZE      MODIFIED
deepseek-r1:7b      0a8c26691023    4.7 GB    2 days ago
deepseek-r1:8b      28f8fd6cdc67    4.9 GB    2 days ago
deepseek-r1:1.5b    a42b25d8c10a    1.1 GB    3 days ago
gemma2:9b           ff02c3702f32    5.4 GB    3 months ago
gemma2:2b           8ccf136fdd52    1.6 GB    5 months ago

2、ollama run 模型名称 --运行本地大模型

3、ollama rm 模型名称 --删除单个本地模型

4、ollama ps --查看本地模型运行情况

四、模型信息查询

在进入模型运行界面后输入 /?

## 可用命令:
  `/set`            设置会话变量
  `/show`           显示模型信息
  `/load <model>`   加载会话或模型
  `/save <model>`   保存当前会话
  `/clear`          清除会话上下文
  `/bye`            退出
  `/?, /help`       命令帮助
  `/? shortcuts`    键盘快捷键帮助

使用 `"""` 开始多行消息。

按照命令输入后会进入该命令的具体使用场景说明,以使用/show命令为例

在这里我们就可以看到关于这款模型的相关信息。

模型
- 架构: qwen2
- 参数: 1.8B
- 上下文长度: 131072
- 嵌入长度: 1536
- 量化: Q4_K_M

以上就是ollama的一些常用知识,希望对大家的使用有帮助。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐