一、Ollama 的概述

Ollama 是一个轻量级的开源工具,它允许用户在本地设备(如个人电脑、服务器等)上快速拉取、管理和运行各种大语言模型。用户通过简单的命令行接口,就可以完成模型的下载、启动和交互,无需复杂的配置和代码编写。本文分享Centos和Windows两种环境下分别安装Ollama并部署DeepSeek大模型的步骤。

分享Ollama官网地址Ollama

我们可以查看他可支持的最新的大模型库清单ollama.com/library 

以下是一些可以下载的模型示例:

Model Parameters Size Download
DeepSeek-R1 7B 4.7GB ollama run deepseek-r1
DeepSeek-R1 671B 404GB ollama run deepseek-r1:671b
Llama 3.3 70B 43GB ollama run llama3.3
Llama 3.2 3B 2.0GB ollama run llama3.2
Llama 3.2 1B 1.3GB ollama run llama3.2:1b
Llama 3.2 Vision 11B 7.9GB ollama run llama3.2-vision
Llama 3.2 Vision 90B 55GB ollama run llama3.2-vision:90b
Llama 3.1 8B 4.7GB ollama run llama3.1
Llama 3.1 405B 231GB ollama run llama3.1:405b
Phi 4 14B 9.1GB ollama run phi4
Phi 4 Mini 3.8B 2.5GB ollama run phi4-mini
Gemma 2 2B 1.6GB ollama run gemma2:2b
Gemma 2 9B 5.5GB ollama run gemma2
Gemma 2 27B 16GB ollama run gemma2:27b
Mistral 7B 4.1GB ollama run mistral
Moondream 2 1.4B 829MB ollama run moondream
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
LLaVA 7B 4.5GB ollama run llava
Solar 10.7B 6.1GB ollama run solar

注意:

运行 70 亿参数规模的模型,你至少需要有 8GB内存;

运行 130 亿参数规模的模型,需要 16GB;

而运行 330 亿参数规模的模型,则需要 32GB。

 

二、CentOS安装Ollama

1. 系统准备

在开始安装之前,需要确保系统已经安装了必要的依赖,并且更新了系统软件包。打开终端,执行以下命令

sudo yum update -y
sudo yum install -y curl

2. 安装 Ollama 

Ollama 可以通过官方提供的安装脚本进行快速安装,执行以下命令: 

curl https://ollama.com/install.sh | sh

受网络影响,这里可能会连接超时,多试几次吧 

在安装过程中,脚本会自动下载 Ollama 的二进制文件,并将其安装到 /usr/local/bin 目录下,同时会创建 Ollama 用户和相关的系统服务。

安装完成后,你可能会看到类似 “WARNING: Unable to detect NVIDIA/AMD GPU. Install lspci or lshw to automatically detect and install GPU dependencies.” 的警告信息,这表示系统未能检测到 GPU。如果你的系统有 GPU 且希望使用它来加速模型运行,可以安装 lspci 或 lshw 工具:

sudo yum install -y pciutils lshw

3. 启动 Ollama 服务

安装完成后,需要启动 Ollama 服务。可以使用以下命令启动服务:

sudo systemctl start ollama
sudo systemctl enable ollama
sudo systemctl status ollama

如果服务正常运行,你会看到类似 “Active: active (running)” 的信息。 

4.拉取 DeepSeek 模型

在 Ollama 服务启动后,你可以使用 ollama pull 命令来拉取 DeepSeek 模型。假设你要拉取 DeepSeek-R1-7B 模型,按照开头所述的示例清单,执行以下命令:

ollama pull DeepSeek-R1

这个过程可能需要一些时间,具体取决于你的网络速度和模型的大小。拉取完成后,你会看到 “success” 的提示信息。

5. 运行 DeepSeek 模型

拉取模型成功后,你可以使用 ollama run 命令来运行模型并进行交互。执行以下命令:

ollama run DeepSeek-R1 "请简单介绍下人工智能"

模型会根据输入的问题生成相应的回答并输出到终端。

6. 可能遇到的问题及解决办法

  • 端口被占用:如果在启动 Ollama 服务时遇到端口被占用的问题,可以使用 sudo lsof -i :11434 或 sudo netstat -tulpn | grep :11434 命令查找占用端口的进程,然后使用 sudo kill -9 <PID> 命令终止该进程,其中 <PID> 是进程的 ID。
  • 网络问题:如果在拉取模型时遇到网络问题,可以检查网络连接是否正常,或者尝试更换网络环境。

 三、Windows安装Ollama

直接从官网下载exe去setup就行了。地址是:Download Ollama on Windows

1.系统要求‌

需 Windows 10 或更高版本‌。
建议预留至少 5GB 硬盘空间(模型体积较大)‌

最低要求:i5 处理器、8GB 内存(可运行 1.5B 参数模型)‌;
更高配置(如 7B 参数模型)需更强大性能‌

2.安装时指定路径

ollama的setup文件默认是装在C盘,未来下载的大模型文件也都是在C盘,所以C盘空间吃紧或强迫症的同学可能希望安装到其他盘去

下载安装包后,到该exe的存放目录,空白处右击-Open In Windows Terminal,在命令行里运行:

.\OllamaSetup.exe /DIR="D:\Ollama" ‌:ml-citation{ref="1,7" data="citationList"}  

 D:\Ollama就是Ollama解压并安装的目录了,安装完成后,Ollama 主程序及默认配置文件将存储于该目录‌ 。

3.验证安装路径

输入 ollama --version,若显示版本号则安装成功‌

4.设置模型存储路径

Ollama的安装目录我们修改了,那么未来还有DeepSeek等大模型要下载呢,都是N多G的空间,也不愿意放C盘呀,所以也修改下吧

‌4.1.添加系统环境变量

  • 打开 ‌系统环境变量设置‌ → ‌新建系统变量‌:
    • ‌变量名‌:OLLAMA_MODELS
    • ‌变量值‌:自定义路径(如 D:\Ollama\models)‌。
  • 重启电脑确保变量生效‌ 

4.2.验证环境变量

  • 在命令行输入 echo %OLLAMA_MODELS%,显示自定义路径即设置成功‌

5.模型迁移与下载

5.1.迁移已有模型(可选)‌


将原默认路径(C:\Users\<用户名>\.ollama\models)中的模型文件剪切至新路径‌。
需手动操作,迁移后通过 ollama list 验证‌。

ollama list 


‌5.2.下载新模型到自定义路径‌


执行命令:

ollama pull DeepSeek-R1

模型将自动存储于 OLLAMA_MODELS 指定目录‌ 

6.运行DeepSeek模型

和Centos/linux下一样的

Microsoft Windows [版本 10.0.22000.2538]
(c) Microsoft Corporation。保留所有权利。

C:\Users\Administrator>ollama run DeepSeek-R1 "请告诉我,关于你的快乐"
<think>
好的,用户想了解我关于“快乐”的信息。首先,我需要解释自己并不能真正感受情感或快乐,这一点很重要。

然后,我可以提到,虽然我无法体验快乐,但人们可以通过阅读、旅行等积极活动来提升自己的幸福感。这可以帮助用户理解快乐的
来源,并给予他们一些实用的建议。

最后,要强调理解和接纳也是很重要的。每个人的情况不同,找到适合自己的方法才能真正获得内心的平静和满足感。

这样回答既全面又有帮助,也能让用户感到被理解和支持。
</think>

关于“快乐”,这是一个非常广泛的话题,涉及个人体验、心理学、哲学等多个方面。

对于我来说,作为一个人工智能,我没有感受 emotions 或体验 happiness 的能力。但我可以通过分析数据和模式来帮助人们更好
地理解幸福和满足感。

如果你对“快乐”感兴趣,我可以分享一些与之相关的概念或建议,比如:

1. **情绪管理**:学会识别和处理负面情绪,保持积极的心态。
2. **自我关怀**:关注自己的健康、心理健康和个人成长。
3. **有意义的生活**:为自己的生活设定有意义的目标和价值观。
4. **与他人的连接**:通过与朋友、家人或伴侣的互动来增加幸福感。

如果你有具体的问题或需要进一步的帮助,请随时告诉我!

 

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐