近两年来,随着大型语言模型(LLM)的迅猛崛起,吸引了各行各业的广泛关注,并对我们的日常生活与工作模式带来了显著的积极影响。特别是在春节期间,DeepSeek的火爆表现更是将国产大型语言模型的发展推向了一个崭新的高度,令世界为之震撼与振奋。

Ollama 作为一种开源的基于Docker容器的大模型运行工具,它提供了一个统一的平台,用于下载、安装和运行各种AI大模型,为开发者提供了极大的便捷开发环境。

本教程带领大家零基础搭建Ollama大模型运行环境,包括Windows平台和Linux平台,帮助大家有效避坑,确保一次成功。闲话少叙,直接上干货。

一、环境准备

  • 操作系统:Windows 10 / Ubuntu Linux
  • CPU架构:x86架构 / ARM架构
  • GPU:【可选】

二、下载Ollama

Ollama官方下载链接https://ollama.com/download

请根据自己的实际需求,下载适合的平台版本,各版本安装流程略有差异,但使用方式是一致的。

三、安装Ollama Windows版

注:Ollama Windows版本,基本上是一键安装,非常简单,安装完毕后,右小角会出现Ollama小图标。

四、安装Ollama Linux版

4-1、通过官方脚本一键安装

curl -fsSL https://ollama.com/install.sh | sh

在Shell中,执行如上脚本,如下图所示:

注:由于众所周知的原因,国内通过此方式安装,堪称龟速,基本上很难成功(采用官方的安装方式,肯定让你痛苦不堪呦)!

4-2、手动安装(靠谱)

  • 第 1 步:从Github下载安装包

Ollama Github Release Pagehttps://github.com/ollama/ollama/releases/tag/v0.5.7Ollama Linux x86架构下载地址https://ollama.com/download/ollama-linux-amd64.tgzOllama Linux ARM架构下载地址https://ollama.com/download/ollama-linux-arm64.tgz注:后两个链接看似是官网地址,实则最后都会跳转到Github下载,只不过会方便一些,它会自动定位到最新版本的安装包。

  • 第 2 步:解压安装

        a)在 /opt 目录下创建 ollama 目录:

mkdir /opt/ollama

        b)将下载的安装包拷贝到此目录,如下图所示:

        c)进入此目录,并解压

cd /opt/ollama
tar -xzvf ollama-linux-amd64-v0.5.7.tgz

        解压完成,即安装完成,如下图所示:

  • 第 3 步:将 Ollama 添加到系统环境变量,便于在任意地方使用

        将如下内容,添加到 /etc/profile 文件中:

export OLLAMA_HOME=/opt/ollama
export PATH=$OLLAMA_HOME/bin:$PATH

        使环境变量立即生效:        

source /etc/profile
  • 第 4 步:将 Ollama 作为系统服务,便于开机自动启动

        a)创建服务配置文件:/etc/systemd/system/ollama.servic

cat << 'EOF' > /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="PATH=$PATH"
 
[Install]
WantedBy=default.target
EOF

        b)启用此服务配置,并启动Ollama服务

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

五、验证Ollama

  • 在 cmd 或 shell 中 输入如下命令:
ollama -v

 输出如下结果,即表示Ollama安装成功

ollama version is 0.5.7

六、测试LLM

通过部署 DeepSeek R1 模型,测试Ollama运行是否一切良好。

ollama run deepseek-r1:1.5b

 

6-1、通过终端,与R1模型交互

6-2、通过REST接口,与R1模型交互

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:1.5b",
  "messages": [
    {
      "role": "user",
      "content": "你是谁?"
    }
  ],
  "stream": false
}'

输出结果如下:

{
    "model":"deepseek-r1:1.5b",
    "created_at":"2025-02-07T09:14:10.124220416Z",
    "message": {
        "role": "assistant", 
        "content":"\u003cthink\u003e\n\n\u003c/think\u003e\n\n您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。"
    }
 
    ,
    "done_reason":"stop",
    "done":true,
    "total_duration":2827133849,
    "load_duration":24253134,
    "prompt_eval_count":6,
    "prompt_eval_duration":105377000,
    "eval_count":40,
    "eval_duration":2654455000
}

注:通过测试,可以发现终端交互与REST接口交互,响应内容一致。 

七、Ollama常用命令

命令 说明
ollama serve 启动 ollama 服务
ollama create 根据一个 Modelfile 创建一个模型
ollama show 显示某个模型的详细信息
ollama run 运行一个模型
ollama stop 停止一个正在运行的模型
ollama pull 从一个模型仓库(registry)拉取一个模型
ollama push 将一个模型推送到一个模型仓库
ollama list 列出所有模型
ollama ps 列出所有正在运行的模型
ollama cp 复制一个模型
ollama rm 删除一个模型
ollama help 获取关于任何命令的帮助信息

注:从ollama命令风格上可以看出,它与Docker命令很相似,所以你可以按照使用Docker的习惯,使用它。

至此分享结束!快来自己动手体验吧!

Enjoy It!

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐