近两年来,随着大型语言模型(LLM)的迅猛崛起,吸引了各行各业的广泛关注,并对我们的日常生活与工作模式带来了显著的积极影响。特别是在春节期间,DeepSeek的火爆表现更是将国产大型语言模型的发展推向了一个崭新的高度,令世界为之震撼与振奋。

Ollama 作为一种开源的基于Docker容器的大模型运行工具,它提供了一个统一的平台,用于下载、安装和运行各种AI大模型,为开发者提供了极大的便捷开发环境。

本教程带领大家零基础搭建Ollama大模型运行环境,包括Windows平台和Linux平台,帮助大家有效避坑,确保一次成功。闲话少叙,直接上干货。

一、环境准备

  • 操作系统:Windows 10 / Ubuntu Linux
  • CPU架构:x86架构 / ARM架构
  • GPU:【可选】

二、下载Ollama

Ollama官方下载链接https://ollama.com/download

请根据自己的实际需求,下载适合的平台版本,各版本安装流程略有差异,但使用方式是一致的。

三、安装Ollama Windows版

注:Ollama Windows版本,基本上是一键安装,非常简单,安装完毕后,右小角会出现Ollama小图标。

四、安装Ollama Linux版

4-1、通过官方脚本一键安装

curl -fsSL https://ollama.com/install.sh | sh

在Shell中,执行如上脚本,如下图所示:

注:由于众所周知的原因,国内通过此方式安装,堪称龟速,基本上很难成功(采用官方的安装方式,肯定让你痛苦不堪呦)!

4-2、手动安装(靠谱)

  • 第 1 步:从Github下载安装包

Ollama Github Release Pagehttps://github.com/ollama/ollama/releases/tag/v0.5.7Ollama Linux x86架构下载地址https://ollama.com/download/ollama-linux-amd64.tgzOllama Linux ARM架构下载地址https://ollama.com/download/ollama-linux-arm64.tgz注:后两个链接看似是官网地址,实则最后都会跳转到Github下载,只不过会方便一些,它会自动定位到最新版本的安装包。

  • 第 2 步:解压安装

        a)在 /opt 目录下创建 ollama 目录:

mkdir /opt/ollama

        b)将下载的安装包拷贝到此目录,如下图所示:

        c)进入此目录,并解压

cd /opt/ollama
tar -xzvf ollama-linux-amd64-v0.5.7.tgz

        解压完成,即安装完成,如下图所示:

  • 第 3 步:将 Ollama 添加到系统环境变量,便于在任意地方使用

        将如下内容,添加到 /etc/profile 文件中:

export OLLAMA_HOME=/opt/ollama
export PATH=$OLLAMA_HOME/bin:$PATH

        使环境变量立即生效:        

source /etc/profile
  • 第 4 步:将 Ollama 作为系统服务,便于开机自动启动

        a)创建服务配置文件:/etc/systemd/system/ollama.servic

cat << 'EOF' > /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/opt/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="PATH=$PATH"
 
[Install]
WantedBy=default.target
EOF

        b)启用此服务配置,并启动Ollama服务

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

五、验证Ollama

  • 在 cmd 或 shell 中 输入如下命令:
ollama -v

 输出如下结果,即表示Ollama安装成功

ollama version is 0.5.7

六、测试LLM

通过部署 DeepSeek R1 模型,测试Ollama运行是否一切良好。

ollama run deepseek-r1:1.5b

 

6-1、通过终端,与R1模型交互

6-2、通过REST接口,与R1模型交互

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:1.5b",
  "messages": [
    {
      "role": "user",
      "content": "你是谁?"
    }
  ],
  "stream": false
}'

输出结果如下:

{
    "model":"deepseek-r1:1.5b",
    "created_at":"2025-02-07T09:14:10.124220416Z",
    "message": {
        "role": "assistant", 
        "content":"\u003cthink\u003e\n\n\u003c/think\u003e\n\n您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。"
    }
 
    ,
    "done_reason":"stop",
    "done":true,
    "total_duration":2827133849,
    "load_duration":24253134,
    "prompt_eval_count":6,
    "prompt_eval_duration":105377000,
    "eval_count":40,
    "eval_duration":2654455000
}

注:通过测试,可以发现终端交互与REST接口交互,响应内容一致。 

七、Ollama常用命令

命令说明
ollama serve启动 ollama 服务
ollama create根据一个 Modelfile 创建一个模型
ollama show显示某个模型的详细信息
ollama run运行一个模型
ollama stop停止一个正在运行的模型
ollama pull从一个模型仓库(registry)拉取一个模型
ollama push将一个模型推送到一个模型仓库
ollama list列出所有模型
ollama ps列出所有正在运行的模型
ollama cp复制一个模型
ollama rm删除一个模型
ollama help获取关于任何命令的帮助信息

注:从ollama命令风格上可以看出,它与Docker命令很相似,所以你可以按照使用Docker的习惯,使用它。

至此分享结束!快来自己动手体验吧!

Enjoy It!

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐