nVidia官方驱动已经cuda安装完成之后就可以进行下一步安装ollama,用ollama来启动deepseek

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

#安装ollama
curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述
安装过程根据网络环境不一样,可能速度会不一样,快一点几分钟搞定,慢一点可能要几个小时
出现上图的时候就代表ollama安装完成了,可以在命令行中输入ollama -v ,出现ollama版本号就是安装成功了

#拉取deepseekr1 32b模型
ollama pull deepseek-r1:32b
#拉取成功后查看本地模型列表
ollama list

在这里插入图片描述
在本地模型列表中看到deepseek之后,运行模型

#运行模型
ollama run deepseek-r1:32b

ollama默认监听127.0.0.1:11434,如果需要更改需要修改环境变量
linux下修改ollama环境变量的方式为

vim /etc/systemd/system/ollama.service

#在sevice标签下添加Environment,每添加一个环境变量需要添加一行
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_KEEP_ALIVE=2h" #模型存活时间修改为2小时
Environment="OLLAMA_HOST=0.0.0.0:11434" #修改监听地址
Environment="OLLAMA_MODELS=/home/ollama/models" #修改模型文件存放路径
Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐