DeepSeek私有化部署4:openEuler 24.03-LTS-SP1安装ollama运行deepseek
·
nVidia官方驱动已经cuda安装完成之后就可以进行下一步安装ollama,用ollama来启动deepseek
Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。
#安装ollama
curl -fsSL https://ollama.com/install.sh | sh

安装过程根据网络环境不一样,可能速度会不一样,快一点几分钟搞定,慢一点可能要几个小时
出现上图的时候就代表ollama安装完成了,可以在命令行中输入ollama -v ,出现ollama版本号就是安装成功了
#拉取deepseekr1 32b模型
ollama pull deepseek-r1:32b
#拉取成功后查看本地模型列表
ollama list

在本地模型列表中看到deepseek之后,运行模型
#运行模型
ollama run deepseek-r1:32b
ollama默认监听127.0.0.1:11434,如果需要更改需要修改环境变量
linux下修改ollama环境变量的方式为
vim /etc/systemd/system/ollama.service
#在sevice标签下添加Environment,每添加一个环境变量需要添加一行
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_KEEP_ALIVE=2h" #模型存活时间修改为2小时
Environment="OLLAMA_HOST=0.0.0.0:11434" #修改监听地址
Environment="OLLAMA_MODELS=/home/ollama/models" #修改模型文件存放路径
更多推荐


所有评论(0)