【学习笔记】本地搭建 Dify - 03,部署Ollama和本地deepseek
1. 下载Ollama
访问地址: https://github.com/ollama/ollama/releases
下载对应版本的安装包

2. 上传到 root 目录下

3. 解压到特定目录下
先创建一个文件夹, mkdir /usr/local/bin/ollama1/
转到这个文件夹下,mv ollama-linux-amd64.tgz /usr/local/bin/ollama1/ollama-linux-amd64.tgz
转到相关的目录,cd /usr/local/bin/ollama1
解压,tar -xzvf ollama-linux-amd64.tgz
创建一个软链接,可以在任意路径下运行ollama的指令
ln -s /usr/local/bin/ollama1/bin/ollama /usr/local/bin/ollama

4. 把ollama service 制作成linux 服务。
以后启动停止,可以使用 systemctl 进行管理。
vi /etc/systemd/system/ollama.service
把下面的内容放到此文件中,
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_MODELS=/home/ollama/models"
Environment="OLLAMA_HOST=0.0.0.0:11434"[Install]
WantedBy=default.target
5. ollama的相关命令
# 6 启动ollama
# 重新加载服务配置
systemctl daemon-reload
# 开机自启动
systemctl enable ollama
# 立刻启动
systemctl start ollama
# 停止
systemctl stop ollama
# 重启服务
systemctl restart ollama
# 查看状态
systemctl status ollama
第一次执行 systemctl daemon-reload 和 systemctl enable ollama,后续就不用执行了。
通过systemctl start ollama 启动 ollama。
通过浏览器访问,收到 "Ollama is running" 就是成功了。

6. 按照自己的需求,通过ollama 不是本地大语言模型
访问网址: https://ollama.com/
选择 Models,
选择要部署的大预言模型, 这里以deepseek-r1为例子。

参考部署命令,选择需要的 Model, 这里选择 deepseek-r1:1.5b 为例子

到系统里执行命令,部署,

安装完毕后,就可以进行提问,进行测试了。

更多推荐



所有评论(0)