1、检查硬件

cpu、Gpu、内存

2、ubuntu系统

使用ollama部署：

1）安装并启动ollama

# 或者使用Snap安装
sudo snap install ollama

# Snap应用会自动管理服务，不需要手动启用
sudo snap start ollama

# 检查服务状态
sudo snap services ollama

# 停止服务
sudo snap stop ollama

# 重启服务
sudo snap restart ollama

2）下载和运行模型

# 下载并运行Llama 3（8B版本）
ollama run llama3

# 或者其他模型
ollama run llama3.1:8b
ollama run mistral
ollama run gemma:7b
ollama run phi3

运行完就可以实现问答了，llama3模型主要语言是英文。

3）常用命令

# 查看已安装的模型
ollama list

# 删除模型
ollama rm llama3

# 查看运行状态
ollama ps

# 拉取新模型
ollama pull codellama:7b

查看模型信息

4）安装deepseek大模型

ollama run deepseek-r1:1.5b

不太好用。。。。