驱动安装

前置环境配置

# 查看显卡是否识别
lspci | grep -i NVIDIA
lspci | grep -i nvidia
sudo apt install gcc-12 g++ make -y

前往英伟达驱动官网，下载显卡驱动 https://www.nvidia.cn/drivers/lookup/
要选择Linux X64-bit才会下载*.run后缀的安装包

禁用默认驱动

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

文件内新增

blacklist nouveau
options nouveau modeset=0

更新一下系统的initramfs镜像文件

sudo update-initramfs -u

重启系统之后，

lsmod | grep nouveau #无内容输出则禁用完毕

安装驱动

chmod +x NVIDIA-Linux-x86_64-535.230.02.run
sudo bash ./NVIDIA-Linux-x86_64-535.230.02.run

保持显卡激活状态

如果nvidia-smi命令出现加载慢的情况，可以配置显卡激活状态，否则不需要配置，防止出现掉驱动后无法引导系统问题
设置为系统启动时自动开启
为了在系统启动时自动启用GPU驱动持久化模式，可以将相关命令添加到系统的启动脚本中。例如：

编辑/etc/rc.local文件：

sudo vim /etc/rc.local

在文件中添加以下命令：

sudo nvidia-smi -pm 1

保存文件并确保/etc/rc.local脚本具有可执行权限：

sudo chmod +x /etc/rc.local

OLLAMA安装

官方离线安装包下载地址https://ollama.com/download/ollama-linux-amd64.tgz

cd ~
mkdir ollama
cd ollama/
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

配置ollama.service

sudo vi /etc/systemd/system/ollama.service

添加下面内容

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/home/administrator/ollama/models"
Environment="OLLAMA_HOST=0.0.0.0:11434"
 
[Install]
WantedBy=default.target

sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama
sudo systemctl status ollama