Ollama GPU 加速推理支持指南

一、NVIDIA GPU 支持

1. 支持条件

• 核心要求：GPU 计算能力（Compute Capability）需 ≥ 5.0，可通过 NVIDIA 官方查询工具 验证显卡兼容性。

• 驱动要求：需安装对应显卡的 NVIDIA 官方驱动，确保 CUDA 环境正常（验证命令：nvidia-smi）。

2. 支持的 GPU 型号（按计算能力分类）

3 驱动安装 / 更新（Windows 示例）

1. 查看显卡信息：按下 Win+R 输入 DxDiag，在「显示」标签中获取显卡型号；

2. 下载驱动：访问 NVIDIA 驱动官网，选择显卡型号、系统版本下载对应驱动；

3. 安装验证：运行安装包完成安装并重启电脑，终端输入 nvidia-smi 查看驱动版本（如 461.09）和 CUDA 版本（需≥11.8）

（3）驱动安装 / 更新（Windows 示例）

• 运行安装包完成安装并重启电脑；

• 打开 Windows 命令提示符（CMD）或 PowerShell，输入命令 nvidia-smi；

• 成功信息：命令执行后，会显示 GPU 型号、驱动版本、CUDA 版本等信息，示例如下：

Wed Jan 20 11:01:36 2021

NVIDIA-SMI 461.09       Driver Version: 461.09       CUDA Version: 11.2

\| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |

|=====|=================|================|================|======================|

\|  0  GeForce GTX 1060   WDDM    | 00000000:01:00.0 On | N/A |

\|      Memory-Usage | GPU-Util | Compute M. |

|==================|==========|============|

\|    Total:        6144MiB |      0%   |  Default |

\|    Used:         191MiB  |      |           |

• 若需验证 CUDA 编译器环境，输入命令 nvcc --version；

• 成功信息：显示 CUDA 编译工具版本，示例如下：

nvcc: NVIDIA (R) Cuda compiler driver

Copyright (c) 2005-2023 NVIDIA Corporation

Built on Tue\_Jul\_11\_03:10:21\_Pacific\_Daylight\_Time\_2023

Cuda compilation tools, release 12.2, V12.2.128

Build cuda\_12.2.r12.2/compiler.33053471\_0

参考链接:
https://ollama.cadn.net.cn/gpu.html
https://developer.nvidia.com/cuda-gpus https://blog.csdn.net/qq_44703886/article/details/112859392