RTX2060 6G显卡在Ubuntu 22.04上跑通中文羊驼2的完整踩坑记录（附CUDA架构修改指南）

当我在二手市场淘到一块RTX2060显卡时，内心充满了用低成本体验本地大模型的期待。然而现实很快给了我一记重拳——在Ubuntu 22.04上部署Chinese-LLaMA-Alpaca-2的过程，简直就像在雷区跳探戈。本文将完整记录从环境准备到最终跑通的曲折历程，特别针对老旧显卡用户可能遇到的CUDA架构兼容性问题提供解决方案。

1. 环境准备与初始挫折

我的硬件配置是i5-9400F处理器搭配RTX2060 6G显卡，系统选择了Ubuntu 22.04 LTS。按照常规流程，我先安装了NVIDIA驱动和CUDA工具包：

# 安装NVIDIA驱动
sudo apt install nvidia-driver-535
# 安装CUDA Toolkit
sudo apt install nvidia-cuda-toolkit

验证驱动安装成功：

nvidia-smi

输出显示驱动版本535.146.02，CUDA版本12.2，看起来一切正常。接着我按照中文羊驼2的官方文档开始部署：

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca-2.git
cd Chinese-LLaMA-Alpaca-2

下载预训练模型后，首次运行chat.sh脚本时，系统监控显示CPU占用率飙升到100%，而GPU却在一旁悠闲地"看戏"。这显然不是我们想要的结果——本地大模型的核心价值就在于利用GPU加速。

2. 启用GPU支持的第一次尝试

查阅文档后发现需要重新编译llama.cpp并启用CUDA支持：

cd ~/Chinese-LLaMA-Alpaca-2/llama.cpp
make clean
make LLAMA_CUBLAS=1 -j6

这时遇到了第一个关键错误：

nvcc fatal : Value 'native' is not defined for option 'gpu-architecture'

这个报错直指问题核心——编译器无法自动检测我的显卡架构。所谓'native'参数是让编译器自动检测本地GPU架构的特性，但在我的环境中失效了。

3. 深入排查显卡计算能力

要解决这个问题，首先需要明确RTX2060的计算能力（Compute Capability）。通过以下命令查询：

nvidia-smi --query-gpu=compute_cap --format=csv

输出显示我的RTX2060计算能力为7.5，对应CUDA中的 compute_75 架构。同时，我了解到不同NVIDIA显卡的计算能力对应关系：

显卡架构	代表显卡型号	计算能力
Pascal	GTX 10系列	6.0-6.2
Volta	Tesla V100	7.0
Turing	RTX 20系列	7.5
Ampere	RTX 30系列	8.0-8.6

这个对照表解释了为什么默认配置不工作——许多新项目默认针对最新的Ampere架构（如compute_86）进行优化，而忽略了老显卡用户的需求。

4. 修改Makefile的关键步骤

定位到llama.cpp的Makefile中关于CUDA架构配置的部分：

ifdef CUDA_DOCKER_ARCH
    MK_NVCCFLAGS += -Wno-deprecated-gpu-targets -arch=$(CUDA_DOCKER_ARCH)
else
    ifndef CUDA_POWER_ARCH
        MK_NVCCFLAGS += -arch=native  # 需要修改这一行
    endif
endif

将 -arch=native 改为 -arch=compute_75 后重新编译：

make clean
make LLAMA_CUBLAS=1 -j6

编译过程顺利完成，让我一度以为问题已经解决。然而运行chat.sh时又遇到了新的错误：

CUDA error: no kernel image is available for execution on the device

这个报错意味着虽然编译成功了，但生成的内核代码仍然不兼容我的显卡。

5. CUDA版本与驱动兼容性问题

经过一番排查，发现这是CUDA工具包版本与驱动不匹配导致的。我的系统通过apt安装的是CUDA 12.2，但驱动版本较旧。解决方案是手动安装匹配的CUDA：

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run
sudo sh cuda_12.3.2_545.23.08_linux.run

安装完成后，需要更新环境变量：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

6. 最终解决方案与验证

重新编译后，终于可以正常运行。以下是完整的操作流程：

1. 确认显卡计算能力： nvidia-smi --query-gpu=compute_cap --format=csv
2. 修改llama.cpp/Makefile中的架构参数
3. 安装匹配的CUDA版本
4. 重新编译项目
5. 运行测试

成功运行后的系统监控显示GPU利用率达到了90%以上，而CPU负载降到了合理范围。通过 nvidia-smi 观察到的显存占用情况：

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1234      C   .../llama.cpp/main             5378MiB   |
+-----------------------------------------------------------------------------+

7. 性能优化与后续调整

虽然模型成功运行在GPU上，但RTX2060 6G显存对较大模型仍然力不从心。针对这种情况，我做了以下优化：

1. 量化模型选择 ：使用4-bit量化版本显著降低显存需求
2. 批处理大小调整 ：在scripts/llama-cpp/chat.sh中修改 -b 参数
3. 上下文长度限制 ：通过 -c 参数控制内存占用

对于1.3B参数的模型，推荐配置如下：

./main -m ./models/chinese-alpaca-2-1.3b/ggml-model-q4_0.bin \
       -p "你好" \
       -n 256 \
       -c 2048 \
       -b 128 \
       -t 8

8. 经验总结与实用建议

这次踩坑经历让我深刻认识到老旧显卡部署AI模型的特殊挑战。以下几点建议可能对类似配置的用户有所帮助：

• 始终先确认显卡计算能力 ：这应该是任何CUDA项目的第一步
• 谨慎选择CUDA版本 ：不是越新越好，匹配才是关键
• 理解Makefile中的架构参数 ：这是老显卡用户必须掌握的技能
• 社区资源利用 ：GitHub Issues和论坛中往往有宝贵的一手解决方案

最后附上我修改后的Makefile关键部分供参考：

# 修改前
MK_NVCCFLAGS += -arch=native
# 修改后（针对RTX2060）
MK_NVCCFLAGS += -arch=compute_75

对于想要在Linux系统上用入门级显卡体验本地大模型的开发者，耐心和调试能力比硬件配置更重要。每次错误解决都是对技术理解的深化，这或许就是开源社区的魅力所在。