源模型本地部署实战：Llama 3 - Qwen 2.5 - DeepSeek Coder V2 在 RTX 4070 上的完整对比

笃北天涯 · 2026-07-03 07:40:59 发布

前面几期测的都是 API 版本——花钱、联网、快。但有一类读者的需求是"离线"：公司项目在涉密环境、工控机没外网、或者就是不想让代码上传到第三方服务器。

这期是我在自己机器上实测三个最主流的开源模型——Llama 3、Qwen 2.5 Coder、DeepSeek Coder V2——全部通过 Ollama 部署，同一个 5 任务框架（跟第一期 DeepSeek 全家桶相同），记录每一步的坑和数据。

先说结论：DeepSeek Coder V2 16B（4-bit 量化）是 12GB 显存能跑的最强代码模型。Qwen 2.5 Coder 14B 紧随其后。Llama 3 8B 写代码不太行——通用能力不错，但代码专项被中韩模型碾压。

Windows 用户直接 https://ollama.com 下载安装包。Linux 用户一句 curl -fsSL https://ollama.com/install.sh | sh。

安装后确认 GPU 可用：

ollama run llama3.2 "hello"   # 如果报 CUDA 错误，需要装 CUDA toolkit

ollama pull llama3.1:8b
# 下载大小：4.9GB，耗时：~6 分钟

部署难度：★☆☆☆☆（算最简单的）
显存占用：5.1GB（含 KV Cache）
启动时间：< 1s

8B 模型在 12GB 显存上完全无压力，还能同时开几个 Chrome 标签页。

ollama pull qwen2.5-coder:14b
# 下载大小：8.9GB，耗时：~12 分钟

部署难度：★★☆☆☆
显存占用：10.5GB（含 KV Cache）
启动时间：~2s

14B 模型在 12GB 显存上刚好卡线。 推理时 GPU 显存峰值到 11.8GB。建议关掉浏览器和其他 GPU 应用。如果你用 VS Code + Copilot（也用 GPU），显存会爆。

ollama pull deepseek-coder-v2:16b
# 下载大小：9.4GB，耗时：~15 分钟

部署难度：★★★☆☆
显存占用：11.2GB（含 KV Cache）
启动时间：~3s

12GB 显存的极限。 这个模型 16B 参数，Q4_K_M 量化后模型本体占 9.4GB，推理时 KV Cache 和中间激活加起来到 11.2GB。如果不小心开了浏览器——OOM，Ollama 进程会直接挂掉。

我的建议：16B 这个级别的模型，至少 16GB 显存才稳。12GB 只能"勉勉强强跑"，但不是长期可用的状态。

沿用第 1-3 期的同一套 5 任务框架（代码生成 / Bug 修复 / 中文注释 / SQL 生成 / 单元测试），每个任务 3 轮取平均分。

模型	编译通过	并发安全	TTL 正确	综合分
DeepSeek Coder V2 16B	✅	✅	✅	4.2/5
Qwen 2.5 Coder 14B	✅	⚠️ Mutex 无 defer	⚠️ 部分正确	3.4/5
Llama 3 8B	✅	❌	❌	2.0/5

模型	Bug 发现率	修复质量	综合分
DeepSeek Coder V2 16B	3/3	加锁 + 超时 + Body 关闭	4.0/5
Qwen 2.5 Coder 14B	2/3	没发现 Body 泄漏	3.0/5
Llama 3 8B	1/3	只发现了 map 并发写	1.3/5

模型	准确性	中文流畅度	综合分
DeepSeek Coder V2 16B	4.0/5	4.0/5	4.0/5
Qwen 2.5 Coder 14B	3.5/5	4.0/5	3.7/5
Llama 3 8B	2.0/5	2.5/5	2.2/5

Llama 3 的中文注释有明显的"翻译腔"——语法对但不够自然。例如 DeepSeek 写的是"验签失败直接返回，不继续处理后续逻辑"，Llama 写的是"如果签名验证不通过，函数将立即返回，不会执行后续的业务逻辑"——语法没错，就是不顺。

模型	SQL 正确性	索引建议	综合分
DeepSeek Coder V2 16B	✅	✅ 给了联合索引建议	4.5/5
Qwen 2.5 Coder 14B	✅	❌	4.0/5
Llama 3 8B	⚠️ JOIN 条件不全	❌	2.5/5

模型	覆盖率	Edge Case	综合分
DeepSeek Coder V2 16B	正常+异常+边界	✅ 零值/空值/超时	4.2/5
Qwen 2.5 Coder 14B	正常+异常	❌ 缺边界	3.2/5
Llama 3 8B	仅正常场景	❌	1.8/5

模型	参数量	生成速度 (t/s)	首 token 延迟	显存占用
Llama 3 8B	8B	42 t/s	0.3s	5.1GB
Qwen 2.5 Coder 14B	14B	18 t/s	1.2s	10.5GB
DeepSeek Coder V2 16B	16B	15 t/s	1.5s	11.2GB

Llama 3 8B 真的很快——42 token/s，人眼看不出延迟。但代码质量也是真的不行。

DeepSeek Coder V2 16B 只有 15 token/s——生成一段 200 行的代码大约要 13 秒，体感是"能等的极限"。如果你习惯 API 那种秒出的速度，本地模型会让你抓狂。

把本地最强（DeepSeek Coder V2 16B）和前三期测过的 API 最强（DeepSeek V4 Pro）做一个对比：

任务	本地 DeepSeek Coder V2	API DeepSeek V4 Pro	差距
代码生成	4.2/5	4.6/5	-0.4
Bug 修复	4.0/5	4.5/5	-0.5
中文注释	4.0/5	4.5/5	-0.5
SQL 生成	4.5/5	5.0/5	-0.5
单元测试	4.2/5	4.8/5	-0.6

本地最强模型大约等于 API 的 85% 水平。 这个差距对于大多数场景是可接受的——但你得付出显存、速度、和部署维护的代价。

你的情况	选什么	理由
没 GPU / 集成显卡	不折腾，用 API	CPU 推理太慢，7B 都跑不动
6-8GB 显存	Qwen-Coder-7B (Q4)	代码能力最强的小模型
12GB 显存	DeepSeek Coder V2 16B	12GB 能跑的最强代码模型，但别开别的
16GB+ 显存	Qwen-Coder-14B 或 DeepSeek Coder V2 16B	稳定、可选多
24GB 显存	DeepSeek Coder V2 33B (Q5)	逼近 API 质量
对质量有要求	用 API，别折腾本地	API 快 3 倍、质量好 15%、零维护