花10万组双5090跑Qwen3 235B，实测结果不如CPU？

 

最近朋友圈被阿里巴巴的Qwen3 235B刷屏了——这个拥有235B参数的AI大模型，声称能与GPT-4一较高下。作为一个技术宅，我立马想到一个问题：家用双卡5090能跑得动这个"巨无霸"吗？

带着这个疑问，我在自己的Windows11机器上做了一次"烧钱"实验🔥

 

硬件配置：土豪级别的"炼丹炉"

先看看我的配置单：双RTX 5090 + 192GB内存 + U9 285K。没错，光显卡就花了6万，加上其他配件，整台机器接近10万块💸

为什么要这么豪华的配置？因为Qwen3 235B的参数量高达142GB，系统内存必须大于这个数值才能正常运行。这就像给AI模型准备一个超大的"工作桌面"。

 

测试环境：三种配置大PK

我分别测试了三种运行环境：

• • CPU模式：纯靠处理器硬扛
• • 单卡5090：一张显卡的实力
• • 双卡5090：终极配置登场

测试工具选择了Ollama——这是目前最流行的本地大模型部署工具，安装简单，一行命令就能跑起来。

性能实测：数据会说话

经过几个小时的"炼丹"，结果出炉了：

运行环境	prompt处理速度 (235b)	生成速度 (235b)	prompt处理速度 (32b)	生成速度 (32b)
CPU	9.03 tokens/s	4.82 tokens/s	8.64 tokens/s	3.13 tokens/s
5090 单卡	9.44 tokens/s	4.17 tokens/s	172.67 tokens/s	57.05 tokens/s
5090 双卡	9.17 tokens/s	4.40 tokens/s	100.37 tokens/s	56.44 tokens/s

意外发现：双卡在235B模型上的提升竟然微乎其微！😱

CPU运行：慢但能用

 

纯CPU跑235B模型，系统吃掉了153GB内存，生成速度只有4.82 tokens/s。虽然慢得像"老爷车"，但确实能跑起来。

单卡5090：意外的性价比之王

 

单张5090的表现让我刮目相看：生成速度4.17 tokens/s，与双卡的4.40 tokens/s相差无几。这意味着花2万买一张卡就够了！

双卡5090：性能天花板

 

双卡配置下，两张显卡都被充分利用，显存占用均匀分布。虽然性能提升有限，但确实达到了当前硬件的极限。

 

深度分析：为什么双卡提升不明显？

经过深入研究，我发现了几个关键原因：

1. 1. 内存带宽瓶颈：235B模型太大，数据传输成为限制因素
2. 2. 模型架构限制：Qwen3采用MoE架构，实际只激活22B参数
3. 3. 优化空间巨大：当前的多卡支持还不够完善

相比之下，32B模型在双卡上的表现就正常多了，单卡能跑到57 tokens/s的惊人速度。

实用建议：如何理性选择

💡 如果你想体验Qwen3 235B，只要有内存够就行了

• • 尝鲜体验：CPU + 192GB内存（约1万元）

💡 如果你主要用中等模型（32B以下）：

• • 游戏+AI两用：单5090足够，性能强劲

💡 给普通用户的建议：

先从Qwen3 32B开始体验，它在单卡5090上的表现已经足以媲美很多付费AI服务。

一键启动脚本：懒人福音

为了方便大家上手，我制作了一键启动脚本：

 

双击运行即可，告别复杂的命令行操作！无套路下载地址：https://xueshu.fun/6236

总结：理性看待硬件军备竞赛

通过这次实测，我得出几个重要结论：

1. 1. 双5090对235B模型提升有限，单卡就能满足大部分需求
2. 2. 内存比显卡数量更重要，256GB是基本门槛
3. 3. 32B模型是当前的最佳平衡点，性能够用，成本可控
4. 4. 软件优化空间巨大，未来双卡支持会更好

最终建议：除非你是AI研究员或者土豪玩家，否则单张5090 + 大内存就是最理性的选择。毕竟，性价比才是王道！

你觉得花10万块搭建这样的AI工作站值得吗？欢迎在评论区分享你的看法！💬