想在本地部署大模型，既想节省成本又能保障数据隐私，这个想法确实不错！

不过一旦踏入模型的世界，面对7B、14B、32B、70B等各种参数型号，很容易让人摸不着头脑：同一个模型竟然有这么多参数版本，到底该挑哪一个呢？

再看看自己的电脑，它的性能处于什么水平，又能跑得动哪个模型呢？

别担心！这篇文章会帮你理清头绪，用最直白的方式告诉你，本地部署大模型时，硬件到底该如何选择！ 确保你看完之后不再困惑！

本文底部有 硬件配置与模型大小参考表

1、解读大模型参数：7B、14B、32B 指的是什么？

• 参数的含义：7B、14B、32B 这类数字所表示的是大型语言模型（LLM）中参数的总量，其中的“B”是英文“Billion”（即十亿）的简写。参数可看作是模型在训练阶段习得的“权重”，里面承载着模型对语言、知识及各类模式的认知。

• 参数数量与模型性能的关联：通常而言，模型的参数数量越多，其结构就越复杂，从理论上讲，能够学习和存储的信息也就越丰富，进而可以捕捉到更复杂的语言规律，在文本的理解与生成方面展现出更强的能力。

• 模型大小与资源耗费的关系：参数数量多的模型，在训练和运行过程中，往往需要更多的计算资源（如 GPU 算力）、更大的存储空间（包括显存 VRAM 和系统内存 RAM），同时也需要更多的数据支持。

小型模型与大型模型的对比：

• 大型模型（例如 100B、671B 乃至更大参数的模型）：可以处理更为复杂的任务，生成的文本更具连贯性和细节，在知识问答、创意写作等领域可能会有更优异的表现。不过，这类模型对硬件配置要求较高，运行速度相对迟缓。
• 小型模型（例如 7B、13B 参数的模型）：消耗的资源更少，运行速度更快，更适合在资源有限的设备上部署，或者应用于对延迟要求较高的场景。在一些简单任务中，小型模型也能发挥出不错的效果。

选择模型时的权衡因素：在选择模型规模时，需要在模型的性能和硬件资源之间找到平衡。并非参数数量越多就必然“越好”，而是要结合实际的应用场景以及硬件条件，来挑选最合适的模型。

2、若要运行本地模型，需配备哪些硬件？

核心需求：显存（VRAM）

• VRAM 的重要性：运行大模型时，模型的参数及中间计算结果需加载到显存中。所以，显存大小是运行本地大模型最关键的硬件指标。显存不足会造成模型无法加载，要么只能使用极小的模型，甚至还会大幅拖慢运行速度。
• 越大越佳：从理想状态来说，配备显存尽可能大的 GPU 最为合适，这样才能运行参数规模更大的模型，进而获得更优的性能。

其次重要的：系统内存（RAM）

• RAM 的作用：系统内存 RAM 用于加载操作系统、运行程序，同时也能作为显存的补充。当显存不够时，系统 RAM 可充当“溢出”空间，但速度会慢很多（由于 RAM 比 VRAM 慢不少），且会明显降低模型运行效率。
• 充足的 RAM 同样关键：建议至少配备 16GB 乃至 32GB 以上的系统 RAM，尤其是当 GPU 显存有限时，更大容量的 RAM 能帮助减轻显存的压力。

处理器（CPU）

• CPU 的作用：CPU 主要承担数据预处理、模型加载以及部分模型计算任务。性能较好的 CPU 能够加快模型加载速度，并在一定程度上辅助 GPU 进行计算。
• NPU（神经网络处理器）：部分笔记本电脑搭载的 NPU（Neural Processing Unit）是一种专门用于加速 AI 计算的硬件。NPU 可对特定类型的 AI 运算起到加速作用，包括某些大模型的推理过程，从而提高效率并降低功耗。如果你的笔记本电脑有 NPU，会是一项优势，但GPU 依旧是运行本地大模型的核心。NPU 的支持情况和实际效果，取决于具体的模型与软件。

存储（硬盘/SSD）

• 存储的作用：需要有足够的硬盘空间来存放模型文件。大模型的文件通常体积庞大，比如一个经过量化的 7B 模型可能就需要 4-5GB 空间，更大的模型则需几十甚至上百 GB 空间。
• SSD 优于 HDD：使用固态硬盘（SSD）而非机械硬盘（HDD），能显著提升模型加载速度。

3、硬件优先级排序

1. 显存（VRAM）（首要因素）

2. 系统内存（RAM）（重要因素）

3. GPU性能（算力）（重要因素）

4. CPU性能（起辅助作用）

5. 存储速度（SSD比HDD更优）

   

4、没有独立GPU该如何解决？

• 借助集成显卡和CPU运行：即便没有独立GPU，依然可以利用集成显卡（例如Intel Iris Xe）或者直接依靠CPU来运行模型。不过，性能会受到较大影响，建议着重运行7B甚至更小的、经过深度优化的模型，同时采用量化等技术来减少资源消耗。
• 使用云端服务：若有运行大型模型的需求，但本地硬件条件不足，不妨考虑使用云端GPU服务。

5、怎样运行本地模型？

对于刚入门的用户，推荐使用一些操作简便的工具，它们能简化本地模型的运行流程：

• Ollama：通过命令行进行操作，但其安装和使用都十分简单，主要用于快速运行模型。
• LM Studio：界面简洁明了，支持模型下载、模型管理以及一键运行。界面为英文

6、硬件配置与模型大小参考表

左右滑动可查看全部内容

X86笔记本电脑
集成显卡笔记本（如Intel Iris Xe）	共享系统内存（8GB以上RAM）	8位，甚至4位量化	≤7B（极度量化）	* 仅能提供非常基础的本地运行体验，适合用于学习和轻度体验。* 性能有限，推理速度较慢。* 建议使用4位或更低位精度的量化模型，以尽可能降低显存占用。* 适合运行小模型
入门级游戏本/轻薄独显本（如RTX 3050/4050）	4-8GB VRAM + 16GB以上RAM	4位-8位量化	7B-13B（量化）	* 能够较流畅地运行7B模型，部分13B模型通过量化和优化也可以运行。* 适合体验一些主流的中小型模型。* 需注意VRAM仍然有限，运行大型模型会比较困难。
中高端游戏本/移动工作站（如RTX 3060/3070/4060）	8-16GB VRAM + 16GB以上RAM	4位-16位（灵活选择）	7B-30B（量化）	* 可以更顺畅地运行7B和13B模型，并且有能力尝试30B左右的模型（需要较好的量化和优化）。* 能够根据需求选择不同的量化精度，在性能和模型质量之间找到平衡。* 适合探索更多种类的中大型模型。

---

ARM（苹果M系列）
Raspberry Pi 4/5	4-8GB RAM	4位量化（或更低）	≤7B（极度量化）	* 受内存和算力限制，主要用于运行极小型模型，或作为实验平台。* 适合研究模型量化和优化技术。
Apple M1/M2/M3（统一内存）	8GB-64GB统一内存	4位-16位（灵活选择）	7B-30B+（量化）	* 统一内存架构使内存利用更高效，即便是8GB内存的M系列Mac也能运行一定大小的模型。* 内存更大的版本（16GB以上）可以运行更大的模型，甚至能尝试30B以上的模型。* 苹果芯片在能效比方面具有优势。

---

英伟达GPU计算机
入门级独立显卡（如RTX 4060/4060Ti）	8-16GB VRAM	4位-16位（灵活选择）	7B-30B（量化）	* 性能与中高端游戏本接近，但台式机散热更好，可长时间稳定运行。* 性价比高，适合入门级本地LLM玩家。
中端独立显卡（如RTX 4070/4070Ti/4080）	12-16GB VRAM	4位-16位（灵活选择）	7B-30B+（量化）	* 能够更流畅地运行中大型模型，还有潜力尝试更大参数的模型。* 适合对本地LLM体验有较高要求的用户。
高端独立显卡（如RTX 3090/4090、RTX 6000 Ada）	24-48GB VRAM	8位-32位（甚至更高）	7B-70B+（量化/原生）	* 可以运行绝大多数开源LLM，包括大型模型（如65B、70B）。* 能够尝试更高的位精度（如16位、32位）以获得最佳模型质量，或者通过量化来运行更大的模型。* 适合专业开发者、研究人员和重度LLM用户。
服务器级GPU（如A100、H100、A800、H800）	40GB-80GB以上VRAM	16位-32位（原生精度）	30B-175B+（原生/量化）	* 专为AI计算设计，拥有超大显存和极强算力。* 可以运行超大型模型，甚至能进行模型训练和微调。* 适合企业级应用、大规模模型部署和研究机构。

7、表格补充说明

• 量化：指降低模型参数的数值精度，比如从16位浮点数（float16）降至8位整数（int8）或4位整数（int4）。量化能显著减小模型大小和显存占用，加快推理速度，但可能会使模型精度略有下降。
• 极度量化：指采用极低的位精度进行量化，例如3位或2位。这能进一步降低资源需求，但模型质量下降可能会更明显。
• 原生：指模型以其原始精度运行，例如float16或bfloat16。这样能获得最佳的模型质量，但资源需求最高。
• 量化后参数范围：表格中“推荐LLM参数范围（量化后）”指的是在合理量化的前提下，该硬件大致能流畅运行的模型参数范围。实际能运行的模型大小和性能还取决于具体的模型架构、量化程度、软件优化等因素。此处给出的参数范围仅供参考。
• 统一内存：这是Apple Silicon芯片的特点，即CPU和GPU共享同一块物理内存，数据交换效率更高。

8、如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】