简介

本文用通俗易懂的语言解释了大模型的七大核心概念：Token作为语言基本单位、Embedding的向量化表示、上下文长度限制、提示词工程引导、RAG检索增强、模型微调优化以及模型路由机制，帮助读者理解大模型工作原理和实际应用技巧，提升使用体验。

---

上一篇我们聊了大模型的基本原理，但当你真正使用ChatGPT、文心一言这些产品时，可能会遇到一些"专业术语"，比如Token、Embedding、微调等等。

这篇文章会用最通俗的语言，帮你理解这些看似复杂的概念，可以让你更好地使用大模型。

1. Token（词元）

当你在浏览各大模型的官网或准备调用其 API 时，都会看到“价格”这一部分。大多数厂商的 API 定价是按 token 数量计费的，常见的计量单位是 1M tokens（即100万个 tokens）。在 OpenAI 的 API 中，费用会区分不同类型的 token，比如 文本 token（Text tokens）、图像生成与处理 token（Image tokens）、音频处理 token（Audio tokens） 等，调用时会根据实际消耗的 token 数量来收费。需要注意的是，API 调用的计费方式和 ChatGPT 产品的订阅模式并不相同：前者是按使用量精确计费，后者则是按月订阅或套餐形式收费。

什么是 Token？

Token 可以理解为 语言的最小计量单位，是大语言模型理解和处理文本的基本单位（可以直观地认为是“一个词”）。Tokenizer（分词器）作用是当你输入自然语言文本时，模型第一步不是直接处理原始字符，而是先把文本拆成 token：

• 对中文来说，通常一个汉字或一个词可以算作一个 token，但也可能按分词规则拆成更小的单位。
• 对英文来说，一个 token 不一定等于一个完整单词，有时是单词的一部分，甚至可能只是一个字符。
• 对于大语言模型而言，分词（tokenization）是文本处理的第一步，它决定了后续 embedding 和模型理解的基本单元。

文本	分解 token（注意 Token ID，这与后续 embedding 密切相关）
我喜欢吃苹果	[“我”, “喜欢”, “吃”, “苹果”] → 4 tokens [10534, 23512, 876, 4312]
ChatGPT	[“Chat”, “G”, “PT”] → 3 tokens [1234, 567, 890]
人工智能	[“人工”, “智能”] → 2 tokens [4321, 8765]

注意，表格中的“ChatGPT”通常会被拆成 [“Chat”, “G”, “PT”] 这样的更小单元，这是因为 embedding 表中没有完整的 “ChatGPT” 词条，所以必须拆分成子词。英文单词比中文更容易出现这种拆分情况。

Token ID解释（后续embedding详细解释）

• Token ID 是 tokenizer 输出的整数标识符，每个 token 都有一个唯一的 ID（上述表格中的ID是随便写的）。

• 这些 ID 是固定的，并不是随机生成的，而是由模型的 词表（vocabulary） 事先定义好的。

• 在大语言模型中，Token ID 会直接对应到 embedding 表中的行，也就是说每个 Token ID 会对应一个向量（embedding vector）。

• 因此，Token ID 和 embedding ID 是一一对应的，但严格来说，是通过词表和 embedding 表建立对应关系，而不是随意设计的。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

2. Embedding（嵌入）

什么是Embedding？

Embedding就是根据token ID把每个token向量化。Embedding是一个词汇表，一个矩阵[NxM]，N是单词个数，M是每个单词的向量表示，比如OpenAI 提供的 text-embedding：

• text-embedding-3-small → 1536 维

• text-embedding-3-large → 3072 维

Embedding中每个单词的向量是通过训练使其词与词之间有一定的关系，比如同一类词语其向量相似度较高，不同类的词语相似度较低。维度M越大，每个 token 的向量表示就越“丰富”，能表达更多的语义特征，能更好地区分语义相近的 token，也能更细致地捕捉上下文信息。

t-SNE可视化词语嵌入（word embeddings）的语义关系，Embedding词语嵌入将语义相似的词语聚集在一起，形成清晰的语义簇。

Token 和 Embedding关系

下图图展示了自然语言文本如何转换成计算机模型能够处理的数值数据的过程。整个过程是这样的：

• 首先有一个句子比如"今天天气如何"，然后通过分词器（Tokenizer）将句子分解成更小的单位叫做tokens，比如"今天"、“天气”、"如何"等，每个token都会被分配一个唯一的数值ID，比如"今天"的Token ID是10348。
• 这些Token ID会被用来在嵌入表（Embedding Table）中查找对应的数值表示，也就是embeddings。这里很重要的是，每个词生成的Token ID直接对应着嵌入表中用来定位特定嵌入向量的ID，所以"今天"（Token ID 10348）会得到它独特的嵌入向量v1，"天气"会得到v2，"如何"会得到v3。
• 这些得到的嵌入向量会被传递给机器学习模型进行计算，让模型能够理解和处理文本内容。

训练模型之前，先定义好 tokenizer 的词汇表,每个 token 分配一个唯一 ID（token ID）,embedding 表初始化时，按照这个词汇表顺序生成对应向量（随机初始化或预训练向量），所以Token ID和Embedding ID是对应的。

按Tokens收费的原理

你会注意到，模型的参数实际上就是模型架构的一部分。当模型架构确定后，参数的规模也随之固定。在训练过程中，这些参数不断被更新，逐渐学习并存储了语言规律和知识。回顾上一篇，模型可类比：y=Ax+B

其中 A 和 B 就是参数。只不过在大模型中，这些参数的数量往往是数百亿、甚至上万亿级别。

在推理阶段，有些模型采用了 激活参数（Activated Parameters） 的机制，也就是说并不是所有参数都会在一次计算中被调用，而是只有一部分参数在处理输入 token 时被激活并参与计算。

这与传统的 稠密（Dense）模型 不同：

• Dense 模型：推理时几乎所有参数都会参与计算，消耗资源更大。
• 稀疏激活（MoE, Mixture of Experts）模型：推理时只激活少部分参数，显著降低推理成本。

这正是 DeepSeek 等模型能够降低使用成本的原因。

因此，计算成本主要取决于：输入 token 数量 + 被激活的参数规模。这也是为什么很多大模型的计费方式是基于 token 数量，因为 token 数既能反映输入规模，也能间接体现实际的算力消耗。

公开模型参数示例

模型名称	总参数量（Total Params）	激活参数量（Activated Params）	架构类型	最大上下文长度
GPT-3	175B	175B（Dense，全激活）	Dense	2K
LLaMA-2-70B	70B	70B（Dense，全激活）	Dense	4K
Qwen-72B	72B	72B（Dense，全激活）	Dense	32K
DeepSeek-R1	671B	37B（MoE，仅部分激活）	MoE	128K

上述表格中可以看到，对于同一输入，某些模型会对 所有参数 都进行计算（即 Dense 模型），而另一些模型则采用 专家模型（Mixture-of-Experts, MoE） 的机制，只激活与输入最相关的参数进行计算。专家模型通过分析输入内容，判断哪些子模型（专家）最适合处理当前输入，从而仅计算这些被激活的参数，提高计算效率，同时保持模型的表达能力。

说明：

• B表示Billion，表示十亿，175B代表1750亿个参数。
• Dense 模型（GPT-3, LLaMA, Qwen）：推理时调用全部参数 → 每个 token 都要计算完整参数。
• MoE 模型（Mistral-MoE, DeepSeek）：推理时只激活少部分专家参数 → 总参数规模大，但实际激活参数小 → 单 token 成本更低。

3 上下文长度（Context Length）

上下文长度（Context Length）指的是模型在一次推理或训练中，能够“看到”的连续 token 数量。简单来说，它决定了模型在生成下一个 token 时，能够参考多少之前的文本信息。上下文长度越长，模型可以捕捉的上下文信息就越多，有助于理解长段文本或保持多轮对话的连贯性。比如

• GPT-3 的上下文长度是 2K token，意味着它一次只能处理约 2000 个 token 的内容。
• GPT-4 可以支持更长的上下文，比如 8K 或 32K token，GPT-4 Turbo支持128K，GPT-4o支持200K，从而在长文档理解或长对话中表现更好。

当你向 ChatGPT 输入一句话，比如“帮我解释一下大模型。”时，这句话会被送入大模型进行处理。模型会根据输入生成第一个 token（比如“好”），然后将原始输入和已生成的 token 作为新的输入，再生成下一个 token（比如“的”）。这个过程会不断循环：每次模型都会把用户输入和之前生成的内容一并作为新的上下文，预测下一个 token，直到生成完整回答。

在这个循环中，模型能“记住”的最大输入长度由 上下文长度（Context Length） 决定。如果输入加上已生成内容超过了上下文长度，模型会采用类似滑动窗口的方式，把最前面超出的部分舍弃，只保留最近的一段上下文来继续生成。

通俗理解就是：模型每次生成一个词时，都参考“你说的内容 + 它自己已经生成的内容”，直到回答完成，而它一次能看到的文字是有限的，这个限制就是上下文长度。

4 提示词工程 Prompt

Prompt，中文通常称作“提示词”，是指在使用大模型时，为模型提供的输入内容或指令。它告诉模型你希望它完成的任务或回答的方式。

• 简单示例：用户输入 "帮我介绍一下大模型。"，这句话就是一个 prompt。
• 模型接收到 prompt 后，会根据提示生成对应的回答。

Prompt 的作用

• 引导模型行为：通过不同的提示词，可以让模型生成不同风格或方向的内容。
• 控制输出质量：精心设计的 prompt 能帮助模型生成更准确、更符合预期的回答。
• 扩展功能：复杂的 prompt 可以包含任务说明、角色设定、格式要求，甚至涉及 function call（函数调用），实现更复杂的操作。

使用技巧：

• 基础大模型通常是通用型的：开源的大模型一般是训练在广泛数据上的基础模型，理解力和表达能力较强，但不一定专注于某一垂直领域。
• 通过 Prompt 引导模型专注垂直领域：如果希望模型在特定领域（如医学、法律、机器人技术）输出高质量内容，需要设计更有针对性的 prompt，引导模型关注相关知识或行为模式。
• 复杂 Prompt：当任务涉及函数调用、表格生成、多轮对话等功能时，prompt 可能非常复杂，这部分内容可以在后续章节中详细介绍。

5 向量库RAG

RAG 是一种将 大模型生成能力 与 外部知识检索 结合的技术框架。它通过在生成文本前或生成过程中，动态检索相关信息，让模型不仅依赖自身训练参数，还能引用外部数据，从而生成更准确、专业和上下文相关的回答。

工作流程：

• 用户输入 Prompt 用户给模型一个提示词，比如 "帮我写一篇关于机器人控制算法的科普文章"。
• 向量检索 模型或系统将 Prompt 转换为 embedding，然后在向量库中检索与之最相关的文档或片段。
• 增强生成 检索到的内容与原始 Prompt 一起输入大模型，让模型生成回答或文本，输出结果中包含更多专业知识或上下文信息。

简化理解：RAG 就像模型有了“随时可以翻阅百科或文档”的能力，而不是只靠自己记忆的知识作答。

RAG 是大模型在实际应用中非常重要的一种增强技术，它将 Prompt 引导、向量检索和模型生成 有机结合，使模型生成的内容更加丰富、专业和可靠。特别在垂直领域内的应用。

6 模型微调（Fine-tuning）

为什么需要微调

在大模型应用中，通常我们会先尝试通过 Prompt 工程 和 RAG（检索增强生成） 来引导模型完成任务。

• Prompt：通过设计合理的提示词，尽可能让模型理解和执行需求。
• RAG：在模型回答时结合外部知识库，增强模型的知识范围和专业性。

但是在一些场景下，即便使用了 Prompt 和 RAG，模型的性能仍然达不到预期：

• 模型对某些领域的专业知识理解不够深入；
• 模型的表达风格与业务需求有差距；
• 任务需要模型掌握新的知识，而这些知识在训练语料中很少或不存在。

这时，就需要在现有大模型的基础上，进行 微调（Fine-tuning）。

什么是微调

微调的核心思想是：

• 在大模型已经学习了大量通用知识的前提下，
• 通过采集并构建一个 新的训练数据集（通常是垂直领域的数据），
• 对模型的部分参数进行再训练，
• 让模型学习新的模式、知识或任务。

相比从头训练一个模型，微调的计算成本和数据需求要低得多，同时又能显著提升模型在特定场景下的效果。

7 模型路由

在大型模型应用中，往往会存在多个在基础大模型之上微调得到的 领域专用模型。为了让用户请求能够被分配到最合适的模型，需要一个 模型路由器 来负责调度。从工程角度看，模型路由器的主要职责包括：

• 解析输入

• 对用户请求进行语义解析、分类和关键词提取。
• 例如：“火车站排队情况” → 属于客流/交通领域。

• 选择目标模型

• 根据用户意图和置信度，选择对应的专家模型。
• 若置信度较低，则回退到 通用大模型 + RAG 兜底，以避免答非所问。

• 控制流转

• 将请求转发到目标模型，并记录路由日志，便于后续追踪与优化。

• 结果融合

• 对于需要多个领域模型协同的问题（如“地铁施工对火车站客流的影响” → 涉及交通模型和施工模型），路由器负责调用多个模型并融合结果。

总结：模型路由器就像“大脑的分配中心”，决定每一个问题应该交给哪位“专家模型”处理，同时在不确定时交给通用模型兜底。和路由器的功能类似，不过 模型路由器是纯软件逻辑，它并不是硬件设备，而是部署在系统里的一个组件，用来解析用户请求 → 判断归属 → 分配给合适的专家模型 → 返回结果。

如果能够把城市里的各类数据都汇聚并打通，就能构建起一个“数字孪生”的物理世界。例如：当你准备停车时，只需要问一句：**“附近哪里有空余的停车位？周边交通情况如何？”**系统就能即时调用：

• 停车场数据 → 返回最近的可用车位及余量；
• 交通监测数据 → 告诉你周边道路的拥堵情况；
• 视频监控流/传感器数据 → 生成一张实时的场景图，帮助你直观了解环境；
• 大模型分析能力 → 对交通态势和出行建议进行解释说明。

这样，AI 不仅是回答“文字上的问题”，而是真正调动物理世界里的实时数据、传感器和图像，把虚拟智能和现实世界打通。

这正是 OpenAI 的 Sam Altman 所说的“让大模型链接物理世界”： 大模型不再只是“文本对话工具”，而是成为人和真实世界之间的智能接口。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

02.如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】