大家好，我是浩哥，这是我输出AI agent面试专题第八章，后面还有二期。建议加入粉丝，后面粉丝可见。

大模型训练 / 评测 / 推理参数 · 面试题型整理与标准答案

导语：本题型考察训练范式（预训练 / SFT / DPO / PPO）、高效微调（LoRA / QLoRA）、推理优化（KV Cache / Prompt Caching / MoE / 解码策略）、能力评测与部署——决定候选人能否把模型"用得好、用得省"。底层主线只有一条：训练决定能力上限，微调/对齐决定可用性与风格，推理与部署决定成本与延迟，评测决定能不能放心上线。

• 2026年最新AI agent面试（01）_Agent基础与推理范式
• 2026年最新AI agent面试（02）_MultiAgent与记忆
• 2026年最新AI agent面试（03）_工具协议MCP_A2A_FC
• 2026年最新AI agent面试（04）__工具工程网关外部
• 2026年最新AI agent面试（05）_RAG基础应用
• 2026年最新AI agent面试（06）_RAG文档与检索
• 2026年最新AI agent面试（07）_大模型架构基础
• 2026年最新AI agent面试（08）_大模型训练评测
• 2026年最新AI agent面试（09）_AI编程ClaudeCode
• 2026年最新AI agent面试（10）_通信与行业动态

---

总目录可见 2026年最新AI agent面试（0）概述篇

Q1. 大模型到底是怎么"训练"出来的？预训练、SFT、对齐三阶段分别解决什么问题？［来源：面试官］

• 核心答案：工业界主流大模型的训练是一条三段式流水线，顺序不可颠倒、缺一不可：
  1. 预训练（Pre-training）——让模型"读万卷书"。在数万亿 token 的网页、代码、书籍、论文等公开语料上，以**因果语言建模（CLM，预测下一个 token）**为目标训练，逼出语言能力与世界知识，是能力的天花板。
  2. 监督微调（SFT）——让模型从"续写机器"变成"对话机器"。用 (指令, 期望回答) 配对数据训练，使其学会指令遵循与问答格式，而非无脑续写。
  3. 对齐（Alignment，RLHF / DPO）——让模型"好好说话"。用人类偏好数据调整回答方式，使其更安全、更合人意、更符合价值观。
     预训练给"能力"，SFT 给"格式"，对齐给"价值观"。没有预训练 SFT 无从谈起；没有 SFT 模型只会续写不会回答；没有对齐模型可能输出有毒、啰嗦或不合用户偏好的内容。
• 关键点 / 展开：
  • 预训练数据：规模从 GPT-3 的 3000 亿 token 到 Llama 3 的 15 万亿 token；来源含 Common Crawl、GitHub、维基、书籍、论文；数据清洗（去重、过滤低质、去害）成本常高于训练本身，是厂商核心壁垒之一。
  • 预训练目标极简却极有效：仅"预测下一个 token"，但想在不同上下文准确预测，模型被迫学会语法、事实、算术与推理——简单目标 + 海量数据 = 涌现能力。
  • 算力代价惊人：GPT-3 约 3.14×10²³ FLOPs，单张 A100 需约 36 万年，实际靠数百至数千卡数月并行完成，千万美元级投入。
  • SFT 数据重在质与多样性：Llama 2 仅约 100 万条精心标注数据；研究显示几千条高质量数据优于几十万条低质数据，且需覆盖问答、写作、代码、推理、翻译等多场景。
  • 对齐补的是"哪种回答更好"而非"怎么写"：SFT 是模仿，对齐才引入偏好排序；RLHF 需先训奖励模型再 PPO 优化，DPO 则把该过程等价成监督学习（见 Q4）。
• 常见追问：① 三个阶段的损失函数分别是什么（CLM 交叉熵 / SFT 交叉熵 / 偏好损失）？② 如果只做预训练不做 SFT，模型为什么不会"回答问题"而是"续写"？
• 2026 延伸：当前对齐阶段已从 RLHF/DPO 演进到 GRPO（Group Relative Policy Optimization） 等无需独立价值模型的在线 RL 方法（DeepSeek 系列采用）；"预训练 → SFT → 对齐"仍是所有主流闭源/开源模型（GPT、Claude、Llama、Qwen、DeepSeek）的共同骨架。

---

Q2. 大模型微调方案有哪些？为什么不能把它们当成"同一类方法"来背？［来源：面试官］

• 核心答案：微调名词（全量微调、LoRA、QLoRA、SFT、DPO）容易让人误以为是并列的"不同方法"，其实分两个正交维度：①改哪些参数（参数更新策略）——全量微调 / LoRA / QLoRA；②学什么目标（训练信号来源）——SFT（学指令格式）/ DPO（学偏好对齐）。两维可任意组合（如"用 LoRA 做 SFT"“用 QLoRA 做 DPO”），理解这层正交关系才是选型钥匙。更前置的判断是：微调是"最后手段"而非"第一选择"——能用 Prompt + Few-shot、RAG 解决的，绝不先上微调。
• 关键点 / 展开：
  • 改哪些参数维度：
    • 全量微调：更新全部参数，效果上限高但显存爆炸（7B 模型 FP16 权重 14GB + 梯度 14GB + Adam 两矩约 56GB ≈ 80GB+），且易灾难性遗忘，仅少数团队用得起。
    • LoRA：冻结原权重，仅训旁路低秩矩阵，7B 可训练参数降至约 2000 万（<0.3%），见 Q3。
    • QLoRA：在 4-bit NF4 量化后的底座上套 LoRA，7B 微调显存压到 10GB 内，单张 24GB 4090 即可微调 7B/13B，精度损失极小，是微调民主化的关键。
  • 学什么目标维度：
    • SFT：用 (指令, 回答) 监督数据，把"续写"切到"对话/指令"模式。
    • DPO：用 (chosen, rejected) 偏好对，做偏好对齐（见 Q4）。
  • 何时该微调（关键判断点）：模型需持续以特定风格/格式稳定输出、需掌握内部术语或任务模式、或想用 7B 微调模型替代 70B 通用模型大幅降本时，微调才值。
  • 何时不该微调：补充经常变化的事实知识（价格、政策、库存、合同）应放 RAG/数据库而非塞进参数；先试 Prompt + Few-shot、System Prompt 定风格、RAG 接外部知识，多数问题可解。微调的隐性成本极高（数据标注、GPU、防过拟合、底座升级需重训）。
• 常见追问：① 用 LoRA 做 DPO 是否合法、有何取舍？② 为什么"会频繁更新的知识"不适合微调而适合 RAG？
• 2026 延伸：QLoRA 催生了 Alpaca / Vicuna 等早期开源指令模型；当前社区默认微调栈是 LoRA/QLoRA + (SFT → DPO)，配合 peft、trl 库已成事实标准。

---

Q3. LoRA 的原理是什么？除了"省参数"它还有哪些被低估的优势？［来源：面试官］

• 核心答案：LoRA（Low-Rank Adaptation）的核心是冻结原始权重 W，在旁叠加两个低秩小矩阵 A(d×r)、B(r×d)，前向为 output = x @ (W + α·B·A)，训练只更新 A、B。其理论依据是权重更新量 ΔW 具有内在低秩性——微调引发的有效变化只发生在很低维子空间（秩 r 通常 8~16），无需更新整个 d×d 大矩阵。以此为基础，LoRA 不只是省显存，更带来五个 Adapter 类方案做不到的工程优势：推理零开销、模块化插拔、抗灾难性遗忘、训练稳定、权重可组合。
• 关键点 / 展开：
  • 低秩分解直觉：4096×4096 更新矩阵约 1677 万参数；LoRA r=16 仅 4096×16+16×4096≈13.1 万参数，减少约 128 倍；秩 r 越小越省但表达越弱，r=8~16 多数任务够用。
  • 优势一·推理零开销：训练后可把 α·B·A 一次性合并回 W 得 W_merged，推理计算图与原始模型完全一致，无额外延迟；而 Adapter 在每层插网络，推理每层都有延迟叠加。
  • 优势二·模块化插拔：一个 14GB 底座 + 多套数十 MB 的 LoRA（客服/代码/翻译），常驻显存、按请求热切换，无需为每个场景各跑一个完整模型。
  • 优势三·抗灾难性遗忘：原权重全程冻结，仅旁路学习，相当于"在原文旁贴便利贴"，通用能力更易保住。
  • 优势四·训练稳定：可训练参数量小、梯度空间小，对学习率等超参不敏感，调参成本低。
  • 优势五·权重可组合：多个 LoRA 可按权重加权融合（如指令遵循 LoRA + 代码 LoRA 合并），无需重训即融合多能力。
• 常见追问：① LoRA 合并回原权重后，能否再拆出独立 LoRA 做 A/B？② 秩 r 设太大（如 256）会退化成什么？
• 2026 延伸：QLoRA 在 LoRA 基础上引入 4-bit NF4 量化底座；DeepSeek、Qwen 等开源生态广泛采用 LoRA/QLoRA 做领域适配，配合 peft 库已成微调事实标准。

---

Q4. DPO 和 PPO 有什么区别？大模型对齐阶段到底在做什么？［来源：面试官］

• 核心答案：PPO 与 DPO 都是 SFT 之后做偏好对齐的方法，目标一致（让输出更符合人类期望），但路径本质不同：PPO 是在线强化学习，需先训奖励模型再用 RL 优化；DPO 是从带 KL 约束的 RLHF 目标数学等价推导出的闭式监督学习目标，直接拿偏好对数据训练、无需显式奖励模型。工程上 PPO 需同时维护 4 个模型（policy + reference + reward + value），DPO 只需 2 个（policy + reference），因此 DPO 更稳定、更易实现，是当前开源社区主流。
• 关键点 / 展开：
  • 为什么 SFT 之后还要对齐：SFT 是"模仿"只教会格式，未告诉模型"哪个回答更好"；对齐解决有毒内容、一本正经胡说、不合用户偏好的问题。
  • PPO 流程：① 人类标注同问题的多回答排序 → 训奖励模型（裁判）；② 主模型生成 → 奖励模型打分 → PPO 调参追求高分；③ 用冻结的参考模型 + KL 散度约束主模型不要偏离太远，防 reward hacking。
  • PPO 的四模型架构：policy（被优化）、reference（SFT 副本、KL 约束）、reward model（打分）、value model（估算未来奖励期望）；显存与 RL 不稳定性使其工程难度极高。
  • DPO 的等价转化：奖励模型功能被"主模型相对参考模型的概率比值"替代；损失函数让 chosen 相对 ref 的概率比 > rejected 的相对概率比，即"相对于参考模型，主模型在好回答上概率提升更多"。
  • 对比维度：是否需奖励模型（PPO 需 / DPO 不需）、维护模型数（4 / 2）、稳定性（差 / 好）、实现难度（高 / 低）、表达能力（强、可探索数据外空间 / 稍弱、受偏好数据分布限制）。
  • 代表模型：PPO→InstructGPT、早期 ChatGPT、Llama 2-Chat；DPO→Zephyr、部分 Mistral/Qwen 派生 Instruct 模型。
• 常见追问：① DPO 是否真的不需要奖励模型，还是隐含了奖励？② KL 约束在 DPO 里以什么形式存在？
• 2026 延伸：在线 RL 路线已由 PPO 演进到 GRPO（Group Relative Policy Optimization，DeepSeek 采用）——去掉独立 value model，用同一 prompt 的多个采样做组内相对基线，进一步降低对齐的工程复杂度；DPO 家族也派生出 IPO、KTO 等变体。

---

Q5. 大模型生成时的解码策略有哪些？贪心、Beam Search、采样分别什么时候用？［来源：字节］

• 核心答案：解码策略回答的是"模型每步输出 vocab 大小的概率分布，如何选下一个 token"。分确定性与随机性两大类：确定性含贪心（每步取最高概率）与Beam Search（保留 Top-B 条候选路径、取整条序列概率最高）；随机性含 Temperature 采样、Top-K、Top-P（Nucleus）。本质是两类任务假设的差别——确定性假设"存在唯一最优答案"，随机性假设"答案有多种合理可能"。LLM 时代 Beam Search 基本被弃用，因开放式生成无单一最优解，Beam 给的"最高概率序列"往往最 boring 且易复读；工程上精确任务用 Temperature=0/低温保可复现，对话/创意任务用较高 Temperature + Top-P 平衡多样性与质量。
• 关键点 / 展开：
  • 贪心解码：O(V) 极简、完全确定、利于调试与单元测试；但有"复读机问题（Repetition Loop）"——一旦进入自我加强循环出不来，且输出乏味保守。最佳战场是代码/SQL/JSON 抽取等标准答案任务。
  • Beam Search：B=4/8 保留多条路径，全局视野优于贪心、能避死胡同；在机器翻译时代（2014–2018）是绝对主流（Google NMT、fairseq、OpenNMT），因翻译任务有"单一最优译文"。LLM 时代失宠的深层原因是目标（找整体概率最高序列）与开放式生成（无最优答案）不匹配，且多样性差、易复读。
  • Temperature 采样：缩放概率分布"锐度"，越低越确定、越高越发散；Temperature=0 的采样在数值上趋近于贪心，但工程上以采样实现更稳。
  • Top-K / Top-P：Top-K 每步只从最高 K 个 token 采样截断长尾；Top-P（Nucleus）累加概率到 P 为止、自适应截断，比固定 K 更灵活。
  • 选型结论：精确/可复现任务用贪心或低温；开放/创意任务用 Temperature + Top-P；Beam Search 基本不用于 LLM 生成（仅少数结构化场景）。
• 常见追问：① Temperature=0 的采样和贪心是同一回事吗？② 为什么多数推理 API 默认用 Temperature 采样而非贪心？
• 2026 延伸：主流推理框架（vLLM / SGLang / TGI）均把 Temperature、Top-P、Top-K、repetition penalty 作为标准采样参数；repetition penalty 是缓解复读机的工程标配。

---

Q6. 什么是 KV Cache？Prompt Caching 又是什么？两者什么关系？［来源：面试官］

• 核心答案：KV Cache 与 Prompt Caching 是同一套缓存机制在两个时间尺度上的延伸——前者是"单次推理内"的优化，后者是"跨请求"的优化。自回归生成每步都要对所有历史 token 算 attention，若每次从零重算，N 个 token 总复杂度约 O(N³) 不可接受；KV Cache 把前面所有 token 的 K、V 矩阵缓存在显存，每步新 token 只算自己的 Q/K/V 再与缓存拼接做 attention，总复杂度降到 O(N²)，是 Transformer 推理的基本盘。Prompt Caching 把该思路从"单次生成内"扩展到"不同请求间"：相同前缀（如 System Prompt）的首请求 KV 在 API 服务端保留，后续请求遇相同前缀直接复用、只算新增部分，从而降低 API 成本与首 token 延迟。
• 关键点 / 展开：
  • 为什么必须 KV Cache：attention 中 softmax(Q·Kᵀ/√d)·V，新 token 只是 Q，被点乘的 Kᵀ 与加权的 V 都来自历史 token；而历史的 K、V 固定不变，故可缓存、每步只算 1 个 token 的 K/V（O(1)）。
  • 复杂度对比：朴素无缓存每步 O(i²)、总 O(N³)；带缓存每步 O(i)、总 O(N²)，典型 1000 token 回答开销数量级下降。
  • Prompt Caching 价值：KV Cache 解决"让自回归生成可行"，Prompt Caching 解决"降本与降延迟"；Claude 缓存读取价可低至普通输入 token 的 10%，OpenAI 等也有缓存折扣，具体比例随前缀长度/命中率/负载变化。
  • 使用要点：固定内容在前、动态内容在后，前缀差一个字符即缓存 miss——这是工程 ROI 的关键。
• 常见追问：① KV Cache 占用的显存如何估算（与层数、隐藏维、序列长相关）？② 多轮对话里旧轮 KV 如何管理？
• 2026 延伸：Prompt Caching 已成 OpenAI / Anthropic / Gemini 等厂商标配；推理框架层 SGLang 的 RadixAttention 与 vLLM 的 PagedAttention 都是 KV Cache 管理在工程上的深化（见 Q8）。

---

Q7. 什么是 MoE 混合专家模型？为什么 2024 年后主流大模型都在用？［来源：面试官］

• 核心答案：MoE（Mixture of Experts）把 Transformer 每层的 FFN 替换为 N 个并行"专家"网络，再加一个 Router 决定每个 token 进哪几个专家。其核心设计哲学是**“总参数大、激活参数小”**——以 DeepSeek V3 为例总参 671B、每 token 仅激活 37B（约 1/18），做到"用 671B 的知识量 + 37B 的推理成本"。它打破了 Dense 模型"知识量"与"推理成本"的硬绑定，用稀疏激活换便宜推理，是 2024–2026 最重要的架构方向之一。
• 关键点 / 展开：
  • 三个核心组件：①专家——每层 FFN 复制 N 份（N=8 Mixtral / 64 GShard / 256 DeepSeek V3），训练中自然涌现各自擅长方向（数学/代码/语言），并非预先指定；②Router——线性层算专家偏好分数，Top-K 路由（K=1 Switch / K=2 Mixtral / K=8 + 1 共享专家 DeepSeek V3）；③负载均衡损失——防专家不平衡。
  • 为什么比 Dense 好：同样算力训出的 MoE 效果接近大 Dense，但参总量是 Dense 的 5–20 倍；每 token 只激活一小部分，推理速度与小 Dense 相当；扩容量加专家比加层数容易。
  • 训练之坑·专家不平衡（Expert Imbalance）：朴素 Router 会偏爱少数专家→被选中→被多训→更被选中，恶性循环致其余专家"躺平"未被训练；需加负载均衡损失（专家平均使用率的方差）约束，加到主损失 total_loss = main_loss + α·balance_loss。
  • 部署挑战：显存占用高（虽激活 37B，但 671B 全量需加载显存）；分布式部署时 token 路由有跨卡通信开销；Router 训练不稳、并行化复杂。
  • 非唯一答案：中小规模、部署稳定性优先场景仍以 Dense 为主。
• 常见追问：① 共享专家（shared expert）的作用是什么？② MoE 的负载均衡损失会不会损害模型质量？
• 2026 延伸：DeepSeek V3 / R1、Mixtral、Grok、部分 Qwen MoE 均走此路线；DeepSeek V3 的 256 细粒度专家 + 1 共享专家 + Top-8 路由是当前前沿配置。

---

Q8. 大模型部署有哪些主流方案？vLLM、SGLang、TGI、llama.cpp、TensorRT-LLM 怎么选？［来源：面试官］

• 核心答案：部署框架要解决的核心问题是"在固定硬件上跑得更快、更省显存、支持更多并发"。朴素用 transformers 直接 model.generate() 有三大痛点：KV Cache 显存碎片（预分配最大长度致 60–70% 浪费）、static batching 调度低效、重复计算（相同 System Prompt 每次重算）。主流框架针对"内存高效 + 批量调度 + 缓存复用"三大方向各有创新，应按场景选型。
• 关键点 / 展开：
  • vLLM（UC Berkeley）：核心 PagedAttention——把 KV Cache 像操作系统虚拟内存一样分页（固定 Block，典型 16 token/Block），用 Block Table 映射，消除预分配浪费，显存利用率从 30–40% 拉到 90%+，并发提升 2–4 倍；配 Continuous Batching（请求异步进出、每 token 步动态组 batch）吞吐再高 3–5 倍，是生产 LLM API 事实标准。
  • SGLang（LMSYS）：核心 RadixAttention——把多请求的共享前缀组织成 Radix Tree（共享前缀树），相同前缀只存一份 KV；在 System Prompt 共享、Few-shot、多轮对话、Agent 等"前缀重复率高"场景比 vLLM 更省显存、首 token 延迟更低。它不是替代 vLLM，而是补其未解决好的共享前缀场景。
  • TGI（HuggingFace）：与 HF 生态深度集成，开箱即用、企业级 API（鉴权/metrics/健康检查）；但极致性能增长不如 vLLM/SGLang，选它多因既有系统集成。
  • llama.cpp：C++ 重写推理栈 + GGUF 量化，CPU/边缘设备（MacBook、树莓派、手机）部署事实标准，个人与边缘首选。
  • TensorRT-LLM（NVIDIA）：极致性能、需自家定制，面向有工程实力的团队。
  • 选型口诀：生产高吞吐 API → vLLM；Agent/多轮/Few-shot → SGLang；拥抱 HF 生态/企业级 → TGI；本地/Mac/边缘/无 GPU → llama.cpp；极致性能定制 → TensorRT-LLM。
• 常见追问：① PagedAttention 与 RadixAttention 是同一层优化吗（前者管单请求内显存碎片，后者管跨请求前缀复用）？② 量化（GPTQ/AWQ/GGUF）在部署链路中处于哪一层？
• 2026 延伸：vLLM 与 SGLang 是当前开源推理双雄；RadixAttention 的跨请求前缀复用正是 Prompt Caching 思想在框架层的落地；推理侧量化（AWQ/GPTQ/FP8）与 MoE 调度是 2026 部署优化重点。

---

Q9. 大模型能力评测指标有哪些？为什么不能只信排行榜？［来源：面试官］

• 核心答案：可靠的模型评测是**“学术 Benchmark + 业务测试集 + 线上指标"的闭环**，而非只背 MMLU/HumanEval 等名字。学术 Benchmark 用于横向对比能力区间，但因数据污染（训练数据已含测试题致成绩虚高）不能完全等价于业务效果；工程上必须从真实用户请求采样、人工标注期望输出建 50–200 条"黄金测试集”，每次改 Prompt/换模型都跑一遍，再结合线上满意度/任务完成率/会话放弃率形成闭环。
• 关键点 / 展开：
  • 主流 Benchmark 各自测什么：
    • MMLU / MMLU-Pro——综合知识广度与推理（57 学科四选一，Pro 更难更重推理）。
    • HumanEval / MBPP / SWE-bench Verified——代码能力（HumanEval 164 道函数实现 + 隐藏测试；SWE-bench 修真实 GitHub issue；指标 Pass@k）。
    • GSM8K / MATH / GPQA——数学与科学推理（小学应用题 / 竞赛数学 / 研究生级科学）。
    • MT-Bench / Arena / τ-bench——对话、用户偏好、工具调用与 Agent 多轮状态管理。
    • HELM / LiveBench / Humanity’s Last Exam——更综合或更新型（LiveBench 持续更新题库降污染；HLE 主打更难更广）。
  • 数据污染：模型预训练覆盖互联网公开内容，Benchmark 题目也在其中，致"背过题"式虚高，解释了为何榜高而实际不好用。
  • 业务测试集构建：真实请求采样 + 人工标注期望答案；客观任务（抽取/分类/代码）程序自动验证，主观任务（摘要/问答）用 LLM-as-Judge（强模型按标准打分）+ 人工抽查 10–20% 校准。
  • 离线 + 线上闭环：离线评估快速迭代找问题，线上指标（点赞/踩、任务完成率、会话放弃率）验证是否真改善用户体验。
• 常见追问：① LLM-as-Judge 本身有偏怎么办（位置偏置/长度偏置）？② 如何设计防数据污染的评测？
• 2026 延伸：LiveBench、Humanity’s Last Exam、GPQA 等"持续更新/更难"评测是缓解数据污染的方向；SWE-bench Verified 已成为代码 Agent 能力的关键基准。

---

Q10. 什么是 CoT（思维链）？为什么有效、有什么局限？［来源：鹅厂］

• 核心答案：CoT（Chain-of-Thought）让模型在给最终答案前先生成中间推理步骤，本质是把"直接猜答案"变成"推出来"。其有效性根植于自回归生成机制——模型逐 token 生成，先写推理步骤等于给后续答案提供"草稿纸/工作记忆"，降低跳跃性错误、暴露并便于纠正每一步错、并激活预训练学到的推理模式。但 CoT 非万能：token 消耗大（成本与延迟上升）、简单问题适得其反、推理链本身可能出错且错误沿链路累积、对纯记忆类任务无帮助。适用判据是"是否需要多步推理"。
• 关键点 / 展开：
  • 两种形式：①Few-shot CoT——Prompt 给若干完整"问题+推理+答案"示例，效果最稳、Prompt 较长；②Zero-shot CoT——仅加"请一步步思考"类指令即激活推理，简洁但效果略逊。
  • 为何有效（三因）：逐步推理暴露错误便于纠错；中间步骤充当草稿纸减轻隐状态负担；激活预训练推理型文本模式。
  • 局限（面试官最爱追问）：token 消耗大（多几百~上千 token，成本延迟双升）；对简单问题（“1+1 等于几”）浪费且无效；推理链可能出错且错误累积传导；对纯记忆任务（“2020 奥运在哪”）无帮助。
  • Self-Consistency（升级版）：同问题高温生成多条推理路径、对最终答案多数投票，数学推理再提 5–15%，代价是调用 5–10 次、成本延迟更高。
  • 工程建议：产品里未必展示完整 CoT，常展示简要依据或最终答案，既保留推理收益又避免冗长不稳定输出。
• 常见追问：① Zero-shot CoT 为什么"加一句指令"就有效？② CoT 与模型参数量是否有关（小模型 CoT 收益有限）？
• 2026 延伸：CoT 是推理类任务的基础范式，已衍生出 ToT（Tree-of-Thought）、GoT、ReAct（推理+行动） 等；大模型原生推理（如 o 系列、DeepSeek-R1 的隐式长链思考）把 CoT 内化进训练，对简单问答仍应避免无谓展开以控成本。

---

📌 本题型速记 Checklist

• 训练三段式：预训练（CLM/下一个 token，决定能力天花板）→ SFT（指令格式）→ 对齐（RLHF/DPO，决定价值观）；顺序不可颠倒、缺一不可。
• 微调两正交维度：改哪些参数（全量 / LoRA / QLoRA）× 学什么目标（SFT / DPO），可任意组合；微调是"最后手段"而非首选（先试 Prompt/RAG）。
• LoRA 本质：冻结 W + 旁路低秩 A·B（r=8~16），ΔW 内在低秩；五优势=推理零开销/模块化插拔/抗遗忘/训练稳/权重可组合。
• QLoRA：4-bit NF4 量化底座 + LoRA，单张 4090 可微调 7B/13B，精度损失极小。
• DPO vs PPO：PPO=在线 RL、需 4 模型（policy+ref+reward+value）、KL 约束防 hacking；DPO=等价监督学习、仅 2 模型、更稳更易实现；前沿演进 GRPO。
• 解码策略选型：精确任务用贪心/低温（Temperature=0），开放任务用 Temperature+Top-P；Beam Search 在 LLM 时代基本弃用（无单一最优解、易复读）。
• KV Cache：单次推理内缓存历史 K/V，复杂度 O(N³)→O(N²)，是自回归生成基本盘；Prompt Caching=跨请求复用相同前缀，降本降延迟，注意"固定在前、动态在后"。
• MoE 哲学：总参大、激活小（如 671B/37B），Router 选 Top-K 专家；核心坑=专家不平衡（需负载均衡损失）；优势=训练性价比高+推理便宜+易扩展。
• 部署选型：生产高吞吐→vLLM（PagedAttention+Continuous Batching）；Agent/多轮/Few-shot→SGLang（RadixAttention 跨请求前缀复用）；HF 生态→TGI；边缘/CPU→llama.cpp；极致定制→TensorRT-LLM。
• 评测闭环：学术 Benchmark（MMLU/HumanEval/GSM8K/MT-Bench…）只作参考，警惕数据污染；必建业务黄金测试集（50–200 条）+ LLM-as-Judge + 线上指标（满意度/完成率/放弃率）。
• CoT：让模型先推理再答，提供"草稿纸"降跳跃错误；局限=费 token/简单问题无效/链错累积/对记忆任务无用；Zero-shot vs Few-shot，升级版 Self-Consistency 投票。
• 核心取舍观：训练决定上限，微调/对齐决定可用性，推理与部署决定成本延迟，评测决定能否上线——四者共同决定"用得好、用得省"。