大语言模型（LLM）的核心能力在于其强大的预测功能——它通过自回归（Autoregressive）的方式，一步步地预测出下一个最可能出现的 token。

然而，模型的原始输出并不是一个确定的词，而是一个涵盖了成千上万个 token 的庞大概率列表。

“解码策略”正是连接“概率”与“文本”的关键桥梁。它定义了一套规则，决定了我们如何从这个概率列表中选择出最终的 token。

因此，我们选择何种解码策略，将直接影响到生成文本的风格、质量与多样性——是生成严谨保守、可预测的内容，还是富有创造力、充满惊喜的文本，完全取决于解码策略的选择。

其中，随机性解码策略通常包含两个环节：

• 调整与筛选：通过温度、Top-P 等步骤调整原始的概率分布，并筛选出候选集。
• 采样：在候选集里，根据新的概率分布随机选择一个 token。

图 1：输入“今天天气真”

最简单、最直接的策略叫做贪心搜索（Greedy Search）：每次都选择概率最高的那个词。

缺点：会让文本变得重复、呆板，容易陷入逻辑循环，缺乏创造力。

引入随机性采样（Stochastic Sampling）：根据概率分布来“抽签”，概率越高的词被抽中的机会越大。

一、温度采样

温度采样（Temperature Sampling）。这是控制模型“创造力”最常用的旋钮之一。

温度（Temperature）这个参数，会改变这些“山峰”的相对高度。它的作用是在计算最终概率前，对模型输出的原始分数（logits）进行缩放。

公式：

公式中 T 就是温度。高温使原始分数差距变小，模型更大胆、更有创造力；低温使原始分数差距变大，模型更保守、更自信。

图 2：不同温度对原始概率分布的影响示意

二、Top-K 采样

高温能让模型更有创意，但它有个风险：可能会选出完全不着边际的词。

比如在“今天天气真…”的例子里，即使概率极低，模型仍有可能选出“…香蕉”。这显然是胡说八道。

Top-K 采样的目的就是为了避免这种情况，思想就是只在概率最高的 K 个词里进行抽样。

高温后 Top-K（K=2）采样示例如下：

图 3：Top-K（K=2）采样示例

三、Top-P 采样

Top-P 采样，又叫核心采样。

Top-K 的一个缺点：K 值是固定的。有时候概率分布很“平”，我们可能需要一个很大的 K 值才能包含所有合理的选项；有时候概率分布很“尖”，可能前 2 个词就占了 99% 的概率，此时一个大的 K 值反而会纳入不必要的词。

对此缺点，提出了 Top-P 采样，它不再关心词的数量，而是关心概率的总量。

从概率最高的词开始往下加，直到这些词的累积概率总和超过一个阈值 P，然后就从这些词（这个集合被称为“核心”）里面进行采样。

高温后 Top-P（P=0.6）采样示例如下（“好”一个词的概率（70%）就已经超过了我们设定的阈值 P=0.6）：

图 4：Top-P（P=60%）采样示例

四、拒绝采样

前面的温度、Top-K、Top-P 都是在决定从哪些词里“抽签”，而拒绝采样（Rejection Sampling）则更像是一个“质检员”。

它在其他策略（如Top-P）选出一个词后，根据预设的规则（如“不允许重复”、“不允许出现不当词汇”）进行审查。如果符合规则就接受，不符合就拒绝并重新采样。

图 5：拒绝采样工作方式

代价：可能需要多次采样才能接受一个词。

五、策略组合与比较

一个典型的高质量文本生成流水线是这样的：

图 6：高质量文本生成流水线

对比总结：

OpenAI 等公司推荐的常见做法是：设定一个 Top-P 值（比如 0.9），然后再调整温度，一般不建议同时修改 Top-P 和 Top-K。

六、AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓