大模型微调，简单来说，就是在一个已经训练好的通用的大模型（比如qwen3、deepseek等）的基础上，再给它“补课”，让它更擅长处理特定任务或领域的需求。

想象一下，大模型就像一个全能学霸，懂得很多知识，但可能对某些具体问题（比如医学、法律、或你的公司业务）还不够精通。微调就是拿一些特定领域的教材（数据），让这个学霸再针对性地学习一下，调整它的“脑回路”，使它在这些特定场景下回答得更精准、更专业。

一、大模型微调的作用

1、适应特定领域问答

经过预训练的基座模型虽然可以完成很多任务，比如回答问题、总结数据、编写代码等。但是，并没有一个模型可以解决所有的问题，尤其是行业内的专业问答、关于某个组织自身的信息等，是通用大模型所无法触及的。在这种情况下，就需要使用特定的数据集，对合适的基座模型进行微调，以完成特定的任务、回答特定的问题等。在这种情况下，微调就成了重要的手段。

2、预训练成本高(对比下微调就是花小钱办大事)

计算资源需求：大型模型的训练需要大量的计算资源，通常依赖于高性能的GPU（图形处理单元）或TPU（张量处理单元）。这些硬件设备的采购和维护成本非常高，尤其是在训练过程中需要长时间运行时。

3、数据安全与隐私

许多应用场景中，数据的安全性和隐私保护至关重要。使用预训练模型时，数据通常需要上传到云端进行处理，这可能带来数据泄露的风险。通过在本地进行微调，可以避免将敏感数据上传到云端，从而确保数据的安全和隐私，这对于金融、医疗等对数据安全有严格要求的行业尤为重要。

二、微调与RAG的区别

1） RAG

主要整合的是对知识库内容进行整合、汇总后输出，就像学霸不懂公司的业务知识，直接拿现有的参考资料进行回答问题，网上经常说的大模型知识库，说的就是RAG知识库，类似dify、coze等工作流系统，会自带rag知识库，只需要 上传问答，就能整理成大模型所需的资料。

2）微调

是通过训练，将领域知识灌注到大模型的大脑里，使模型学习到的私有化知识，就像让学霸通过培训和考试，学会了公司的业务知识，回答问题不需要拿参考书了。

都是领域内知识的灌注方式：我该怎么选？
建议：如果是变化频率非常高的业务内容，
建议选择rag方式，如：产品价格、产品库存等。
场景一：医学论文整理
1、了解医学领域相关知识：微调
2、依赖整理能力：微调
场景二：智慧库房
1、需要经常更新库房清单：RAG
2、具有正常对话能力：RAG
场景三：智慧销售
1、经常更新产品数据：RAG
2、销售语气让人感到舒适有特色：微调
三、怎么去微调模型

3.1 微调的步骤

1.选择开源大模型

选择一个在大规模数据集上预训练好的开源模型，如Qwen、deepseek等。

2.准备新任务数据集

收集并处理与特定任务相关的数据集，包括训练集、验证集和测试集。

3.设置微调参数及方法

根据任务特性和模型特点，设置合适的微调参数，如学习率、批处理大小、训练轮次等。

4.进行微调训练

在新任务数据集上对预训练模型进行进一步训练，通过调整模型权重和参数来优化模型在新任务上的性能。

5.评估与调优

使用验证集对微调后的模型进行评估，并根据评估结果调整模型结构和参数，直到达到满意的性能。

6.模型部署

将微调后的模型部署到实际的应用场景中，以实现模型的实用价值。

3.2 微调方法分类

1）全量微调

全量微调是指在预训练好的大模型基础上，针对特定任务或特定数据集进行进一步的训练，来适应新的任务需求。预训练模型通常在大规模数据上进行了广泛的训练，已经具备了一定的通用知识和特征提取能力。通过全量微调，可以将这些通用知识迁移到特定任务上，从而提高模型在该任务上的性能。

主要调整内容：

1. 模型参数

   所有层的权重：预训练模型的所有层（包括嵌入层、隐藏层、输出层等）的权重都会在微调过程中进行更新。每一层的所有部分都会根据提供的数据进行优化。

   偏置项：除了权重外，每个神经元的偏置项也会被调整。

2. 任务特定的输出层调整：通常情况下，预训练模型的输出层不适合特定任务。因此，需要在预训练模型的基础上添加任务特定的输出层。

3. 学习率：初始学习率通常设置得较小，以避免破坏预训练模型的权重。

优点：

充分利用预训练模型的通用知识，减少从零开始训练所需的时间和资源。数据集较小情况下性能较为好

缺点：

计算资源大，数据集较小情况下，容易导致过拟合，大规模数据集上消耗时间长。

2）部分微调-高效微调（Parameter-Efficient Fine-Tuning, PEFT）

适配器微调（Adapter Tuning）

通过在预训练模型中插入适配器模块（Adapters）来实现对特定任务的适应，不需要更新整个模型的参数，适配器模块插入到各个层中，每个模块都仅有少量参数组成。适配器模块主要通过非线性的方式将高纬度数值映射为低纬度，然后再将关键的低纬度数值映射到高纬度中方便大模型的编译计算。同时使用跳跃连接方式保证，如果适配器初始参数过会直接从输入到输出，来保证模型有效。

因原理是在大模型不同层次中插入适配器多个适配器可以存在同一模型中，每种适配器可以处理单独的一类问题，同一模型中可以插入不同的适配器模块，能够同时处理多种不同的任务。

因这种需要直接插入到模型层级中，导致训练复杂度与设计度较高。比较容易产生过拟合等问题。

低秩矩阵微调Lora(Low-Rank Adaptation)

LoRA 的核心思想是将预训练模型的权重矩阵分解为两个低秩矩阵的乘积。假设原有矩阵权重为W微调过程中拆解成两个低秩矩阵A、B的乘积，然后单独微调A和B矩阵，微调后再合并更新到原矩阵，这样就改变了原模型的参数内容，使模型学习到了新的知识。

优点：减少了训练参数数量，从而降低了计算和存储成本。资源少的情况下依然可以进行模型微调。灵活行较高能使用多种场景。

缺点：有一定技术复杂性相对全参调整需要多次尝试与实验。

注释：目前最常用的领域知识灌注方式就是低秩矩阵，但是训练效果需要多次尝试，有一定玄学在里面。

3）人类反馈的强化学习

（Reinforcement Learning from Human Feedback，RLHF）

RLHF是一种结合了强化学习（Reinforcement Learning）和人类反馈的训练方法，用于优化大模型的表现。它的核心步骤是：

1. 收集人类反馈(监督策略模型)

   让人类对模型的输出打分或排序，比如“这个回答很好”“那个回答不够友好”。

2. 训练奖励模型

   用人类反馈数据训练一个“奖励模型”，这个模型能预测哪些输出更符合人类偏好。

3. 强化学习优化

   用奖励模型指导大模型调整参数，通过强化学习算法（比如PPO，近端策略优化）让模型生成更高质量、更符合人类期望的输出。

训练步骤：以PPO为例

第一步：训练监督策略模型

从提示词数据集中取样一个提示词：首先，从包含各种提示词的数据集中随机选取一个提示词作为初始输入。

数据标记工程师给出期望的输出行为：然后，由人工标注员为这个提示词提供一个期望的故事内容或结构，这将作为模型的目标输出。

通过监督学习微调：接下来，使用监督学习的方法对模型进行微调，使其能够基于提供的提示词生成接近于预期结果的故事。

第二步：训练奖励模型

取样一个提示词和模型多个输出：在这个阶段，再次从数据集抽取一个提示词，并让模型产生多个不同的故事版本。

数据标记工程师给出优劣排序：人工标注员会对这些不同版本的故事进行评估并按质量高低进行排序。

训练奖励模型：最后，用这些带有评分的故事样本去训练一个奖励模型，该模型学会预测哪些故事更符合人类的标准。

第三步：采用近端策略优化进行强化学习

从提示词数据集取样一个新的提示词：继续从数据集中获取新的提示词作为下一个迭代的基础。

PPO模型由模型初始化：使用之前训练好的模型开始生成故事。

模型生成一个输出：模型尝试根据新提示词生成一个完整的故事。

奖励模型计算输出奖励值：接着，奖励模型会评价这个新生成的故事，并给出相应的分数。

利用PPO算法结合奖励更新策略：最后，通过Proximal Policy Optimization (PPO)算法，结合奖励模型的反馈来调整模型的行为，使得它在未来能够生成更加高质量的故事。

注释：PPO算法比较复杂，一般需要4个模型协同工作才能训练，对计算资源的消耗也是庞大的。后来深度求索团队，对PPO算法做了优化，开发了GRPO算法，省去奖励模型，最少的情况，只需要两个模型就可以训练。

4）DPO（直接偏好优化）

通过直接利用人类的偏好数据来优化模型。与传统的强化学习方法（如RLHF）不同，DPO不需要构建复杂的奖励模型，而是通过比较不同输出的优劣来进行训练。

DPO的核心在于创建一个包含人类偏好的数据集，每个数据对由一个提示和两个可能的输出（一个是首选，另一个是不受欢迎）组成。模型通过最大化生成首选输出的概率，同时最小化生成不受欢迎输出的概率来进行微调。这一过程可以看作是一个分类问题，模型的目标是提高对首选输出的生成概率，并降低对不受欢迎输出的生成概率。

从上图可以看出，同样的问题，DPO算法需要模型生成两个以上的答案，由人类标记最优的答案（偏好优化），再通过反向更新让大模型学习到人类的偏好。

四、主流微调框架

使用微调框架，可以避免写非常多的代码，提高开发效率，有的微调框架（llama factory、ms-swift），甚至可以做到 0 代码微调，只需要在页面上配置参数即可。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】