知识蒸馏是将大型教师模型知识迁移至小型学生模型的技术，能让小模型在保持高性能时降低计算与资源消耗。

如何将DeepSeek-R1 模型能力蒸馏到 Qwen-1.5B，使其具备与 o1-mini 相似的能力？该过程分准备和蒸馏两阶段，准备阶段选定教师（R1）和学生（Qwen-1.5B）模型，蒸馏阶段将教师知识提炼给学生模型，达成降低计算成本目的。

一、准备阶段

如何选择教师模型与学生模型？选择一个性能优秀的大型神经网络作为教师模型，并设计一个结构相对简单的小型神经网络作为学生模型。

DeepSeek-R1-70B，一个经过大规模强化学习训练出的教师模型，在数学、编程等推理任务上表现出色。

Qwen-1.5B，一个参数较少、计算资源需求较低的学生模型，需要通过蒸馏过程学习R1的推理能力。

如何构建蒸馏数据集？选择一个与R1模型训练时相似或相关的数据集。这个数据集应该包含足够的样本，以覆盖R1模型所擅长的各种任务和场景。

（1）数学推理：meta-math/GSM8K_zh（中文数学题）

（2）通用问答：m-a-p/COIG-CQIA（逻辑推理、生活场景）

（3）代码生成：HuggingFace BigCode（编程问题与解决方案）

（4）科学知识：Haijian/Advanced-Math（高阶数学证明）

数据集统一为结构化JSON格式，包含指令（instruction）和带推理链的响应（response）

{  "instruction": "解方程√(5−√(5+x))=x",  "response": "<think> 首先平方两边得到5−√(5+x)=x²，再次平方整理得x⁴−2ax²−x+(a²−a)=0...  <answer>解的和为1</answer>"}

二、蒸馏阶段

如何进行知识蒸馏？在配备RTX 4090显卡（24GB显存）并使用支持4位量化训练的Unsloth工具环境下，将原始数据转为带推理链的JSON格式后，加载Qwen-1.5B学生模型、配置LoRA微调并启用DeepSeek-R1-70B教师模型输出引导，在低显存消耗下完成知识蒸馏 。

（1）硬件与工具准备

硬件配置：RTX 4090显卡（24GB显存）

工具：Unsloth，支持4位量化训练，显存占用降低70%

（2）数据预处理

将原始数据转换为带推理链的JSON格式

{  "instruction": "用户问：退货需要几天？",  "response": " 根据平台规则，退货审核需1工作日，物流回传需3-5工作日<answer>约3-7天</answer>"}

（3）一键启动蒸馏训练

使用unsloth库的FastLanguageModel，通过4位量化高效加载Qwen-1.5B学生模型，并配置LoRA（仅训练0.1%参数）进行微调，同时启用DeepSeek-R1-70B教师模型的输出引导，在RTX4090上以低显存消耗完成蒸馏训练。

from unsloth import FastLanguageModel# 4位量化加载模型（显存节省70%）model, tokenizer = FastLanguageModel.from_pretrained(    model_name = "Qwen/Qwen-1.5B",    max_seq_length = 2048,    load_in_4bit = True,)# 配置LoRA训练（仅训练0.1%参数）model = FastLanguageModel.get_peft_model(    model,    r = 8,               # LoRA秩    target_modules = ["q_proj", "v_proj"],  # 仅改注意力层)# 启动训练（RTX4090可运行）model.train(    training_data = "data.jsonl",    epochs = 3,    learning_rate = 2e-5,    batch_size = 4,    use_teacher_logits = True,  # 启用教师模型输出引导    teacher_model = "DeepSeek-R1-70B"  # 指定教师模型)

普通人如何抓住AI大模型的风口？

领取方式在文末

为什么要学习大模型？

目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。

随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：

人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！

最后

如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！

大模型全套学习资料领取

这里我整理了一份AI大模型入门到进阶全套学习包，包含学习路线+实战案例+视频+书籍PDF+面试题+DeepSeek部署包和技巧，需要的小伙伴文在下方免费领取哦，真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

四、LLM面试题

五、AI产品经理面试题

六、deepseek部署包+技巧大全

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~