本文主要介绍了深度学习模型剪枝技术，对比了结构化和非结构化两种方法。非结构化剪枝移除单个权重，压缩率高但硬件利用率低；结构化剪枝移除整个通道或卷积核，加速效果好但可能损失精度。文章详细解释了剪枝核心逻辑、两种方法优缺点、工程实践步骤及各种剪枝策略，并提供代码示例，帮助读者优化模型大小和推理速度。

一、为什么要剪枝？

剪枝通过移除模型中冗余或不重要的权重/神经元，减少参数量和计算量。比如一个 ResNet 可能有上千万个参数，但真正决定输出结果的那部分其实占比并不高。所以我们可以通过剪枝去掉这些“冗余权重”，在几乎不掉精度的情况下，让模型计算量更少、速度更快。

剪枝包括：

·非结构化剪枝：移除单个权重（稀疏化矩阵），压缩率高但硬件利用率低。

·结构化剪枝：移除整个通道/卷积核/注意力头，硬件加速友好。

剪枝能直接减少模型参数量和计算量（FLOPs），并且可以与量化结合，进一步压缩。

二、剪枝的核心逻辑

剪枝通常有两步：

1.评估重要性（哪些参数重要、哪些可删）；

2.删除不重要的部分，并微调恢复精度。

而“哪些部分”要删，就决定了我们剪枝的粒度，也就是今天的重点：结构化剪枝（Structured Pruning）和非结构化剪枝（Unstructured Pruning）

三、非结构化剪枝

非结构化剪枝，也叫“稀疏剪枝（Sparse Pruning）”。它是最自由、最细粒度的剪枝方式。

思想很简单，就是对每个参数单独评估，觉得小的就砍。

比如：

如果我们设定一个阈值 0.01，小于这个值的参数就直接剪掉变成 0：

非结构化剪枝精度损失小（因为只删不重要的参数），控制精细，理论上稀疏率越高，模型越小。但是由于硬件不擅长处理稀疏矩阵，实际加速效果差，并且存储时需要额外记录索引，带来开销。

所以非结构化剪枝更像是数学上变稀疏，而不是真正变快。适合研究或轻量化探索，不太适合直接部署。

四、结构化剪枝

结构化剪枝更接近“工程落地”的思路，思想是直接剪掉整个卷积核、通道、甚至层结构。

比如我们在 CNN 中：

·剪通道（Channel Pruning）：删掉一整列 feature map；

·剪卷积核（Filter Pruning）：删除整个 filter；

·剪层（Layer Pruning）：直接去掉某些层。

这时候模型的结构会真正变小，计算图也简化了，剪完后模型不仅参数变少，推理速度也会显著提升。

结构化剪枝可以实现真正的加速，并且部署简单（不需要特殊稀疏硬件），和 TensorRT、OpenVINO、ONNX 等框架兼容性好。

缺点就是粒度大，删多了容易掉精度，剪完结构变动大，微调成本高。结构化剪枝就比较适合部署导向的优化，比如在边缘设备、移动端上跑 CNN。

面试如果还追问你“那你知道有哪些剪枝策略吗”，可以简单提一下：

·基于权重（Magnitude Pruning）：删掉权值小的参数；

·基于BN通道（BN Scaling Pruning）：看 BatchNorm 的缩放系数；

·基于梯度或敏感度：看参数对损失的贡献；

·基于L1/L2正则：通过约束让模型自己“变稀疏”；

·动态剪枝（Dynamic Pruning）：在推理时动态决定是否剪掉某些路径。

不需要细讲，只要提到思路 + 分类，面试官就知道你有体系。

五、工程实践

在工程实践中，剪枝的步骤通常为：

1.训练完整模型；

2.根据权重或通道重要性剪枝；

3.微调恢复精度；

4.导出 ONNX → TensorRT 部署。

比如 PyTorch 就内置了 torch.nn.utils.prune 模块：

import torch.nn.utils.prune as prune
# 对卷积层进行非结构化剪枝
prune.l1_unstructured(model.conv1, name='weight', amount=0.3)
# 对卷积层进行结构化剪枝（按通道）
prune.ln_structured(model.conv1, name='weight', amount=0.3, n=2, dim=0)

结构化剪枝出来的模型直接可以导出推理，非结构化的要么稀疏化存储，要么重新稠密化。

剪枝的部分到此就结束了，回答的逻辑也大概就确定下来了！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2025 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要 《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？