一年之前，初次接触 Transformer。当时只觉得模型复杂，步骤繁复，苦读论文多日也没有完全理解其中道理，只是泛泛地记住了一些名词，于其内部机理完全不通，相关公式更是过目便忘。

Self-Attention 是 Transformer 最核心的思想，最近几日重读论文，有了一些新的感想。由此写下本文与读者共勉。

笔者刚开始接触 Self-Attention 时，最大的不理解的地方就是 QKV 三个矩阵以及我们常提起的 Query 查询向量等等，现在究其原因，应当是被高维繁复的矩阵运算难住了，没有真正理解矩阵运算的核心意义。

因此，在本文开始之前，笔者首先总结一些基础知识，文中会重新提及这些知识蕴含的思想是怎样体现在模型中的。

一些基础知识：

• 向量的内积是什么，如何计算，最重要的，其几何意义是什么？

• 一个矩阵 W 与其自身的转置相乘，得到的结果有什么意义？

01

键值对注意力

这一节我们首先分析 Transformer 中最核心的部分，我们从公式开始，将每一步都绘制成图，方便读者理解。

键值对 Attention 最核心的公式如下图。其实这一个公式中蕴含了很多个点，我们一个一个来讲。请读者跟随我的思路，从最核心的部分入手，细枝末节的部分会豁然开朗。

假如上面的公式很难理解，那么下面的公式读者能否知道其意义是什么呢？

我们先抛开 QKV 三个矩阵不谈，self-Attention 最原始的形态其实长上面这样。那么这个公式到底是什么意思呢？

我们一步一步讲。XXT 代表什么？一个矩阵乘以它自己的转置，会得到什么结果，有什么意义？

我们知道，矩阵可以看作由一些向量组成，一个矩阵乘以它自己转置的运算，其实可以看成这些向量分别与其他向量计算内积。

此时脑海里想起矩阵乘法的口诀，第一行乘以第一列、第一行乘以第二列......嗯哼，矩阵转置以后第一行不就是第一列吗？

这是在计算第一个行向量与自己的内积，第一行乘以第二列是计算第一个行向量与第二个行向量的内积第一行乘以第三列是计算第一个行向量与第三个行向量的内积.....

回想我们文章开头提出的问题，向量的内积，其几何意义是什么？

答：表征两个向量的夹角，表征一个向量在另一个向量上的投影。

记住这个知识点，我们进入一个超级详细的实例：

下面的运算模拟了一个过程，即 XXT。我们来看看其结果究竟有什么意义。

投影的值大，说明两个向量相关度高。

我们考虑，如果两个向量夹角是九十度，那么这两个向量线性无关，完全没有相关性！

更进一步，这个向量是词向量，是词在高维空间的数值映射。词向量之间相关度高表示什么？

是不是在一定程度上（不是完全）表示，在关注词 A 的时候，应当给予词 B 更多的关注？

上图展示了一个行向量运算的结果，那么矩阵 XXT 的意义是什么呢？

矩阵 XXT 是一个方阵，我们以行向量的角度理解，里面保存了每个向量与自己和其他向量进行内积运算的结果。

我们回想 Softmax 的公式，Softmax 操作的意义是什么呢？

答：归一化

我们结合上面图理解，Softmax 之后，这些数字的和为 1 了。我们再想，Attention 机制的核心是什么？

加权求和

那么权重从何而来呢？就是这些归一化之后的数字。当我们关注"早"这个字的时候，我们应当分配 0.4 的注意力给它本身，剩下 0.4 关注"上"，0.2 关注"好"。当然具体到我们的 Transformer，就是对应向量的运算了，这是后话。

行文至此，我们对这个东西是不是有点熟悉？Python 中的热力图 Heatmap，其中的矩阵是不是也保存了相似度的结果？

观察上图，行向量与 X 的第一个列向量相乘，得到了一个新的行向量，且这个行向量与 X 的维度相同。

在新的向量中，每一个维度的数值都是由三个词向量在这一维度的数值加权求和得来的，这个新的行向量就是"早"字词向量经过注意力机制加权求和之后的表示。

一张更形象的图是这样的，图中右半部分的颜色深浅，其实就是我们上图中黄色向量中数值的大小，意义就是单词之间的相关度（回想之前的内容，相关度其本质是由向量的内积度量的）！

我们接下来解释原始公式中一些细枝末节的问题：

02

QKV矩阵

在我们之前的例子中并没有出现 QKV 的字眼，因为其并不是公式中最本质的内容。

QKV 究竟是什么？我们看下面的图：

其实，许多文章中所谓的 QKV 矩阵、查询向量之类的字眼，其来源是 X 与矩阵的乘积，本质上都是 X 的线性变换。

为什么不直接使用 X 而要对其进行线性变换？当然是为了提升模型的拟合能力，矩阵 W 都是可以训练的，起到一个缓冲的效果。

至此 Self-Attention 中最核心的内容已经讲解完毕。

最后再补充一点，对 self-attention 来说，它跟每一个 input vector 都做 attention，所以没有考虑到 input sequence 的顺序。

更通俗来讲，大家可以发现我们前文的计算每一个词向量都与其他词向量计算内积，得到的结果丢失了我们原来文本的顺序信息。

对比来说，LSTM 是对于文本顺序信息的解释是输出词向量的先后顺序，而我们上文的计算对 sequence 的顺序这一部分则完全没有提及，你打乱词向量的顺序，得到的结果仍然是相同的。

这就牵扯到 Transformer 的位置编码了，我们按住不表。

Self-Attention 的代码实现：

# Muti-head Attention 机制的实现from math import sqrtimport torchimport torch.nnclass Self_Attention(nn.Module):    # input : batch_size * seq_len * input_dim    # q : batch_size * input_dim * dim_k    # k : batch_size * input_dim * dim_k    # v : batch_size * input_dim * dim_v    def __init__(self,input_dim,dim_k,dim_v):        super(Self_Attention,self).__init__()        self.q = nn.Linear(input_dim,dim_k)        self.k = nn.Linear(input_dim,dim_k)        self.v = nn.Linear(input_dim,dim_v)        self._norm_fact = 1 / sqrt(dim_k)    def forward(self,x):        Q = self.q(x) # Q: batch_size * seq_len * dim_k        K = self.k(x) # K: batch_size * seq_len * dim_k        V = self.v(x) # V: batch_size * seq_len * dim_v        atten = nn.Softmax(dim=-1)(torch.bmm(Q,K.permute(0,2,1))) * self._norm_fact # Q * K.T() # batch_size * seq_len * seq_len        output = torch.bmm(atten,V) # Q * K.T() * V # batch_size * seq_len * dim_v        return output

# Muti-head Attention 机制的实现from math import sqrtimport torchimport torch.nnclass Self_Attention_Muti_Head(nn.Module):    # input : batch_size * seq_len * input_dim    # q : batch_size * input_dim * dim_k    # k : batch_size * input_dim * dim_k    # v : batch_size * input_dim * dim_v    def __init__(self,input_dim,dim_k,dim_v,nums_head):        super(Self_Attention_Muti_Head,self).__init__()        assert dim_k % nums_head == 0        assert dim_v % nums_head == 0        self.q = nn.Linear(input_dim,dim_k)        self.k = nn.Linear(input_dim,dim_k)        self.v = nn.Linear(input_dim,dim_v)        self.nums_head = nums_head        self.dim_k = dim_k        self.dim_v = dim_v        self._norm_fact = 1 / sqrt(dim_k)    def forward(self,x):        Q = self.q(x).reshape(-1,x.shape[0],x.shape[1],self.dim_k // self.nums_head)         K = self.k(x).reshape(-1,x.shape[0],x.shape[1],self.dim_k // self.nums_head)         V = self.v(x).reshape(-1,x.shape[0],x.shape[1],self.dim_v // self.nums_head)        print(x.shape)        print(Q.size())        atten = nn.Softmax(dim=-1)(torch.matmul(Q,K.permute(0,1,3,2))) # Q * K.T() # batch_size * seq_len * seq_len        output = torch.matmul(atten,V).reshape(x.shape[0],x.shape[1],-1) # Q * K.T() * V # batch_size * seq_len * dim_v        return output

 这份《AI产品经理学习资料包》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以在文末CSDN官方认证二维码免费领取【保证100%免费】
资料包： CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享

AI产品经理，0基础小白入门指南
作为一个零基础小白，如何做到真正的入局AI产品？

什么才叫真正的入局？

是否懂 AI、是否懂产品经理，是否具备利用大模型去开发应用能力，是否能够对大模型进行调优，将会是决定自己职业前景的重要参数。

你是否遇到这些问题：
1、传统产品经理

不懂Al无法对AI产品做出判断，和技术沟通丧失话语权
不了解 AI产品经理的工作流程、重点
2、互联网业务负责人/运营
对AI焦虑，又不知道怎么落地到业务中想做定制化AI产品并落地创收缺乏实战指导
3、大学生/小白
就业难，不懂技术不知如何从事AI产品经理想要进入AI赛道，缺乏职业发展规划，感觉遥不可及
为了帮助开发者打破壁垒，快速了解AI产品经理核心技术原理，学习相关AI产品经理，及大模型技术。从原理出发真正入局AI产品经理。

这里整理了一些AI产品经理学习资料包给大家
📖AI产品经理经典面试八股文
📖大模型RAG经验面试题
📖大模型LLMS面试宝典
📖大模型典型示范应用案例集99个
📖AI产品经理入门书籍
📖生成式AI商业落地白皮书

🔥作为AI产品经理，不仅要懂行业发展方向，也要懂AI技术，可以帮助大家：
✅深入了解大语言模型商业应用，快速掌握AI产品技能
✅掌握AI算法原理与未来趋势，提升多模态AI领域工作能力
✅实战案例与技巧分享，避免产品开发弯路

这份《AI产品经理学习资料包》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
资料包： CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享

AI大模型学习福利
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

大模型&AI产品经理如何学习
求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程
网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享前往获取

3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。

4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以CSDN大礼包：《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享免费领取【保证100%免费】🆓