CBOW(连续词袋模型)

使用上下文词预测中心词

前向传播

embeddings层

embeddings层其实是输入层和投影层的结合，负责接受输入的词索引，并映射成词向量后输出
$$\begin{gathered} 输入的one-hot编码向量为w_{1\times V} \\ embeddings层是一个V\times M的矩阵Q，其中: \\ V:词典中词语个数 \\ M:词向量维度 \\ Q就是我们最终希望得到的嵌入矩阵 \end{gathered}$$
一个词的上下文会包含多个词语，这些词语会被同时输入embeddings层，每个词语都会转换成一个词向量
$$\begin{gathered} w_{1}Q=c_1 \\ {w}_{2}Q=c_2 \\ ⋮ \\ {w}_{k}Q=c_k \\ C=[c_1,c_2,\cdots ,c_k] \\ C是序列对应的词向量矩阵，每个元素c_i(每一行)对应一个词的wordembedding \\ 输入embeddings层k个上下文词，得到k个对应的词向量 \\ 需要对多个上下文词进行统一表示: \\ h=\frac{1}{k}\sum _{i=1}^k{c}_i \end{gathered}$$
embeddings层的输出结果就是:将语义信息平均的向量h

embeddings层的本质就是一个查找表(look up table),因为其每一行都对应着一个词向量(如图所示)

优点

• embeddings层是可训练的，也就是说每一行对应的词向量可以更新，使最终词与词之间的语义关系能更好的表示
• 可以不进行矩阵运算，仅进行查表操作，效率高很多

线性层/输出层

特点:不设置激活函数
$$\begin{gathered} 前面的embeddings层输入进来的向量h\in R^{1\times M} \\ 线性层的输出的结果是一个词向量v\in R^{1\times V} \\ 所以线性层的权重矩阵W\in R^{M\times V} \\ {v}_{1\times V}=h\cdot W \\ v=[u_1,u_2,\cdots ,u_V] \\ {u}_j=W_j^{T}h \\ {W}_j:线性层权重矩阵的第i行 \\ 线性层输出U=[u_1,u_2,\cdots ,u_m] \end{gathered}$$

为什么CBOW中不设置激活函数Tanh或者ReLU呢(?)

• LLNM中设置激活函数(第一层感知机)是为了让预测下一个词变得更准确
• 但是CBOW中，我们只是想得到嵌入矩阵Q，然后进行正常的反向传播更新Q和W就可以
  • 并且embeddings层输出时，是进行了求平均向量这步线性操作，如果使用了非线性的激活函数，会破坏词向量之间的语义关系

Softmax层

将线性层的输出向量转换为概率分布
$$P(y_j|context)=\frac{exp(u_j)}{{\sum }_{i=1}^{V}exp(u_i)}$$

损失函数

$$\begin{gathered} L=-logP(w_t|w_c)=-log{P}_{true} \\ {w}_t:中心词 \\ {w}_c:所有上下文词 \\ {P}_{true}:Softmax输出的对应目标词位置的概率 \end{gathered}$$

使用mini-batch进行训练:
$$\begin{gathered} L=-\frac{1}{B}\sum _{i=1}^{B}logP(w_t^{(i)}|w_c^{(i)}) \\ B:Batch\_size;一个Batch的样本数{ \\ }^{(i)}:第i个样本 \end{gathered}$$

反向传播

$$\begin{gathered} 先回顾一下前向传播； \\ embeddings层输出:h=\frac{1}{V}\sum _{i=1}^V{w}_i\cdot Q \\ 线性层:u_j=W_j^{T}h \\ U=[u_1,u_2,\cdots ,u_m] \\ Softmax层:p_j=P(w_j|context)=\frac{exp(u_j)}{{\sum }_{i=1}^{V}exp(u_i)} \end{gathered}$$

对于损失函数:
$$\begin{gathered} E=-logP(w_t|w_c) \\ =-log(\frac{exp(u_t)}{{\sum }_{i=1}^{V}exp(u_i)}) \\ =-log(\frac{exp(W_t^T\cdot h)}{{\sum }_{i=1}^{V}exp(W_i^T\cdot h)}) \\ =-(W_t^T\cdot h-log\sum _{i=1}^{V}exp(W_i^T\cdot h)) \\ =-W_t^T\cdot h+log\sum _{i=1}^{V}exp(W_i^T\cdot h) \\ =-\frac{W_t^T\cdot {\sum }_{i=1}^V{w}_i\cdot Q}{V}+log\sum _{i=1}^V\frac{exp(W_i^T\cdot {\sum }_{i=1}^V{w}_i\cdot Q)}{V} \end{gathered}$$
计算梯度
$$\begin{gathered} 首先是对线性层的权重矩阵W求梯度: \\ 对当前的中心词w_t \\ {\nabla }_{W_t}=\frac{\partial E}{\partial W_t}=\frac{\partial }{\partial W_t}(-W_t^T\cdot h+log\sum _{i=1}^{V}exp(W_i^T\cdot h)) \\ =-h+\frac{\frac{\partial }{\partial W_t}exp(W_t^T\cdot h)}{{\sum }_{i=1}^{V}exp(W_i^T\cdot h)}=-h+\frac{exp(W_t^T\cdot h)\cdot h}{{\sum }_{i=1}^{V}exp(W_i^T\cdot h)}=-h+p_t\cdot h=(p_t-1)\cdot h \\ 对其他上下文词w_c \\ {\nabla }_{W_c}=\frac{\partial E}{\partial W_c}=\frac{\partial }{\partial W_c}(-W_t^T\cdot h+log\sum _{i=1}^{V}exp(W_i^T\cdot h)) \\ =p_c\cdot h \\ 可以得到一个统一形式: \\ {\nabla }_W=(p_i-y_i)\cdot h(y_i=1,当i=t) \end{gathered}$$

$$\begin{gathered} 对embeddings层的嵌入矩阵Q求梯度: \\ {\nabla }_Q=\frac{\partial E}{\partial U}\frac{\partial U}{\partial h}\frac{\partial h}{\partial Q} \\ =(p_i-y_i)\cdot W_i\cdot \frac{\partial }{\partial Q}(\frac{1}{V}\sum _{i=1}^V{w}_i\cdot Q) \\ =\frac{1}{V}((p_i-y_i)\cdot W_i\cdot \sum _{i=1}^V{w}_i) \\ 因为w_i是one-hot编码得到的二进制向量 \\ \sum _{i=1}^V{w}_i相当于是一个长度为V的全1向量 \\ 所以得到最终的梯度: \\ {\nabla }_Q=\frac{1}{V}(p_i-y_i)\cdot W_i \end{gathered}$$