fastText 作为一种词向量方案，除了能在本地训练词向量模型，它也特别适合做迁移学习（Transfer Learning），即在一个大规模语料上训练好词向量，然后将这个词向量迁移到其他下游任务中。

一、为什么要迁移词向量？

语言模型预训练的核心思想是：

语言中蕴含了大量结构和语义信息，如果先在大语料上训练一个好词向量，就可以把它拿到小数据集任务里复用，显著减少标注数据的需求。

具体到 fastText 的词向量：

• 由于它包含子词 (subword) 信息

• 对低资源、小样本场景尤其友好

• 词向量可无缝迁移到分类、检索、推荐系统等多种场景

二、迁移学习的常见做法

一般来说迁移 fastText 词向量有两种思路：

1. 直接固定向量

   • 在大规模无监督语料训练好词向量

   • 下游任务中，作为固定词向量

   • 分类模型 / 序列模型 仅学习其他权重，不更新 embedding

2. 微调词向量

   • 同样先预训练

   • 下游任务中把词向量初始化为 fastText 向量

   • 允许继续训练（也就是 fine-tune）

通常如果下游数据非常小，固定向量效果比较稳定；
如果下游数据规模还可以，就微调效果更好。

三、迁移示例

比如你在百万条新闻上训练好了 fastText 词向量 news.vec，希望迁移到一个商品分类任务。

这个商品分类可能只有几千条训练样本

迁移的 PyTorch 代码思路：

import fasttext
import torch
import torch.nn as nn

# 加载预训练 fastText 模型
ft_model = fasttext.load_model("news.bin")

# 构建词表
word2idx = {"<pad>": 0}
idx2word = ["<pad>"]
vectors = [torch.zeros(300)]  # 词向量维度

for word in ft_model.words:
    word2idx[word] = len(word2idx)
    idx2word.append(word)
    vectors.append(torch.tensor(ft_model.get_word_vector(word)))

embedding_matrix = torch.stack(vectors)

# 下游任务模型
class TextClassifier(nn.Module):
    def __init__(self, embedding_matrix, num_classes):
        super().__init__()
        self.embedding = nn.Embedding.from_pretrained(embedding_matrix, freeze=False)  # freeze=True 表示固定
        self.fc = nn.Linear(300, num_classes)

    def forward(self, x):
        x = self.embedding(x)
        x = x.mean(dim=1)
        return self.fc(x)

model = TextClassifier(embedding_matrix, num_classes=5)

这样就完成了 fastText 词向量的迁移：

• 先把大语料的词向量读入

• 构建 PyTorch 的 embedding 层

• 继续训练分类器

如果你想固定向量，只要把 freeze=True 即可。

四、迁移 fastText 词向量的优势

1. 对 OOV 友好
   fastText 子词特性，即使商品标题出现罕见词，也能有不错的向量

2. 迁移高效
   二进制模型通常几十 MB，容易部署

3. 多语言适配
   fastText 有丰富多语言模型，迁移到少数语种更容易

4. 下游任务表现更稳
   相比从零训练，更容易收敛

五、实际应用场景

• 商品/评论分类

• 搜索排序

• 智能推荐

• 知识图谱实体链接

• 客服意图识别

基本上任何需要文本向量化的任务，都可以先训练 fastText 词向量，再迁移。

六、进阶提示

• 如果你的词表和 fastText 预训练词表相差大，可考虑 继续训练（即用自己的数据再跑一遍 train_unsupervised）

• fastText 英文模型可直接迁移到其他欧系语言（相似字母结构），但如果是中日韩，需要重新训练子词切分

• 对于多语言项目，Facebook 提供的多语言预训练模型非常推荐，节省大量时间

七、总结

fastText 的词向量本质上是Word2Vec + 子词分片，它支持在大规模语料上快速预训练，并能无缝迁移到下游小样本任务，尤其在 OOV 场景下表现出色。