未登录词（Out-Of-Vocabulary, OOV）问题指在自然语言处理（NLP）任务中，测试或应用阶段出现的词汇未包含在模型训练时的词汇表中，导致模型无法正确处理这些词汇的现象。以下是其核心要点：

一、OOV问题的本质

1. 定义

   • 未登录词是训练阶段未见过的词汇，例如：
     • 训练词汇表：{"人工", "智能", "学习"}
     • 测试输入："人工智慧" → "智慧"即为OOV词。
   • 常见场景包括新词（如“元宇宙”）、拼写错误（如“深渡学习”）、专有名词（如“ChatGPT”）及多语言混合词。

2. 成因

   • 语言动态性：新词不断涌现，训练数据难以及时覆盖。
   • 数据局限性：低频词被过滤，或领域专业术语未充分收录。
   • 技术限制：固定词表大小无法涵盖所有可能词汇。

二、OOV问题的影响

1. 模型性能下降

   • 关键OOV词（如句子主干）会导致语义理解偏差，影响文本分类、机器翻译等任务精度。
   • 示例：将“爬洪山”误译为“爬衡山”，因“洪山”未登录。

2. 信息损失

   • 传统方法用<UNK>标记替代OOV词，所有未知词共享同一向量，丢失语义差异。

3. 实际应用瓶颈

   • 对话系统中人名/地名识别失败，或搜索引擎无法返回含新词的文档。

三、主流解决方案

1. 子词分割技术（主流）

• WordPiece（BERT采用）：
  将单词拆分为子词（subword），例如：
  • "区块链" → ["区", "块", "链"]
  • "ChatGPT" → ["Chat", "##G", "##PT"]。
    优势：OOV率从15%降至<3%，保留部分语义。
• Byte Pair Encoding (BPE)：
  通过合并高频字符对生成子词表，被GPT系列采用。
• FastText：
  基于字符n-gram生成词向量，即使拼写错误（如“bankinnng”）也能计算近似向量。

2. 字符级模型

• 直接处理字符序列（如英文按字母、中文按笔画），彻底规避词表限制。
  缺点：计算复杂度高，长文本处理效率低。

3. 混合策略

• 结合词级与字符级模型：常见词用词向量，OOV词转为字符序列处理。
• 示例："pineapple"不在词表时，拆分为字符['p','i','n','e','a','p','p','l','e']。

4. 其他方法

• 数据增强：注入拼写错误或同义词，提升模型鲁棒性。
• 外部知识库：整合词典、百科扩展词表。
• 领域适配：在专业语料（如医学文本）上微调模型，减少领域OOV。

四、语言差异与挑战

1. 多语言OOV率对比

   语言	OOV率	原因
   英语	1-5%	形态变化丰富（如时态、单复数）
   中文	3-8%	新词创造频繁（如“内卷”）
   德语	8-15%	超长复合词（如“Donaudampfschifffahrtsgesellschaft”）
   土耳其语	15-25%	高度黏着语（词缀组合多变）

2. 中文处理特殊性

   • 分词依赖字符级拆分（如BERT中文版将“量子计算”拆为["量","子","计","算"]）。
   • 需结合语素特征（前缀/后缀）提升词义预测，如“捕获量”拆为["捕获/B", "量/E"]。

五、最新进展（2023-2025）

• 动态词汇扩展：训练中动态纳入新词，避免固定词表限制。
• BPE-dropout：随机化子词分割，增强模型泛化能力。
• 多模态嵌入：融合文本、图像等信息，跨模态解决OOV（如CLIP模型）。

六、实践建议

1. 模型选型：
   • 通用任务：优先采用BERT或FastText（支持子词/字符级处理）。
   • 资源受限场景：用text-embedding-3-small（OpenAI）等压缩模型。
2. 中文优化：
   • 使用Chinese-BERT-wwm（全词掩码）或添加自定义词典。

OOV问题的本质是语言无限性与模型有限性的矛盾。随着子词技术与动态词表的发展，其影响逐步降低，但跨语言、低资源领域的挑战仍待突破。