Elasticsearch 8.13 向量搜索进阶：余弦相似度与 HNSW 算法

在 Elasticsearch 8.13 中，向量搜索是一种强大的功能，用于高效处理高维数据（如文本嵌入、图像特征等），广泛应用于推荐系统、语义搜索和相似度匹配场景。本回答将逐步解释余弦相似度（Cosine Similarity）和 HNSW（Hierarchical Navigable Small World）算法的核心概念、原理及其在 Elasticsearch 中的实现。内容基于 Elasticsearch 官方文档和向量搜索最佳实践，确保真实可靠。

1. 向量搜索基础介绍

向量搜索的核心是将数据表示为数值向量（例如，通过机器学习模型生成的嵌入向量），并通过相似度度量快速找到“最相似”的向量。Elasticsearch 8.13 支持 dense_vector 字段类型，允许存储和搜索高维向量。关键优势包括：

• 高效处理大规模数据集。
• 支持近似最近邻搜索（ANN），平衡精度和速度。
• 适用于实时应用，如电商推荐或内容检索。

接下来，我们将深入余弦相似度和 HNSW 算法。

2. 余弦相似度（Cosine Similarity）

余弦相似度是一种常用的向量相似度度量方法，特别适合高维稀疏数据（如文本 TF-IDF 向量或词嵌入）。它通过计算两个向量之间的夹角余弦值来评估相似度，忽略向量长度的影响，专注于方向一致性。

• 数学定义：
  给定两个向量 $\mathbf{A}$ 和 $\mathbf{B}$，余弦相似度公式为： $$ \cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|} $$ 其中：

  • $\mathbf{A} \cdot \mathbf{B}$ 表示点积（dot product），计算公式为 $\sum_{i=1}^{n} A_i B_i$。
  • $|\mathbf{A}|$ 和 $|\mathbf{B}|$ 分别表示向量的模长（magnitude），计算公式为 $\sqrt{\sum_{i=1}^{n} A_i^2}$ 和 $\sqrt{\sum_{i=1}^{n} B_i^2}$。
  • 结果范围在 $[-1, 1]$ 之间：$1$ 表示完全相同，$0$ 表示正交（无相关性），$-1$ 表示完全相反。

• 在向量搜索中的应用：

  • 优点：对向量缩放不敏感，适合比较不同长度的向量（例如，文档长度不一的文本搜索）。
  • Elasticsearch 实现：在创建索引时，可通过 similarity 参数指定为 cosine。例如，搜索查询会计算查询向量与索引向量的余弦相似度，返回相似度最高的文档。
  • 使用场景：文本相似度匹配（如 Elasticsearch 的语义搜索插件）、用户画像推荐。

3. HNSW 算法（Hierarchical Navigable Small World）

HNSW 是一种高效的近似最近邻搜索（ANN）算法，用于加速大规模向量搜索。它通过构建多层图结构减少搜索复杂度，从 $O(n)$ 优化到近 $O(\log n)$，在保证高召回率的同时提升速度。Elasticsearch 8.13 默认使用 HNSW 作为向量索引算法。

• 算法原理：

  • 分层结构：HNSW 构建一个多层图，其中底层（第 0 层）包含所有数据点，上层（高层）包含少量“导航点”。搜索从高层开始，逐步向下层细化。
  • 小世界特性：每个点连接到邻近点（基于欧氏距离或余弦距离），但连接是“长距离”的，允许快速跳跃到目标区域。
  • 搜索过程：
    1. 从顶层随机点开始。
    2. 在当前层找到最近邻点。
    3. 移动到下层，重复步骤 2，直到底层。
    4. 在底层执行精细搜索，返回 top-k 最近邻。

  数学上，HNSW 优化距离计算。例如，余弦距离可转换为： $$ \text{余弦距离} = 1 - \cos(\theta) $$ HNSW 使用此距离构建图边。

• 优势：

  • 高效：处理百万级向量时，搜索延迟低（毫秒级）。
  • 高召回率：在近似搜索中保持高准确性。
  • 动态更新：支持实时添加或删除向量。

• 在 Elasticsearch 中的实现：

  • 通过 index 参数设置 HNSW 索引。例如，在映射定义中指定：

    PUT my_vector_index
    {
      "mappings": {
        "properties": {
          "my_vector": {
            "type": "dense_vector",
            "dims": 128,  // 向量维度
            "index": true,
            "similarity": "cosine",  // 使用余弦相似度
            "index_options": {
              "type": "hnsw",  // 指定 HNSW 算法
              "m": 16,        // 参数：每个点的连接数
              "ef_construction": 100  // 参数：构建时的候选集大小
            }
          }
        }
      }
    }
    

  • 参数说明：
    • m：控制图连接密度，值越大精度越高但内存占用增加（默认 16）。
    • ef_construction：构建索引时的候选点数，影响索引质量和速度。
    • 搜索时，可通过 knn 查询指定 ef_search 参数调整搜索精度。

4. Elasticsearch 8.13 中的最佳实践

结合余弦相似度和 HNSW，Elasticsearch 提供强大向量搜索能力：

• 配置步骤：
  1. 创建索引：定义 dense_vector 字段，设置 similarity 为 cosine 和 index_options 为 hnsw。
  2. 导入数据：添加文档时填充向量字段。
  3. 执行搜索：使用 knn 查询，例如：

     GET my_vector_index/_search
     {
       "knn": {
         "field": "my_vector",
         "query_vector": [0.1, 0.2, ...],  // 查询向量
         "k": 10,                          // 返回 top 10
         "num_candidates": 100             // 类似 ef_search
       }
     }
     

• 性能优化：
  • 维度选择：向量维度通常 128-768（如 BERT 嵌入），过高维度需调整 HNSW 参数。
  • 内存管理：HNSW 索引占用较多内存，监控集群资源。
  • 结合其他功能：使用过滤查询（如 filter 参数）缩小搜索范围。
• 适用场景：
  • 推荐系统：基于用户向量找相似物品。
  • 图像检索：使用 CLIP 等模型生成向量。
  • 文本搜索：增强 BM25 的语义理解。

5. 总结

在 Elasticsearch 8.13 中，余弦相似度和 HNSW 算法结合，为向量搜索提供了高效、精确的解决方案：

• 余弦相似度：通过方向性度量提升相似度计算鲁棒性。
• HNSW：通过分层图结构实现快速近似搜索，适合大规模数据。
• 整体优势：易于集成（只需简单配置），支持实时应用，召回率高。

建议参考 Elasticsearch 官方文档（如 Dense Vector 文档）进行实验。通过调整参数（如 m 和 ef_construction），您可以根据数据规模优化性能。如果您有具体数据集或问题，我可以进一步提供针对性建议！