前言

一些个人学习记录

Embedding模型选择

四处蒸馏的资料，可能已不是实时的了，变得太快了

通用文本嵌入模型

1、BGE-M3（智源研究院）
特点：支持100+语言，输入长度达8192tokens，融合密集、稀疏、多向量混合检索，适合跨语言长文档检索。
适用场景：跨语言长文档检索。
2、text-embedding-3-large(OpenAI)
特点：向量维度3072，长文本语义捕捉能力强，英文表现优秀
适用场景：英文内容优先的全球化应用
3、Jina-embeddings-v2（Jina AI）
特点：参数量仅35M，支持实时推理（RT<50ms），适合轻量化部署。
适用场景：轻量级文本处理、实时推理任务

中文嵌入模型

1、xiaobu-embedding-v2
特点：针对中文予以优化，予以理解能力强
适用场景：中文文本分类、语义检索
2、M3E-Turbo
特点：针对中文优化的清凉模型。适合本地私有化部署
适用场景：中文法律、医疗领域检索任务
3、stella-mrl-large-zh-v3.5-1792
特点：处理大规模中文数据能力强捕捉微语义关系。
适用场景：中文文本高级语义分析、自然语言处理任务

指令驱动与复杂任务模型

1、gte-Qwen2-7B-instruct（阿里巴巴）
基于Qwen2的指令优化型嵌入模型

• 指令优化：经过大量指令-响应对的训练，特别擅长理解和生成高质量的文本
• 性能表现：在文本生成、问答系统、文本分类、情感分析、命名实体识别和语义匹配等任务中表现优异
• 适合场景：适合复杂问答系统，处理复杂的多步推理问题，能够生成准确且自然的答案

优势：

• 指令理解和执行能力强，适合复杂的指令驱动任务
• 多语言支持，能够处理多种语言的文本
• 在文本生成和语义理解任务中表现优异

局限：

• 计算资源需求较高，适合资源充足的环境

特点：基于Qwen大模型微调，支持代码与文本跨模态检索。

适用场景：复杂指令驱动任务、智能问答系统

2、E5-mistral-7B（Microsoft）
特点：基于Mistral架构，Zero-shot任务表现优于
适用场景：动态调整语义密度的复杂系统

企业级与复杂系统

1、BGE-M3(智源研究院)
特点：适合企业级部署，支持混合检索
适用场景：企业级语义检索、复杂RAG应用
2、E5-mistral-7B（Microsoft）
特点：适合企业级部署，支持指令微调
适用场景：需要动态调整予以密度的复杂系统