这一次,我们聚焦核心需求“创建专属自己的RAG知识库”,让本地文档检索像搜索网页一样高效,全程用开源模型 nomic-embed-text 搞定文档向量化,新手也能轻松上手。

nomic-embed-text 是 Nomic AI 发布的一款 开源文本嵌入模型(text embedding model),主要用于将自然语言文本转换为高维向量表示。这些向量可以用于搜索、聚类、语义匹配、推荐、知识图谱、LLM 检索增强(RAG)等任务。

一、基本信息

  • 模型名称:nomic-embed-text
  • 开发团队:Nomic AI(同样开发了 Atlas 可视化平台)
  • 开源协议:Apache 2.0
  • 发布平台:Hugging Face / GitHub / Nomic 官方 API
  • 输入输出:
  • 输入:一段文本(可长可短)
  • 输出:一个固定维度的向量(embedding),如 dim=768 或更高

二、主要特性

  • 开源可商用
  • 完全开源,可自由部署在本地、云端或私有环境中。

  • 无需依赖 OpenAI 或其他闭源 API。

  • 高性能表现
  • 在多项语义相似度、检索任务上与 OpenAI 的 text-embedding-3-large 相媲美。

  • 支持多语言(英语表现最佳,也支持中文、法语等)。

  • 长上下文支持
  • 支持较长输入文本(如几千个 token),方便处理文档类场景。
  • 优化的 embedding 空间
  • 通过对比学习(contrastive learning)训练,使语义相关的句子在向量空间中更接近。

三、性能对比(示例)

模型 维度 是否开源 平均语义相似度 支持语音
nomic-embed-text-v1 768 ✅ 是 0.82 多语言
OpenAI text-embedding-3-large 3072 ❌ 否 0.84 多语言
all-MiniLM-L6-v2 384 ✅ 是 0.78 英语

四、典型应用场景

🔎语义搜索:基于向量检索文档内容

💬 问答系统(RAG):为 LLM 提供上下文支持

🧩 聚类/分类:分析文本语义相似度

🧠 知识图谱:节点表示学习

💡 推荐系统:基于内容的相似度推荐

五、相关版本

版本 发布时间 说明
nomic-embed-text-v1 2014年 首个主要版本,通用文本嵌入模型
nomic-embed-multilingual 预计中 多语言增强版(计划支持更多语言)

六、资源链接

🔗HuggingFace模型页
https://huggingface.co/nomic-ai/nomic-embed-text-v1
🔗Nomic官网
https://www.nomic.ai/
🔗GitHub仓库
https://github.com/nomic-ai

七、本地 RAG 知识库搭建步骤

  1. 下载嵌入模型

🔗下载模型 https://ollama.com/library/nomic-embed-text
首先我们复制要下载词嵌入模型名称来做RAG的文档向量化,在本地命令行中输入:
ollama pull nomic-embed-text

下载成功后会显示 "success"。
  1. 创建工作区+上传

  • 新建工作区,命名为 “本地知识库”(便于管理)

  • 上传需要检索的文档,支持 Word、PDF、TXT 等格式(我上传了 PowerFlex 结合 VMware 的管理安装手册)

  1. 文档向量化 + 存储

AI系统中可以使用不同的模型将文档切片做完向量化(不同的切片对应不同的向量表示),存储到向量数据库中就可以直接基于语义等相似性做检索了。

❗️❗️❗️ 注:真正的RAG是一个较复杂的系统,后续文章中我们会用一张思维导图单独说明RAG中用的各种技术。

下拉对话框,选择:Save and Embed,等待处理完成即可。

  1. 精准检索测试

直接问AI关于PDF中的知识点,AI先经过思考之后 ,检索向量数据库,将参考PDF中向量后的内容给出答案。

我的问题是:VMware ESXi 升级前提条件是什么?

系统快速返回了核心答案,对比官方手册后完全一致,召回率满分,确实和官方手册的文档一致,说明搭建的RAG系统没问题。

八、nomic-embed-text 其他使用方式

除了搭配RAG系统,还能通过两种方式单独使用,满足不同开发需求:

方式 1:通过 Hugging Face Transformers
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("nomic-ai/nomic-embed-text-v1")
embeddings = model.encode([
"人工智能正在改变世界。",
"AI is transforming the world."
])
print(embeddings.shape)  # 输出(2, 768),即2个文本,每个生成768维向量
方式 2:通过 Nomic 官方 API
import requests
response = requests.post(
"https://api-atlas.nomic.ai/v1/embedding/text",
json={"texts": ["Hello world!", "你好,世界!"]}
)
print(response.json())

九、AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

如果你也想通过学大模型技术去帮助就业和转行,可以扫描下方链接👇👇
大模型重磅福利:入门进阶全套104G学习资源包免费分享!

在这里插入图片描述

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点
在这里插入图片描述

02.AI大模型学习路线图(还有视频解说)

全过程AI大模型学习路线

在这里插入图片描述
在这里插入图片描述

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了,这些是我精选出来的

在这里插入图片描述
在这里插入图片描述

04.大模型面试题目详解

在这里插入图片描述

在这里插入图片描述

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

在这里插入图片描述
如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐