通过python进行文档内容的解析、分片、并调用向量模型将分片内容进行向量化,存入向量数据库中,其中向量转化可以使用开源的模型进行处理。

拉取模型

1.安装Ollama

访问Ollama官网下载并安装适用于本地操作系统的版本。

在这里插入图片描述

下载安装包后,执行安装程序,一直确认默认选项下一步就好。

在这里插入图片描述

安装完成后,在命令提示符或终端中执行:

ollama

显示如下即安装成功。

在这里插入图片描述

2.拉取BGE-M3模型

访问ollama官网,搜索BGE-M3模型,复制下载命令在命令提示符或终端中执行,等待下载,时间较长。

ollama pull bge-m3

在这里插入图片描述

等待模型下载完成,可通过 ollama list 验证是否安装成功‌

ollama list

在这里插入图片描述

本地通过python 调用BGE-M3模型,将内容进行向量化

在Pycharm的终端中安装 langchain-community 库

pip install langchain-community

在这里插入图片描述

此外,OllamaEmbeddings 可能依赖于其他库,具体取决于 langchain-community的实现细节。如果安装后遇到缺少其他库的错误,可以根据错误提示继续安装相应的库。

# 导入 OllamaEmbeddings 类,用于生成文本嵌入向量。
from langchain_community.embeddings import OllamaEmbeddings

# 初始化嵌入模型,指定模型名称为 bge-m3
embeddings = OllamaEmbeddings(model="bge-m3")

# 定义待处理文本
text = "Hello World!"

# 调用 embed_query 方法生成嵌入向量
embedding = embeddings.embed_query(text)

# 打印生成的嵌入向量的前5维特征值。
print(embedding[:5])  

输出向量:

在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐