AnythinLLM 搭本地知识库时报错

Error: 1 documents failed to add. LMStudio Failed to embed: [failed_to_embed]: 404 Failed to load model "deepseek-r1-distill-llama-8b". Error: Model is not embedding.
请添加图片描述
这个实际上是AnythinLLM 用的知识库模型不是我们加载的聊天模型,知识库用的是嵌入式模型。需要重新加载启动,

LM studio 举例

请添加图片描述
需要下载nomic-embed-text-v1.5-GGUF 这种模型,
下载完成后启动,
请添加图片描述

同时启动两个模型,聊天模型和本地知识库模型,

担心消耗资源的不用担心,我电脑没有显卡,使用的内存加载,速度还可以。

anything LLM 设置知识库模型

在这里插入图片描述

再次添加知识库文件
请添加图片描述
执行保存成功

相关资源

解决 anything LLM 报: Error 1 documents failed to add.问题

LM studio+AnythingLLM+Deepseek无上限模型本地部署知识库-Windows系统

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐