一、前言

Ollama 官网 https://ollama.com/

AnythingLLM 官网 https://anythingllm.com/desktophttps://anythingllm.com/ https://anythingllm.com/desktop

二、下载安装

2.1 安装Ollama

打开 https://ollama.com/download 根据电脑系统下载对应安装包

安装之后会出现一个羊驼的图标,点击即可运行Ollama

查看ollama 是否安装成功

ollama -v
## 返回 ollama version is 0.13.1

安装 deepseek-r1:1.5b

ollama run deepseek-r1:1.5b

其他版本可在官网进行选择安装 https://ollama.com/library/deepseek-r1

1b 代表十亿可调试参数,本地测试不建议选择过大参数,对GPU要求很高。

如果是第一次运行命令,会先下载 deepseek-r1:1.5b安装包(1.1G),请耐心等待,启动完成之后即可在命令行窗口与模型对话。

安装嵌入模型 embeddinggemma

(需要实现RAG时安装,仅测试模型可不安装)

ollama pull embeddinggemma

2.2 安装 AnythingLLM 

下载 AnythingLLM 

打开 https://anythingllm.com/desktop 根据电脑系统选择对应安装包,安装后运行即可

在设置中配置嵌入器

发送聊天

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐