本地部署AI大模型全指南:Ollama + Cherry Studio + AnythingLLM 安装与使用教程
安装各类工具软件的作用
Ollama:用于在本地部署和运行各种LLM语言模型,例如DeepSeek模型;
anythingLLM:帮助用户使用自己的语言与模型沟通,并参与构建本地知识库;
Cherry Studio:相较于anythingLLM,Cherry Studio是国产软件,使用起来更加简单人性化;
- 安装ollama
(1)在搜索框中搜索环境变量,点击编辑系统环境变量

(2)点击环境变量

- 在系统变量里点击新建,输入两个值:
变量名:OLLAMA_MODELS
变量值:F:\OllamaCache
注意:这里的变量值是F盘,实际请改成自己剩余空间最多的一块盘,千万不要选C盘!


(4)点击确定后,重启电脑(这里重启以后才能生效);
(5)重启后,下载安装包,双击直接安装;
安装包存放在nas当中(或可在官网下载),存放路径为:\\nas.seaarea.cn\共享空间\软件安装包\DeepSeek-windows版本部署\OllamaSetup.exe
- 安装完成后打开命令行工具(cmd或者Xterminal),通过命令来使用ollama工具:
例如:搜索框输入cmd,打开命令提示符,输入ollama -v并按回车运行可以查看软件版本


- 输入并回车运行:ollama pull deepseek-r1:1.5b 将会安装1.5b的DeepSeek模型

- 至此模型安装完毕,若要安装其他模型可以使用以下命令,但要注意模型越大占用资源越多:
ollama pull nomic-embed-text
ollama pull deepseek-r1:7b
ollama pull deepseek-r1:70b
三、安装Cherry Studio
(1)下载并运行安装包,默认下一步直接安装,注意尽量不要安装在C盘;
安装包存放在nas当中(或可在官网下载),存放路径为:\\nas.seaarea.cn\共享空间\软件安装包\DeepSeek-windows版本部署\Cherry-Studio-0.9.27-setup.exe
(2)打开软件后,点击左下角设置按钮,选择Ollama,点击管理,即可选择自己已安装的所有模型;

(3)点击“设置”,选择“模型服务”中的“硅基流动”,点击其下方的“管理”;

(4)选择最右边的“嵌入”,然后选择第一个“BAAI/bge-m3”加入模型即可;

(5)点击左上角聊天图标,即可开始与模型对话,点击上方模型,即可快速切换模型;

(4)点击左侧知识库图表,即可创建上传自己的知识库文件,在聊天界面选择下方知识库按钮即可让模型调用这个知识库来回答问题啦。


三、安装anythingLLM(该步骤与第二步Cherry Studio功能是一样的,属于另一种模型调用和构建知识库的方式,可无需进行,也可体验尝试安装)
(1)下载并运行安装包,若出现以下安全提示,则点击更多信息,仍要运行;
安装包存放在nas当中(或可在官网下载),存放路径为:\\nas.seaarea.cn\共享空间\软件安装包\DeepSeek-windows版本部署\AnythingLLMDesktop.exe

- 默认下一步安装,注意该文件过大,不要安装在C盘!

(3)运行anythingllm后,会看到模型选择界面,下滑找到Ollama,点击后会自动出现已安装的模型,可选择任意一个,并点击 → 进行下一步。

- 默认全部下一步,跳过调查,命名一个工作区Test,进入对话页面,即可开始使用DeepSeek r1 1.5B模型进行聊天了!

(4)点击上传箭头即可上传自己的知识库文件,如:pdf/txt/word等格式文件。

更多推荐



所有评论(0)