DeepSeek基于Ollama本地部署及集成IDEA
最近,国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景,迅速成为 AI 领域的焦点。然而,随着用户数量的激增,DeepSeek 的在线服务时常面临访问压力,导致响应延迟甚至服务中断的情况。幸运的是,DeepSeek 作为一款开源模型,为用户提供了本地部署的解决方案。
为什么选择本地部署 DeepSeek?
- 稳定高效:无需担心网络波动或服务器压力,本地部署确保模型始终高效运行。
- 隐私安全:数据完全存储在本地,避免敏感信息外泄,保障用户隐私。
- 灵活便捷:支持离线使用,随时随地调用模型,满足多样化需求。
- 开源自由:DeepSeek 的开源特性让用户可以根据需求自定义优化,打造专属 AI 工具
1. 安装Ollama
我们可以访问 https://ollama.com/ 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Mac 版本。
Ollama 安装包下载完成后直接双击安装即可。
安装成功验证
1、 Ollama 安装完成后需要打开电脑的终端 ,也就是命令提示符,输入 ollama --version 并按回车键,这个操作是为了验证这个软件是否安装成功,如果显示如下版本提示说明安装成功。
2、浏览器输入 http://localhost:11434/ 也可以验证Ollama安装成功,如果安装失败检查11434端口是否被占用。
2.下载部署 Deepseek 模型
回到 https://ollama.com/ 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。
点击 Deepseek-r1 后会进入详情界面,里面有多个参数规模可供选择,从 1.5b 到 671b 都有。
需注意的是,这里我们需要根据自己电脑的硬件配置来选择模型大小。其中,具体用多少B的模型主要需要看内存(M芯片用户)。(windows用户看显卡显存)。
- 8G内存:1.5B (1.1GB模型大小)
- 16G内存:8B及以下(4.9GB模型大小)
- 32G内存:14B及以下(9GB模型大小)
- 64G内存及以上:32B及以下(20GB模型大小)
我是想要电脑低负载一点去长期跑,所以我这里就用8B模型了。
2.1 通过Ollama下载模型
注意根据自己电脑的配置,在终端(命令提示符)进行复制相应的命令去执行下载。
由于我下载的deepseek-r1:8b模型,对应就是 ollama run deepseek-r1:8b 命令
如果发现下载速度奇慢,可以根据contrl+c键取消本次下载,然后重新输入部署命令。只要没有退出Ollama,下载可以断点续传。
下载完成之后命令行会输出success信息,我们就直接可以在终端(命令提示符面板)中使用它了,下面是问deepseek一些问题。
如果想退出提问的话,mac电脑可以control+d键进行退出,以后如果我们需要再次使用 Deepseek 这个模型的话,我们可以直接打开命令提示符窗口,只需要再次在命令符提示窗口中输入 ollama run deepseek-r1:8b 指令即可。
2.2 安装对话UI
对话UI有多种方式,在安装的过程中可能会存在各种网络限制,为了更方便大家使用DeepSeek,列举两种UI的安装方式,第一种是Chrome的Page Assist插件,要求需要能访问谷歌商店进行插件下载;第二种是Chatbox客户端,大家根据实际情况选择其中一种进行安装即可。
2.2.1 Chrome插件Page Assist
进入Chrome的插件商店进行Page Assist插件安装,直接安装即可。
|
|
|
安装完成之后,在已安装插件列表找到插件并点击进入,为了后续方便的话,也可以固定到浏览器。
安装完成之后,可以看到目前电脑下载好的不同参数大小的模型。
当然英文有生疏的话可以更改语言,点击右上角设置,然后设置语言。
|
|
|
然后回到主界面选择模型,就可以开始聊天啦!
2.2.2 Chatbox客户端
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
下载好直接安装即可,安装好之后如果需要运行本地模型,需要修改设置。
配置可以是本地模型也可以是私有云部署的模型,具体只需要修改3对应的API域名即可。
设置好之后保存,就可以运行本地部署的模型了,下面是简单的对话。
3. 自定义知识库(基于Chrome插件Page Assist)
我们需要一个文本嵌入模型,打开终端,执行ollama pull nomic-embed-text
然后进入webui界面进行配置,选择文本嵌入模型并保存。
上传文件,可以上传多个文件到一个知识库
|
|
|
4. IDEA接入DeepSeek
目前,IDEA 中接入 DeepSeek,可以借助 CodeGPT 和 Continue 这两个插件。CodeGPT 目前用的人最多,稳定性有保障,Continue 接入最简单,IDEA 版本太低的话,无法使用。
注意:下面链接可以下载相应Idea版本的插件
Continue版本要求:https://plugins.jetbrains.com/plugin/22707-continue/versions
CodeGpt版本要求:https://plugins.jetbrains.com/plugin/21056-codegpt/versions
4.1 通过Continue插件集成
4.1.1 安装 Continue 插件
Continue 是一个适配 IntelliJ IDEA 的开源 AI 助手插件,旨在通过自然语言与代码的交互来提升开发效率。与 CodeGPT、GitHub Copilot 等类似,它基于大语言模型(如 OpenAI 、DeepSeek 或其他模型),为开发者提供实时代码生成、问题解决、单元测试生成等功能。
1、点击 IDEA 顶部菜单栏的 File > Settings(Windows/Linux)或 IntelliJ IDEA > Settings(macOS),在窗口左侧的导航栏中选择 Plugins 。
2、在搜索栏中输入 Continue,找到并安装即可。
4.1.2 通过API Key的方式集成
4.1.2.1 配置DeepSeek
IDEA 右侧便可以看到 Continue 的图标,选择添加 DeepSeek 模型和 DeepSeek Coder,再填写 DeepSeek API Key【进DeepSeek官网点击API开放平台进行注册并登录,新建API Key】。
|
|
|
4.1.2.2 API Key 获取
DeepSeek API KEY 可以在 DeepSeek 开放平台中自行创建,地址:https://platform.deepseek.com/api_keys
4.1.2.3 简单使用
由于通过API的方式直接集成DeepSeek极不稳定,用着用着就不能用了。
4.1.3 本地部署模型集成
4.1.3.1 配置Ollama
|
|
|
4.1.3.2 简单使用
4.2 通过 CodeGPT 插件集成
CodeGPT 是一款人工智能代码助手,是 GitHub Copilot、AI Assistant、Codiumate 和其他 JetBrains 插件的强大替代品,支持集成市面上常见的大模型。
4.2.1 安装 CodeGPT 插件
1、点击 IDEA 顶部菜单栏的 File > Settings(Windows/Linux)或 IntelliJ IDEA > Settings(macOS),在窗口左侧的导航栏中选择 Plugins 。
2、在搜索栏中输入 CodeGPT,找到并安装即可
4.2.2 本地部署或私有云部署
4.2.3 简单使用
更多推荐
所有评论(0)