适合零基础的本地AI部署指南 | 保姆级教程 🚀|含对话界面

目录

Hello!最近很多朋友都在问如何在本地部署大语言模型,既能保护隐私又能随时使用。

今天我就要分享一个超级无敌简单的教程,保证30分钟就能搞定!而且是真的超级简单哦,不会写代码的小白也能轻松搞定!

1.先检查一下本地电脑的配置

本教程使用的系统:Windows 11

GPU信息: 在这里插入图片描述

C盘要留够地方放模型(至少20GB啦)

要先装个Docker Desktop(还没装的小伙伴不要慌,有需要的话踢踢我,连夜肝教程。)

2. 拉取镜像

本教程为了环境配置简单,拉取的是与 Ollama 捆绑的 Open WebUI容器映像,这样子比较方便。

缺陷会占用比较多的C盘空间。

本教程适用C盘空间有富余(>20G)的人

Step1:打开Docker Desktop

docker desktop➡️containers➡️terminals➡️输入拉取指令,回车➡️等待下载

指令:

  • docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
    

    ps:以上指令适用于GPU版本,如果你是CPU版本的小可爱,记得看看官方文档哦~ :🏡 首页 |打开 WebUI — 🏡 Home | Open WebUI

在这里插入图片描述

等待拉取工作结束后,进入第二步。
PS:拉去完成之后,会自启动。所以直接按照下一步的教程,去访问本地网址即可。

Step2:访问Open WebUI

用你喜欢的浏览器,访问这个地址: http://localhost:3000

初次访问界面会需要你输入姓名、邮箱等信息,创建一个管理员账户。这一步的内容可以随便输入,使用虚假邮箱也可以。

重要的是记住你的账号信息,也许以后你会用到。

注册完成之后,就进入了主界面,如图所示:

在这里插入图片描述

Step3:配置模型

(3.1)左键单击网页左下方个人信息呼出菜单页➡️左键单击“设置”
在这里插入图片描述

(3.2)左键单击“管理员设置”

在这里插入图片描述

(3.3)选择一个模型下载

模型➡️下载按钮➡️粘贴ollama 下载模型的指令4️⃣点击下载按钮

此处示例下载的模型是:ollama run deepseek-r1:7b

如果你想下载其他的模型,请参考[附录1:如何在ollama网站选择模型 ◕‿◕✿]
在这里插入图片描述

等待模型下载完毕之后,刷新一下界面,就能在模型列表看到你刚刚下载的模型,如图:
在这里插入图片描述

step4:体验本地模型的运行效果

点击屏幕右上角“新对话”的标志

在这里插入图片描述

选择一个你想要使用的模型
在这里插入图片描述

开始体验本地模型的效果

在这里插入图片描述

对话的效果示例如图所示,具体的效果还请自己多尝试。

在这里插入图片描述

附录1:如何在ollama网站选择模型

step1:访问ollama模型网站

网站地址:https://ollama.com/library

选择一个你感兴趣的模型:
在这里插入图片描述

选择一个你想要体验的模型的大小:

如图所示,展开下来框,选择你想要体验的模型

(PS: 最好在选择模型之后,先搜索一下模型在本地运行时需要的配置,比如我的配置就带不动32b大小的模型)

在这里插入图片描述

复制拉取模型的指令:

在这里插入图片描述

复制指令之后,就可以粘贴到 Step3 (3.3)的对话框中。

好啦好啦!教程到这里就结束啦!是不是超级简单?
更新日期:2025年2月24日

特别感谢

(。♥‿♥。)超级感谢 Ollama 和 Open WebUI 的大佬们!让我们这么轻松地玩转AI!

如果觉得有帮助的话,别忘了点个小赞支持一下哦!后面还会有更多好玩的教程分享,我们下次见啦!(◍•ᴗ•◍)✧。

如果你在使用过程中遇到任何小问题,都可以来找我玩哦:cecaibabe@outlook.com

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐