1、Ollama部署本地大模型+webui优化可视化页面

主要参考以下两篇文章和博客:https://blog.csdn.net/2401_85327249/article/https://zhuanlan.zhihu.com/p/22615618497

Ollama windows版直接从官网下载安装:Download Ollama on Windows

默认装在c盘,直接安装:

因为ollama默认安装在c盘,所以我们要按照这个教程https://zhuanlan.zhihu.com/p/22615618497把后面要拉取的模型安装到D盘。

运行

 ollama run deepseek-r1:1.5b

测试一下是否能成功将模型安装到D盘。

如果网速太慢,附上加速教程:ollama下载很慢,如何换源,如何加速下载?_ollama加速下载-CSDN博客

DeepSeek-R1-1.5b版本已经部署好。

ollama open-webui 部署(可视化优化)

这里选择docker容器来运行webui,教程参考:在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南_windows openwebui-CSDN博客

Docker 提供了一致的运行环境,适用于不同操作系统,特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境,使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。

先按照教程安装好Docker Desktop,然后下载open-webui:

docker pull ghcr.io/open-webui/open-webui:main main: Pulling from open-webui/open-webui

下载好后,然后运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

注意这里需要等他下载一堆乱七八糟的东西,再打开

注册一个号(open webui的管理员账号),选择模型,即可使用(记得选择之前先用ollama run一下)

使用。

2、MLLM本地的快速部署

模型下载,参考:Model Scope x Ollama:快速下载模型,提高开发效率!

通过这个方法下载魔塔社区的后缀GGUF模型。

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐