介绍

Open-web是一个可扩展、功能丰富、用户友好的自托管AI平台,旨在完全离线运行。它支持各种LLM运行程序,如Ollama和openai兼容的api,并为RAG内置推理引擎,使其成为强大的AI部署解决方案。
项目链接 Open-WebUI

部署前

open-webui笔者部署前使用的是ollama部署大模型,ollama是一个大模型部署组件,方法可以参考官网:ollama

open-webui部署流程

方法一:使用Python开启服务

1.安装Open web:打开终端,执行如下命令安装Open web

pip install open-webui
  1. 安装完成后,可执行以下命令启动Open web
open-webui serve

方法二:使用docker部署

  1. 安装好了ollama后,使用命令,拉取镜像并且启动容器:
docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda

在这里插入图片描述

  1. 在浏览器输入:http://{ip}:3000,注册后登录,就可以使用平台
    在这里插入图片描述在这里插入图片描述

在这里插入图片描述

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐