1、Ollama

1、下载Ollama安装包

https://ollama.com/download

(如果下载很慢 可以直接找我拿安装包)

2、使用命令行安装

打开cmd 将下载的安装包OllamaSetup.exe 放到想要安装的目录下。(如果直接双击,会装到C盘)

例如想装到D盘下的Ollama目录下 这样输入命令行

JavaScript
D:
cd D:\Ollama

然后运行安装包到对应目录,在命令行输入:
OllamaSetup.exe /DIR="D:\Ollama"

测试是否安装成功,在命令行输入,输出版本号,代表安装成功

JavaScript
 ollama -v

3、安装模型

模型地址可见:https://ollama.com/search

安装deepseek的ri模型 在命令行输入:

JavaScript
ollama run deepseek-r1:1.5b

模型安装成功,输入问题 看是否会回复。

如果只是用命令行问问题,过于死板了,来起个docker服务+openUI搭建可视化界面。

2、Docker

1、启动windows功能

找到控制面板下的<程序>

找到程序下的 启用或关闭Windows功能

把这些红框下的 勾选上

2、下载对应系统的docker安装包

https://www.docker.com/products/docker-desktop/

双击下载的 Docker Desktop 安装包,启动安装程序

安装过程中根据提示进行安装,建议选择默认选项,包括启用 WSL 2 和 Hyper-V

安装完成后,系统会提示你重启计算机。请务必重启计算机以完成安装

如果有报错 看这里试试:

1、An error occurred while updating WSL.

1、安装wsl

报错 操作超时

wsl --set-default-version 2

2、Unable to find image 'hello-world:latest' locally

配置镜像

JavaScript
 "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn",
    "https://registry.docker-cn.com",
    "https://do.nark.eu.org",
    "https://dc.j8.work",
    "https://docker.m.daocloud.io",
    "https://dockerproxy.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://docker.nju.edu.cn"
  ]

再次运行成功。

3、OpenUI

https://docs.openwebui.com/getting-started/quick-start

1、通过docker安装open-ui

在命令行输入:

JavaScript
docker pull ghcr.io/open-webui/open-webui:main

在命令行输入:

JavaScript
docker run -d -p 3000:8080 -e WEBUI_AUTH=False -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

查看docker的容器 会发现多了个open-webui的容器

访问:http://localhost:3000/

恭喜你本地私有化部署成功,去体验吧

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐