本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家
title: 本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家?
tags: 本地AI,私有大模型,Ollama,DeepSeek,大模型部署,AI隐私,离线AI,本地部署大模型,DeepSeek本地部署
category: 人工智能
本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家?
上个月我退订了用了两年多的 ChatGPT Plus。不是因为用不起那每月145块钱——是因为我终于想明白了一件事:我的数据,凭什么免费送给别人的服务器?
上周五晚上十一点,我需要处理一份内部检修报告,涉及地铁轨道沉降的历史数据。
打开 ChatGPT —— 犹豫了三秒,关掉了。
这份数据如果上传到云端,性质上够我写一份检查。然后我打开终端,敲了四个单词:
ollama run deepseek-r1:7b
五秒后模型开始跑。断网、免费、数据没离开这台机器。生成的报告第二天直接交上去了。
这就是我花了两个月把本地部署大模型这件事从头捋到尾的原因。这个系列10篇,从"为什么要搞"到"生产级部署",篇篇能跑,不废话。如果你还在犹豫要不要把 DeepSeek 本地部署到自己的电脑上,这篇帮你把账彻底算清楚。
目录
- 先说结论:本地AI到底值不值得搞?
- 云端AI的3个痛点——哪个戳中了你?
- 本地AI能做什么?
- 你的电脑能跑吗?硬件门槛说清楚
- 主流方案横评:4条路线怎么选
- 算笔经济账:本地 vs 云端一年差多少
- 这个系列会带你走到哪?
- 常见疑问快答
1. 先说结论:本地AI到底值不值得搞?
值得,但不是所有人都需要立刻搞。
先给你一张表,三秒对号入座:
| 你的情况 | 建议 |
|---|---|
| 每天用AI超过30分钟,且涉及隐私内容 | 立刻搞,一年还能省2400块 |
| 用ChatGPT/文心一言主要做翻译、写邮件 | 可以等等 |
| 是程序员/技术爱好者,想折腾 | 必须搞 |
| 电脑是5年前的老机器 | 先看第4节硬件门槛,8GB内存就够 |
| 公司明文不让用云端AI处理业务数据 | 立刻搞,这是你唯一合法合规的选择 |
📊 建议配图:一张决策流程图,帮助读者快速判断自己属于哪类人群。
2. 云端AI的3个痛点——哪个戳中了你?
痛点1:隐私——你说的每一句话,都躺在别人服务器上
用 ChatGPT、文心一言、通义千问时,你发的每一条消息都存在别人那里:
- 聊了什么?服务器知道
- 上传了什么文档?服务器存着
- 什么时间、什么IP?有完整日志
对企业数据、个人隐私文档来说,这就是在别人电脑上写日记。OpenAI 自己都承认用用户对话训练模型——后来虽然给了关闭选项,但那个开关藏在设置菜单第六层,你找到了吗?
2024年三星电子就发生过员工将内部代码粘贴到ChatGPT被开除的事件。这不是危言耸听。
本地AI的好处:所有数据在你自己硬盘上,拔掉网线照样跑,没有第三个人能看到你的对话。
痛点2:费用——"免费"的东西,账单在别处
你以为是免费的,实际上你交的是"数据税"。抛开隐私不说,光算真金白银:
| 使用方式 | 月费用 | 年费用 |
|---|---|---|
| ChatGPT Free(免费版) | ¥0 | ¥0,但GPT-4o有额度、高峰期排队 |
| ChatGPT Plus | $20(约¥145) | ¥1740 |
| Claude Pro | $20(约¥145) | ¥1740 |
| 文心一言专业版 | ¥49.9 | ¥598.8 |
| 通义千问最高配 | ¥99 | ¥1188 |
| API调用(中度使用) | ¥50-200 | ¥600-2400 |
本地AI呢?只交电费。
跑一个7B模型,CPU模式功耗约65W,一小时电费约5分钱。一年算下来不到50块。 差价 ≈ 请自己吃一顿好的,还剩一千多。
痛点3:断网 = 断AI
出差高铁过隧道信号没了?公司内网把AI网站封了?API突然涨价三倍?服务商融资烧完了?
云端AI的问题就一个:它不在你手里。
本地AI没有这些毛病。打开终端,一行命令,模型就在你眼前跑起来。不需要网络、不需要账号、不需要登录、不需要看任何人的脸色。
3. 本地AI能做什么?
别以为本地部署大模型只能"聊天",它能干的事比你想象的多得多:
实用场景清单
| 场景 | 具体用法 | 推荐模型 |
|---|---|---|
| 智能问答 | 替代ChatGPT日常对话,写报告、改文章 | DeepSeek-R1、Qwen2.5 |
| 文档处理 | 批量摘要、翻译、分类 | Qwen2.5-14B |
| 代码助手 | 写代码、查Bug、写注释、重构 | DeepSeek-Coder、Qwen2.5-Coder |
| 知识库 | 喂自己的文档,AI基于你的资料回答 | 任意模型 + RAG |
| 数据分析 | 分析Excel、CSV,生成图表和分析报告 | Qwen2.5 + Python |
| 多模态 | 看图说话、OCR识别、图文理解 | Qwen2-VL、LLaVA |
💡 一句话总结:上面所有功能,全部免费、全部离线、全部不泄露数据。这就是本地部署大模型的核心价值。
📊 建议配图:一张思维导图/脑图,展示本地AI的完整能力地图。
4. 你的电脑能跑吗?硬件门槛说清楚
这是被问最多的问题,先说结论:不需要显卡,8GB内存就够。
硬件配置对照表
| 你的配置 | 能跑的模型 | 体验如何 |
|---|---|---|
| CPU + 8GB内存 | 1.5B~7B(量化版) | 能用,速度3-8 token/s,日常问答足够 |
| CPU + 16GB内存 | 7B~14B(量化版) | 速度5-10 token/s,流畅 |
| 集显 + 16GB内存 | 7B~14B | 比纯CPU快20%-30% |
| 独显4GB + 16GB | 7B~14B | 速度20-40 token/s,丝滑 |
| 独显8GB + 32GB | 14B~32B | 速度30-60 token/s,很爽 |
| 独显12GB+ + 32GB | 32B~70B(量化) | 速度40-80 token/s,企业级体验 |
我第一台跑 DeepSeek 本地部署的机器就是纯CPU + 8GB内存的办公本,跑 DeepSeek-R1 7B 量化版,速度约5 token/s —— 不算快,但日常问答、写报告、看文档完全够用。
你的机器能跑哪个模型?
傻瓜公式:
所需内存 ≈ 模型参数量 × 量化系数
4-bit量化(Q4_K_M,最常用):
7B模型 ≈ 需要4.5GB内存
14B模型 ≈ 需要9GB内存
32B模型 ≈ 需要20GB内存
70B模型 ≈ 需要40GB内存
⚠️ 如果内存不够,Ollama会自动用硬盘当虚拟内存,但速度会断崖式下跌。建议模型大小不超过物理内存的70%。
📊 建议配图:硬件配置 → 能跑模型 → 体验效果的对照信息图。
5. 主流方案横评:4条路线怎么选
目前跑本地大模型主要有4条路:
| 方案 | 难度 | 灵活性 | 推荐指数 | 适合谁 |
|---|---|---|---|---|
| Ollama | ⭐(最简单) | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 所有人,首选 |
| LM Studio | ⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | 想要图形界面的用户 |
| GPT4All | ⭐⭐ | ⭐⭐ | ⭐⭐⭐ | 纯CPU、低配老机器 |
| vLLM / llama.cpp | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | 开发者、追求极致性能 |
我的建议:95%的人选 Ollama 就够了
理由很简单:
- 安装一行命令搞定(下篇演示)
- 模型管理像 Docker 一样顺手:
ollama pull下载,ollama run启动 - 自带 API 服务,方便接 OpenWebUI 等各种前端
- 社区活跃,文档全中文,教程满天飞
- Windows/Mac/Linux 全平台通吃
这个系列后续所有文章全部基于 Ollama + DeepSeek 展开。下一篇就从零带你装上。
6. 算笔经济账:本地 vs 云端,一年差多少?
以"每天用AI 1小时"为基准,来算明账:
| 项目 | 云端方案 | 本地方案 |
|---|---|---|
| 订阅费 | ¥145/月(ChatGPT Plus) | ¥0 |
| API调用费 | ¥50-200/月 | ¥0 |
| 电费 | ¥0 | ¥4/月(CPU模式) |
| 硬件投入 | ¥0 | ¥已有电脑,无额外投入 |
| 年总成本 | ¥1740-2400 | ¥48 |
💰 一年省下 ≈ ¥1700-2400。 相当于白捡一块2TB固态硬盘,或者一张不错的显卡。
当然要说实话:本地7B-14B模型的效果跟 GPT-4 目前还有差距。但日常80%的使用场景——问答、翻译、摘要、代码辅助、文档处理——已经够用了。而且差距在缩小,不是扩大。去年同期的本地模型还基本不能用,今年已经能打80分了。
7. 这个系列会带你走到哪?
从入门到生产级部署,完整路线图:
| # | 主题 | 你会学到 |
|---|---|---|
| 1 | 为什么要在本地跑AI(本篇) | 建立认知、选对方案 |
| 2 | Ollama 安装完整指南 | 3分钟跑起第一个模型 |
| 3 | 模型选型:哪些值得下,哪些是坑 | 不浪费硬盘和时间 |
| 4 | OpenWebUI:给本地AI套上ChatGPT同款界面 | 像用ChatGPT一样用本地AI |
| 5 | 本地知识库搭建(RAG) | 让AI"记住"你所有的文档 |
| 6 | 本地AI当代码助手 | VS Code + 本地模型,替代Copilot |
| 7 | Ollama 进阶配置 | 远程访问、并发、安全加固 |
| 8 | 实战项目:个人知识助手 | 完整项目,step by step |
| 9 | 实战项目:批量文档处理 | Python + 本地AI自动化流水线 |
| 10 | 生产级部署检查清单 | 从玩具到工具的最后一步 |
每一篇都附带完整配置命令 + 我亲自踩过的坑。复制粘贴就能跑。
📊 建议配图:系列路线图做成时间线/路线图风格的视觉图。
8. 常见疑问快答
Q:本地AI需要联网吗?
A:不需要。模型下载好之后,关掉WiFi照样跑。飞机上、地铁里、机房内网——能用电脑的地方就能用。
Q:本地AI会泄露数据吗?
A:不会。所有计算在你自己的CPU/GPU上完成,数据连出机器的门都找不到。
Q:真没显卡也能跑?
A:能。就是慢一点(3-8 token/s),但打字的速度本来也就这么快——它生成比你读得快就够了。后续第9篇会专门讲GPU加速方案。
Q:跟ChatGPT差多少?
A:日常问答、翻译、摘要:差距不大,普通用户未必分得出来。复杂推理、创意写作:GPT-4 目前还是强。但注意——这个差距在快速缩小,去年这个时候本地模型基本没法用。
Q:苹果M系列芯片能跑吗?
A:能,而且体验极好。M1/M2/M3 的统一内存架构跑大模型有先天优势,Ollama 原生支持 Apple Silicon。我同事的 M1 MacBook Air 跑 DeepSeek 本地部署,速度比我的办公本快三倍。
Q:手机能跑吗?
A:手机直接跑体验一般,不推荐。但可以电脑跑模型 → 手机远程访问,第7篇细讲。
我是 Ai_easygo,白天在上海地铁工务维保部门修轨道,晚上在家折腾大模型。
把 DeepSeek 本地部署到自己的破电脑上这件事,我踩过的坑、烧过的脑,全写进这个系列了。
如果你也受够了"上传中……"那个进度条、也担心过数据安全、也想把AI真正变成自己的工具——
👉 点个关注,下一篇手把手带你 3 分钟装上 Ollama,跑起你人生中第一个本地大模型。
下一期的画面是这样的:
curl -fsSL https://ollama.com/install.sh | sh ollama run deepseek-r1:7b两行命令,一个回车,你的电脑里就多了一个完全属于你的 AI。
——
💬 评论区来聊聊(也方便我判断后续写什么方向):
👍 还在用云端AI,观望中 —— 你最担心本地AI的什么问题?
👎 已经跑起来了 —— 你用的是哪个模型?体验如何?
💬 公司/学校不让用云端AI —— 你卡在哪一步?我看看能不能帮上忙。
🏷️ 发布时请添加标签:「本地AI」「私有大模型」「Ollama」「DeepSeek」「大模型部署」「本地部署大模型」「DeepSeek本地部署」,以提升推荐曝光。
系列导航
| # | 文章主题 | 状态 |
|---|---|---|
| 01 | 为什么要把大模型搬回家 | ✅ 本篇 |
| 02 | Ollama 安装完整指南:3分钟跑起第一个模型 | ⏳ 下一篇 |
| 03 | 模型选型指南:哪些值得下,哪些是坑 | 📋 计划中 |
| 04 | OpenWebUI:给本地AI套上ChatGPT同款界面 | 📋 计划中 |
| 05 | 本地知识库 RAG 搭建实战 | 📋 计划中 |
| 06 | VS Code + 本地模型:打造免费Copilot | 📋 计划中 |
| 07 | Ollama 进阶:远程访问、并发、安全 | 📋 计划中 |
| 08 | 实战项目:搭建个人知识助手 | 📋 计划中 |
| 09 | 实战项目:批量文档处理自动化 | 📋 计划中 |
| 10 | 从玩具到工具:生产级部署检查清单 | 📋 计划中 |
更多推荐


所有评论(0)