title: 本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家?
tags: 本地AI,私有大模型,Ollama,DeepSeek,大模型部署,AI隐私,离线AI,本地部署大模型,DeepSeek本地部署
category: 人工智能

本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家?

上个月我退订了用了两年多的 ChatGPT Plus。不是因为用不起那每月145块钱——是因为我终于想明白了一件事:我的数据,凭什么免费送给别人的服务器?


上周五晚上十一点,我需要处理一份内部检修报告,涉及地铁轨道沉降的历史数据。

打开 ChatGPT —— 犹豫了三秒,关掉了。

这份数据如果上传到云端,性质上够我写一份检查。然后我打开终端,敲了四个单词:

ollama run deepseek-r1:7b

五秒后模型开始跑。断网、免费、数据没离开这台机器。生成的报告第二天直接交上去了。

这就是我花了两个月把本地部署大模型这件事从头捋到尾的原因。这个系列10篇,从"为什么要搞"到"生产级部署",篇篇能跑,不废话。如果你还在犹豫要不要把 DeepSeek 本地部署到自己的电脑上,这篇帮你把账彻底算清楚。


目录

  1. 先说结论:本地AI到底值不值得搞?
  2. 云端AI的3个痛点——哪个戳中了你?
  3. 本地AI能做什么?
  4. 你的电脑能跑吗?硬件门槛说清楚
  5. 主流方案横评:4条路线怎么选
  6. 算笔经济账:本地 vs 云端一年差多少
  7. 这个系列会带你走到哪?
  8. 常见疑问快答

1. 先说结论:本地AI到底值不值得搞?

值得,但不是所有人都需要立刻搞。

先给你一张表,三秒对号入座:

你的情况 建议
每天用AI超过30分钟,且涉及隐私内容 立刻搞,一年还能省2400块
用ChatGPT/文心一言主要做翻译、写邮件 可以等等
是程序员/技术爱好者,想折腾 必须搞
电脑是5年前的老机器 先看第4节硬件门槛,8GB内存就够
公司明文不让用云端AI处理业务数据 立刻搞,这是你唯一合法合规的选择

📊 建议配图:一张决策流程图,帮助读者快速判断自己属于哪类人群。


2. 云端AI的3个痛点——哪个戳中了你?

痛点1:隐私——你说的每一句话,都躺在别人服务器上

用 ChatGPT、文心一言、通义千问时,你发的每一条消息都存在别人那里:

  • 聊了什么?服务器知道
  • 上传了什么文档?服务器存着
  • 什么时间、什么IP?有完整日志

对企业数据、个人隐私文档来说,这就是在别人电脑上写日记。OpenAI 自己都承认用用户对话训练模型——后来虽然给了关闭选项,但那个开关藏在设置菜单第六层,你找到了吗?

2024年三星电子就发生过员工将内部代码粘贴到ChatGPT被开除的事件。这不是危言耸听。

本地AI的好处:所有数据在你自己硬盘上,拔掉网线照样跑,没有第三个人能看到你的对话。

痛点2:费用——"免费"的东西,账单在别处

你以为是免费的,实际上你交的是"数据税"。抛开隐私不说,光算真金白银:

使用方式 月费用 年费用
ChatGPT Free(免费版) ¥0 ¥0,但GPT-4o有额度、高峰期排队
ChatGPT Plus $20(约¥145) ¥1740
Claude Pro $20(约¥145) ¥1740
文心一言专业版 ¥49.9 ¥598.8
通义千问最高配 ¥99 ¥1188
API调用(中度使用) ¥50-200 ¥600-2400

本地AI呢?只交电费。

跑一个7B模型,CPU模式功耗约65W,一小时电费约5分钱。一年算下来不到50块。 差价 ≈ 请自己吃一顿好的,还剩一千多。

痛点3:断网 = 断AI

出差高铁过隧道信号没了?公司内网把AI网站封了?API突然涨价三倍?服务商融资烧完了?

云端AI的问题就一个:它不在你手里。

本地AI没有这些毛病。打开终端,一行命令,模型就在你眼前跑起来。不需要网络、不需要账号、不需要登录、不需要看任何人的脸色。


3. 本地AI能做什么?

别以为本地部署大模型只能"聊天",它能干的事比你想象的多得多:

实用场景清单

场景 具体用法 推荐模型
智能问答 替代ChatGPT日常对话,写报告、改文章 DeepSeek-R1、Qwen2.5
文档处理 批量摘要、翻译、分类 Qwen2.5-14B
代码助手 写代码、查Bug、写注释、重构 DeepSeek-Coder、Qwen2.5-Coder
知识库 喂自己的文档,AI基于你的资料回答 任意模型 + RAG
数据分析 分析Excel、CSV,生成图表和分析报告 Qwen2.5 + Python
多模态 看图说话、OCR识别、图文理解 Qwen2-VL、LLaVA

💡 一句话总结:上面所有功能,全部免费、全部离线、全部不泄露数据。这就是本地部署大模型的核心价值。

📊 建议配图:一张思维导图/脑图,展示本地AI的完整能力地图。


4. 你的电脑能跑吗?硬件门槛说清楚

这是被问最多的问题,先说结论:不需要显卡,8GB内存就够。

硬件配置对照表

你的配置 能跑的模型 体验如何
CPU + 8GB内存 1.5B~7B(量化版) 能用,速度3-8 token/s,日常问答足够
CPU + 16GB内存 7B~14B(量化版) 速度5-10 token/s,流畅
集显 + 16GB内存 7B~14B 比纯CPU快20%-30%
独显4GB + 16GB 7B~14B 速度20-40 token/s,丝滑
独显8GB + 32GB 14B~32B 速度30-60 token/s,很爽
独显12GB+ + 32GB 32B~70B(量化) 速度40-80 token/s,企业级体验

我第一台跑 DeepSeek 本地部署的机器就是纯CPU + 8GB内存的办公本,跑 DeepSeek-R1 7B 量化版,速度约5 token/s —— 不算快,但日常问答、写报告、看文档完全够用。

你的机器能跑哪个模型?

傻瓜公式:

所需内存 ≈ 模型参数量 × 量化系数

4-bit量化(Q4_K_M,最常用):
  7B模型  ≈ 需要4.5GB内存
  14B模型 ≈ 需要9GB内存
  32B模型 ≈ 需要20GB内存
  70B模型 ≈ 需要40GB内存

⚠️ 如果内存不够,Ollama会自动用硬盘当虚拟内存,但速度会断崖式下跌。建议模型大小不超过物理内存的70%。

📊 建议配图:硬件配置 → 能跑模型 → 体验效果的对照信息图。


5. 主流方案横评:4条路线怎么选

目前跑本地大模型主要有4条路:

方案 难度 灵活性 推荐指数 适合谁
Ollama ⭐(最简单) ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ 所有人,首选
LM Studio ⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐ 想要图形界面的用户
GPT4All ⭐⭐ ⭐⭐ ⭐⭐⭐ 纯CPU、低配老机器
vLLM / llama.cpp ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐ 开发者、追求极致性能

我的建议:95%的人选 Ollama 就够了

理由很简单:

  1. 安装一行命令搞定(下篇演示)
  2. 模型管理像 Docker 一样顺手:ollama pull 下载,ollama run 启动
  3. 自带 API 服务,方便接 OpenWebUI 等各种前端
  4. 社区活跃,文档全中文,教程满天飞
  5. Windows/Mac/Linux 全平台通吃

这个系列后续所有文章全部基于 Ollama + DeepSeek 展开。下一篇就从零带你装上。


6. 算笔经济账:本地 vs 云端,一年差多少?

以"每天用AI 1小时"为基准,来算明账:

项目 云端方案 本地方案
订阅费 ¥145/月(ChatGPT Plus) ¥0
API调用费 ¥50-200/月 ¥0
电费 ¥0 ¥4/月(CPU模式)
硬件投入 ¥0 ¥已有电脑,无额外投入
年总成本 ¥1740-2400 ¥48

💰 一年省下 ≈ ¥1700-2400。 相当于白捡一块2TB固态硬盘,或者一张不错的显卡。

当然要说实话:本地7B-14B模型的效果跟 GPT-4 目前还有差距。但日常80%的使用场景——问答、翻译、摘要、代码辅助、文档处理——已经够用了。而且差距在缩小,不是扩大。去年同期的本地模型还基本不能用,今年已经能打80分了。


7. 这个系列会带你走到哪?

从入门到生产级部署,完整路线图:

# 主题 你会学到
1 为什么要在本地跑AI(本篇) 建立认知、选对方案
2 Ollama 安装完整指南 3分钟跑起第一个模型
3 模型选型:哪些值得下,哪些是坑 不浪费硬盘和时间
4 OpenWebUI:给本地AI套上ChatGPT同款界面 像用ChatGPT一样用本地AI
5 本地知识库搭建(RAG) 让AI"记住"你所有的文档
6 本地AI当代码助手 VS Code + 本地模型,替代Copilot
7 Ollama 进阶配置 远程访问、并发、安全加固
8 实战项目:个人知识助手 完整项目,step by step
9 实战项目:批量文档处理 Python + 本地AI自动化流水线
10 生产级部署检查清单 从玩具到工具的最后一步

每一篇都附带完整配置命令 + 我亲自踩过的坑。复制粘贴就能跑。

📊 建议配图:系列路线图做成时间线/路线图风格的视觉图。


8. 常见疑问快答

Q:本地AI需要联网吗?
A:不需要。模型下载好之后,关掉WiFi照样跑。飞机上、地铁里、机房内网——能用电脑的地方就能用。

Q:本地AI会泄露数据吗?
A:不会。所有计算在你自己的CPU/GPU上完成,数据连出机器的门都找不到。

Q:真没显卡也能跑?
A:能。就是慢一点(3-8 token/s),但打字的速度本来也就这么快——它生成比你读得快就够了。后续第9篇会专门讲GPU加速方案。

Q:跟ChatGPT差多少?
A:日常问答、翻译、摘要:差距不大,普通用户未必分得出来。复杂推理、创意写作:GPT-4 目前还是强。但注意——这个差距在快速缩小,去年这个时候本地模型基本没法用。

Q:苹果M系列芯片能跑吗?
A:能,而且体验极好。M1/M2/M3 的统一内存架构跑大模型有先天优势,Ollama 原生支持 Apple Silicon。我同事的 M1 MacBook Air 跑 DeepSeek 本地部署,速度比我的办公本快三倍。

Q:手机能跑吗?
A:手机直接跑体验一般,不推荐。但可以电脑跑模型 → 手机远程访问,第7篇细讲。


我是 Ai_easygo,白天在上海地铁工务维保部门修轨道,晚上在家折腾大模型。

把 DeepSeek 本地部署到自己的破电脑上这件事,我踩过的坑、烧过的脑,全写进这个系列了。

如果你也受够了"上传中……"那个进度条、也担心过数据安全、也想把AI真正变成自己的工具——

👉 点个关注,下一篇手把手带你 3 分钟装上 Ollama,跑起你人生中第一个本地大模型。

下一期的画面是这样的:

curl -fsSL https://ollama.com/install.sh | sh
ollama run deepseek-r1:7b

两行命令,一个回车,你的电脑里就多了一个完全属于你的 AI。

——

💬 评论区来聊聊(也方便我判断后续写什么方向):

👍 还在用云端AI,观望中 —— 你最担心本地AI的什么问题?
👎 已经跑起来了 —— 你用的是哪个模型?体验如何?
💬 公司/学校不让用云端AI —— 你卡在哪一步?我看看能不能帮上忙。

🏷️ 发布时请添加标签:「本地AI」「私有大模型」「Ollama」「DeepSeek」「大模型部署」「本地部署大模型」「DeepSeek本地部署」,以提升推荐曝光。


系列导航

# 文章主题 状态
01 为什么要把大模型搬回家 ✅ 本篇
02 Ollama 安装完整指南:3分钟跑起第一个模型 ⏳ 下一篇
03 模型选型指南:哪些值得下,哪些是坑 📋 计划中
04 OpenWebUI:给本地AI套上ChatGPT同款界面 📋 计划中
05 本地知识库 RAG 搭建实战 📋 计划中
06 VS Code + 本地模型:打造免费Copilot 📋 计划中
07 Ollama 进阶:远程访问、并发、安全 📋 计划中
08 实战项目:搭建个人知识助手 📋 计划中
09 实战项目:批量文档处理自动化 📋 计划中
10 从玩具到工具:生产级部署检查清单 📋 计划中
Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐