系统介绍

1. mbp pro
   

一、Ollama 安装与配置

1.1 跨平台安装指南

Ollama 作为本地运行大模型的利器，支持三大主流操作系统：

# macOS一键安装# Windows用户# Linux安装（Ubuntu/Debian为例）$USER# 添加用户权限# 启动服务

1.2 服务验证

# 输出ollama version is 0.5.7

出现上述则表示安装成功，可浏览器访问http://localhost:11434/验证

二、Deepseek 模型部署

2.1 模型下载与加载

以 deepseek r1 模型为例：

1. 访问https://ollama.com/library/deepseek-r1，默认为 7b 模型，如需其他模型，可以在当前页搜索所需模型
2. 模型详情页复制安装命令ollama run deepseek-r1
3. 安装完成后在终端执行：

# 执行后forhelp

• mac 后台标识

  

• win 后台标识

  见任务栏托盘区

2.2 模型验证测试

运行交互式对话测试：

请用Python写一个快速排序算法

当看到完整代码输出，说明模型已成功加载。

硬件要求建议：

• 最低配置：16GB 内存 + 8GB 显存
• 推荐配置：32GB 内存 + 16GB 显存（RTX 3060 级别）

三、安装交互 ui

3.1 chatbox

1. 下载地址chatboxai.app
2. 配置本地模型

• 进入设置页面

• 选择 ollama api (本地部署)
• 配置本机地址，默认http://127.0.0.1:11434

至此即可开启问答模式

3.2 Page Assist 浏览器插件

1. 安装地址Page Assist - 本地 AI 模型的 Web UI
2. 安装后简单配置即可开启问答模式，功能丰富，可以参考官方引导
3. 本插件支持本地知识库建设，因本次使用 Dify 建设，在此不赘述。

四、Dify 知识库搭建

参考文档地址Docker Compose 部署

4.1 环境准备

1.拉取源代码，准备环境

# mac os# 克隆 Dify 源代码至本地环境。clone# 进入 Dify 源代码的 Docker 目录cd# 复制环境配置文件

2.启动 Docker 容器（需要先安装 D ocker）

# 如果版本是 Docker Compose V1，使用以下命令：# 正常返回

在此阶段可能会遇到下列失败的情况，可以尝试切换源解决
我当时的条件

1. 修改配置后重启 docker
2. 办公网环境下

"https://registry-1.do...               14.9s ✘ api Error        context canceled                             14.9s ✘ worker Error     context canceled                             14.9s ✘ weaviate Error   context canceled                             14.9sError response from daemon: Head "": Get "": EOF

解决方法

• 右上角齿轮图标进入设置 -> Docker engine，在配置中添加
• 写入以下内容
  ocker）

"registry-mirrors""https://docker.hpcloud.cloud""https://docker.m.daocloud.io""https://docker.unsee.tech""https://docker.1panel.live""http://mirrors.ustc.edu.cn""https://docker.chenby.cn""http://mirror.azure.cn""https://dockerpull.org""https://dockerhub.icu""https://hub.rat.dev"

4.2 Dify 创建聊天

1. 访问http://localhost/（默认 80 端口） 进入 dify
2. 首次进入初始化设置账号密码
3. 点击 Dify 平台右上角头像 → 设置 → 模型供应商，选择 Ollama，轻点“添加模型”。

在配置 url 时，因为是 docker 服务，http://localhost:11434 存在无法访问的情况，可以尝试http://host.docker.internal:11434

4.至此，可以开始创建应用，在主页选择 全部 -> 创建空白应用 -> 填入应用信息即可

4.3 Dify 知识库创建

1. 主页选择 知识库 -> 创建知识库 -> 上传知识 -> 等待处理完成

   

2. 进入聊天应用，选择刚才创建的知识库，即可开始带有私域知识的沟通

五、应用测试

5.1 翻译场景

1.本地客户端具有部分国际化测试文件需要执行翻译，格式示例如下，多层嵌套的 json 格式，value 为string类型。需要利用大模型对整个 json 文件进行翻译，将中文翻译为英文后按原格式返回

"window""willUnload""title""确认刷新当前页面吗?""message""系统可能不会保存您做的更改""unload_bt""重新加载""cancel_bt""取消"

2.实际应用测试，以deepseek-r1:7b/14b模型做测试。得到结果如下

3.执行脚本trans.js

"fs""axios"return"utf8"ifelse"deepseek-r1:14b"let${key}"http://localhost:11434/api/generate"'deepseek-r1:7b'"key1""翻译后的文本1""key2""翻译后的文本2""""${JSON.stringify(text)}"""false${key}"</think>"""'response.data.response:'return"翻译出错:"returnletwhileifbreakreturnreturn"utf8"ifelsefunction""ifreturnfalse"root"if"object"ifreturnfalse"root"ififreturnfalse"root"forlet${path}${i}ifreturnreturntrueelseifreturnfalse"root"ifreturn"string""string"truefalse"root"ifreturnfalse"root"for${path}${key}ifreturnfalseifreturnreturntrueelsereturn"string""string"truefalse"root"functionreturn"[object Object]""run main""./locales/zh.json"${MODEL}"翻译完成，结果是否存在遗漏项：""翻译完成，结果已写入:""处理过程中出错:""run main"

7b

false'menu'false'menu'

翻译结果

"window""willUnload""title""What should you confirm before refreshing the current page?""message""the system might not save your changes""unload_bt""Reload""cancel_bt""Cancel"

14b

truetrue

翻译结果

"window""willUnload""title""Confirm to refresh the current page?""message""The system may not save your changes.""unload_bt""Reload""cancel_bt""Cancel"

4.整体体验下来，14b 模型在翻译工作上比 7b 模型更为准确，一次性翻译成功率高。7B 模型翻译结果噪声多，返回结果可序列化效果差。翻译结果远远不如 14b。

五、AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓