先分享一下这两个网站的 官方网址

Ollama : ollama.com/

Hugging Face: huggingface.co/

对于 Hugging Face 网站的访问 必须需要 科学上网才可以噢~

Ollama 和 Hugging Face 介绍

HuggingFace：

1、概述

HuggingFace 是一个知名的开源平台，专注于自然语言处理（NLP）和机器学习领域。它提供了大量预训练的大型语言模型（LLMs），如 GPT-3、BERT 和 RoBERTa，并构建了一个丰富的生态系统，支持模型的微调、评估和部署。HuggingFace 的目标是让开发者和研究人员能够轻松访问和使用这些先进的模型，推动 AI 技术的普及和应用。

2、核心功能与特点

预训练模型库：HuggingFace 提供了全球最大的预训练模型库之一，涵盖了 NLP、计算机视觉、语音处理等多个领域。这些模型支持 PyTorch 和 TensorFlow 等主流深度学习框架，适合多样化的 AI 项目需求。

Transformers 库：HuggingFace 的核心工具之一，提供了简单易用的 API，支持加载、微调和推理各种预训练模型。开发者可以快速上手并集成到自己的应用中。

Hugging Face Hub：一个云端平台，允许用户上传、共享和下载模型、数据集和代码。Hub 提供了全球社区的资源共享，极大地促进了协作和创新。

Open LLM Leaderboard：一个开放的排行榜，展示了各种大型语言模型的性能指标。对于想要探索和比较不同 LLMs 的用户来说，这是一个非常有价值的参考工具。

Datasets 库：提供了丰富的数据集资源，支持快速加载和处理数据，帮助开发者高效地进行模型训练和评估。

Accelerate 库：简化了分布式训练和推理的过程，支持在多 GPU 或 TPU 环境下高效运行模型。

3、生态系统与工具

HuggingFace 的生态系统非常成熟，提供了多种工具和资源，帮助开发者从模型开发到部署的全流程：

模型微调：通过 Transformers 库，开发者可以轻松地对预训练模型进行微调，以适应特定的任务或数据集。

模型评估：提供了多种评估工具和指标，帮助开发者衡量模型的性能。

模型部署：支持将模型部署到云端或本地环境，满足不同场景的需求。

社区支持：HuggingFace 拥有活跃的开发者社区，用户可以通过论坛、文档和教程获取帮助和支持。

4、云端支持与本地部署

云端支持：HuggingFace 提供了强大的云端基础设施，用户可以通过 Hugging Face Hub 访问和使用数千种预训练模型。云端的便捷性和可扩展性使得开发者能够快速迭代和部署模型。

本地部署：虽然 HuggingFace 的云端服务非常强大，但它也支持在本地环境中部署模型，适合对数据隐私或网络延迟有较高要求的场景。

5、应用场景

HuggingFace 的工具和模型广泛应用于以下领域：

自然语言处理（NLP）：如文本分类、情感分析、机器翻译、问答系统等。

计算机视觉：如图像分类、目标检测、图像生成等。

语音处理：如语音识别、语音合成等。

多模态任务：结合文本、图像和语音的多模态模型，支持更复杂的 AI 应用。

6、总结

HuggingFace 是一个功能强大且易于使用的平台，为开发者和研究人员提供了丰富的资源和工具，帮助他们快速构建和部署 AI 模型。无论是初学者还是资深专家，HuggingFace 都能满足其在模型开发、微调、评估和部署等方面的需求。通过其开放的生态系统和活跃的社区，HuggingFace 正在推动 AI 技术的普及和创新。

Ollama：

1、概述

Ollama 是一款专注于本地部署大语言模型（LLMs）的软件，旨在让用户能够在自己的设备上完全运行模型，无需将数据上传至云端。这种设计最大程度地保护了用户隐私，并提供了高度的数据控制能力，特别适合对数据隐私要求高或需要在离线环境中运行的场景。

2、核心特点

本地部署：Ollama 的核心优势在于其本地化运行能力。所有模型和数据都存储在用户的本地设备上，避免了数据泄露的风险，适合对隐私和安全要求极高的场景。

支持高效模型：Ollama 专注于支持少量但高效的大语言模型，如 Llama、Mistral、Qwen 等。这些模型经过优化，能够在本地设备上高效运行。

简化的模型管理：Ollama 提供了直观的命令行界面，简化了模型的下载、安装和运行流程，适合希望快速部署和运行大语言模型的开发者。

GGUF 格式支持：Ollama 支持 HuggingFace 语言模型的 GGUF 格式，用户可以直接在本地下载和运行这些模型，无需依赖外部服务或 API。

3、适用场景

高度数据控制：适合需要完全控制数据的场景，如医疗、金融等敏感领域。

离线环境：适合在没有网络连接的环境中运行模型，如偏远地区或保密项目。

快速实验：适合开发者快速在本地设备上实验和测试大语言模型，无需复杂的配置和依赖。

4、优势与局限

优势：

隐私保护：数据无需上传至云端，最大程度保护用户隐私。

快速部署：简化的命令行界面和模型管理，适合快速搭建本地 AI 应用。

离线支持：完全本地化运行，适合离线环境。

局限：

灵活性较低：相比 HuggingFace 等平台，Ollama 的功能和灵活性可能略逊一筹，适合特定场景而非复杂多样的需求。

模型选择有限：专注于少量高效模型，可能无法满足所有用户的需求。

5、使用流程

下载与安装：从 Ollama 官网或 GitHub 仓库下载并安装软件。

模型下载：通过命令行界面下载支持的模型（如 Llama、Mistral、Qwen 等），格式为 GGUF。

本地运行：使用命令行工具启动模型，直接在本地设备上运行。

实验与测试：在本地环境中进行模型实验和测试，无需依赖外部服务。

6、总结

Ollama 是一款专注于本地部署大语言模型的工具，特别适合对数据隐私和离线运行有高要求的用户。它通过简化的命令行界面和高效的模型支持，帮助开发者快速在本地设备上运行和实验大语言模型。虽然其灵活性和模型选择相对有限，但在特定场景下，Ollama 提供了极高的隐私保护和便捷性。

如何让 Ollama 和 Hugging Face 协同工作？

1、模型下载与本地化

在 Hugging Face Hub 上选择模型

首先，在 Hugging Face Hub 上选择合适的预训练模型（如 GPT、BERT、Llama 等）。Hugging Face 提供了丰富的模型库，涵盖多种任务和领域。

微调模型

使用 Hugging Face 的 transformers 库对选定的模型进行微调，以适应特定的任务或数据集。微调过程可以在本地或云端完成，具体取决于数据规模和计算资源。

将模型转换为 GGUF 格式

微调完成后，将模型转换为 Ollama 支持的 GGUF 格式。GGUF 是一种高效的模型格式，适合在本地设备上运行。

使用 Ollama 部署模型

将转换后的 GGUF 模型加载到 Ollama 中，在本地设备上运行推理。这种方式确保了数据隐私和高效推理，特别适合对隐私要求高的场景。

2、数据管理与处理

使用 Hugging Face Datasets 库

利用 Hugging Face 的 datasets 库加载和管理数据集。Hugging Face 提供了丰富的数据集资源，支持快速加载和高效的数据预处理。

在本地环境中运行数据

将处理好的数据集保存到本地，并通过 Ollama 加载模型进行推理。这种方式确保了数据始终在本地设备上运行，无需上传至云端，最大程度保护了用户隐私。

本地推理

使用 Ollama 加载模型并对本地数据集进行推理。这种方式不仅保护了数据隐私，还能在离线环境中高效运行。

3、工作流自动化

创建集成工作流

将 Hugging Face 和 Ollama 的功能整合到一个自动化工作流中。例如：

使用 Hugging Face 加载和预处理数据。

使用 Hugging Face 微调模型并导出为 GGUF 格式。

使用 Ollama 加载模型并在本地运行推理。

优化开发过程

通过自动化工作流，开发者可以快速迭代模型开发、微调和部署流程，同时确保数据隐私和本地化运行。这种方式特别适合需要快速实验和高效开发的场景。

4、协同工作的优势

隐私保护：数据始终在本地设备上运行，无需上传至云端，最大程度保护了用户隐私。

高效推理：Ollama 的本地化部署确保了低延迟和高性能，特别适合对实时性要求高的场景。

灵活性与丰富性：Hugging Face 提供了丰富的模型和数据集资源，而 Ollama 提供了本地化部署的便捷性，两者结合可以满足多样化的需求。

快速开发：通过自动化工作流，开发者可以快速从模型开发到部署，提高开发效率。

对于 Hugging Face 这个网站 大家可以把他当场 github 来使用 里面有各种开源的 大模型 和 训练集

Ollama 软件 安装

根据自己的系统 选择安装

我的电脑是Windows10，这里选择Windows版本安装即可。

windows 安装起来就比较简单了 下一步 下一步 完成即可。

运行命令行，检测ollama是否成功安装。

代码解读

ollama -v

如果命令不生效，可配置环境变量解决。

以下是 Ollama 使用常见的指令：

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息  

导入 huggingface 模型

Ollama 从最新版0.3.13开始支持从 Huggingface Hub 上直接拉取各种模型，包括社区创建的 GGUF 量化模型。用户可以通过简单的命令行指令快速运行这些模型。
可以使用如下命令：

ollama run hf.co/{username}/{repository}   

请注意，您可以使用 hf.co 或 huggingface.co 作为域名。

要选择不同的模型，只需在命令中添加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}   

例如：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

所以 对于 从业 it技术的小伙伴 如果想在 互联网 技术行业走的更远 ，一定要坚持学习新的技术，从而才不容易被淘汰~

   如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

五、AI产品经理大模型教程

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

我们该怎样系统的去转行学习大模型 ？

很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来： 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

​