大模型(Large Model)是指具有大规模参数和复杂计算结构的机器学习模型。

大语言模型(Large Language Model):通常是具有大规模参数和计算能力的自然语言处理模型,例如ChatGPT、deepseek。这些模型可以通过大量的数据和参数进行训练,以生成人类类似的文本或回答自然语言的问题。大型语言模型在自然语言处理、文本生成和智能对话等领域有广泛应用。

生成式AI(Generative AI)是指能够生成文字、图片、音频、视频等多种内容的人工智能系统。大语言模型(LLM)是生成式 AI 的一种,但生成式 AI 不仅限于语言,还包括图像、视频、音乐等。

多模态AI(Multimodal AI)进一步扩展了生成式 AI 的能力,使其能够处理文本、图像、音频、视频等多种数据类型

通用人工智能(AGI:Artificial General Intelligence)指的是能够像人类一样理解、学习和执行多种任务的智能系统。与当前的人工智能(AI)相比,AGI 不是专门针对某个任务(如语言生成、图像识别),而是具备自主学习和推理能力,可以适应不同领域的问题。

大语言模型机器学习直接的联系:

在这里插入图片描述

按照应用领域的不同,大模型主要可以分为L0、L1、L2三个层级:

类型 应用能力 适合场景 举例
通用大模型L0 具备广泛的泛化能力,可应用于多种领域和任务。
通过大规模无标注数据训练,具备“通识教育”水平。
任何场景,但并不一定精通该场景 chatGPT4.0、deepseek
行业大模型L1 针对特定行业(如医疗、法律)优化,提高行业相关任务的准确性。
通过行业数据微调,使其具备专业知识,相当于“行业专家”。
特定行业 医疗大模型 Med-PaLM
垂直大模型L2 专注于特定任务或应用场景,优化执行效果。
特定任务依赖高质量任务数据进行训练或微调,以实现最佳性能。
具体任务 代码大模型 Code Llama、AI 设计工具 Midjourney

大模型的参数很大,例如:LLaMA 2: 7B、13B、65B。这里的B是bilion(十亿)的意思,表示LLaMA2有70亿、130亿、650亿个参数。

在使用大语言模型时,总会看到token一词,调用大模型api是根据token的使用数进行付费。大模型的token 并不等同于单词,一个token可能是一个单词、一部分单词,或者一个标点符号

prompt中文为“提示词”。在AI大模型中,Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。

构建大模型需要数据Transformer 架构训练优化对齐技术推理部署,并且需要大规模计算资源(如 A100/H100 GPU)。当前主流 LLM 采用 自回归 Transformer 结构,结合 微调(Fine-tuning)RLHF(Reinforcement Learning from Human Feedback) 提升应用效果。同时,量化RAG(Retrieval-Augmented Generation) 等技术能优化推理效率,使 LLM 更好地应用到实际场景。

大模型的两种常见优化技术

  • 蒸馏(Distillation):将大模型的知识压缩到一个较小的模型中,减少计算资源需求并提高推理效率。
  • 微调(Fine-tuning):在预训练的大模型上,使用特定任务的数据进行进一步训练,以提高其在该任务上的表现。

什么是大模型?一文读懂大模型的基本概念 - 知乎 (zhihu.com)

prompt(AI模型提示词)_百度百科 (baidu.com)

【大模型】初识大模型(非常详细)零基础入门到精通,收藏这一篇就够了_大模型入门_大模型学习-CSDN博客

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐