为什么人人都在说“AI 工程”？一文带你看懂 AI 工程师真正的技术栈

过去两年，AI 工程像是坐上了火箭。新工具、新模型、新方法像潮水一样涌来——每天不刷两眼 GitHub，都怕错过什么时代红利。

但越是信息爆炸，越容易迷失。

其实，无论外界怎么变，AI 工程的底层结构始终清晰：它分为 3 层——应用开发、模型开发、基础设施。只要抓住这三层，就能看清整个 AI 工程体系。

这篇文章我会用最通俗、最工程师视角，带你快速理解：

• AI 工程与传统 ML 工程到底有什么不同？

• 为什么很多团队从 “10 张卡” 突然要扩展到 “1000 张”？

• Prompt 工程为什么能产生 10%~20% 的性能差异？

• 为什么说“会做前端的人，更适合做 AI 工程师”？

• AI 工程的三层技术栈到底长什么样？

如果你正在转型、焦虑、想搞懂趋势，这篇文章会非常适合你。

---

01 AI 工程是怎么出现的？

很多公司原来只有 ML 团队，做的是传统机器学习：

• 训练模型

• 做特征工程

• 调参、上线、监控

但当大模型（ChatGPT、Stable Diffusion）出现后，情况变了：

你不需要自己训练模型，别人已经帮你训练好了。
你只需要会“用好”它。

于是，AI 工程从 ML 工程中“孵化”出来。

这就是为什么你会看到两种团队结构：

• 有的公司把 AI/ML 放在一起（职能高度重叠）

• 有的公司把 AI 工程师单独拿出来（偏工程、偏落地）

无论组织怎么分，AI 工程与 ML 工程确实既有重叠，也有巨大差异。

---

02 AI 工程的三层技术栈（非常关键）

这是看懂行业的核心。

AI 应用无论多炫酷，都可以拆成 3 层。

---

第一层：应用开发（Application Layer）—最卷、变化最快

这两年爆发的全是这一层：

• 各种 AI 应用（聊天、代码、搜索、写作、图像）

• Prompt 工程

• 上下文构建

• 各种 UI/插件/ Agent 接口

• 各种评测 Benchmark

这一层的特点：

“人人都能做、变化最快、最容易创新。”

不用训练模型，只要给大模型：

• 设计一套指令（Prompt）

• 构建上下文（RAG、工具调用）

• 做评测、做 UI
  你就能做一个能用的 AI 应用。

这也是为什么很多前端、全栈工程师能够快速转型。

---

第二层：模型开发（Model Layer）—需 ML 知识，但作用在变

模型开发包括：

• 模型训练、预训练

• Finetune + LoRA

• 模型蒸馏、量化

• 数据集处理（去重、过滤、构建）

• 推理优化

与传统 ML 最大的不同：

以前 80% 的精力放在“训练模型”。
现在 80% 的精力放在“适配模型、优化推理”。

更像是：

• 以前是造发动机

• 现在是调校、改装、做场景适配

ML 知识依然重要，但不再是门槛。

---

第三层：基础设施（Infrastructure Layer）—最稳但最硬核

包括：

• 模型部署

• GPU 集群管理

• 服务监控、日志、性能优化

• 数据/特征存储

• 高并发推理

随着模型越来越大，显卡需求从“几张”飙到“几千张”。

很多传统 ML 团队不会管理千卡集群，这成了新技能缺口。

---

03 AI 工程与 ML 工程到底有什么不一样？

总结成一句话：

AI 工程是 “用好别人训练好的模型” 的工程学。

差异主要体现在三个维度：

---

1. 少训练，多适配

传统 ML：

• 自己训模型，调算法

AI 工程：

• 用别人训好的模型

• 主要做 Prompt、RAG、Finetune

---

2. 模型更大、成本更高

模型从百万参数到千亿参数：

• 延迟更高

• 成本更高

• 推理要做量化/蒸馏/并行化

---

3. 输出是开放的（Open-ended） → 评测更难

传统 ML 类似考试选择题：

• 有标准答案

大模型像写作文：

• “好不好”很难评

• Prompt 不同结果能差 10% 以上

• 评测本身变成一门学问

因此：

评测在 AI 工程中变成了超级关键环节。

---

04 模型适配（Model Adaptation）是 AI 工程的灵魂

AI 工程主要的适配方式有两类：

---

1. Prompt Engineering（不改权重）

特点：

• 成本最低

• 最容易上手

• 适用大部分应用

• 性能可能随 Prompt 差异巨大

比如 Gemini 的 MMLU 分数，用 32-shot Prompt 可以从 83% 提到 90%。

这就是Prompt 的威力。

---

2. Finetuning（修改权重）

适合：

• 明确任务

• 高要求

• 需要风格化输出

• 需要领域适配

• 长期稳定性要求高

成本比 Prompt 高，但性能能提升非常显著。

---

05 为什么说“AI 工程更像全栈工程”？

大模型出现后，工程流程发生了质变：

传统流程：
数据 → 训练模型 → 部署 → 产品开发

新的流程：
产品 → 评测 → 适配模型 → 数据 → 优化

顺序反了。

这意味着：

会写前端 + 会读 API 文档 + 会评测的人，比会写算法的人更快做出产品。

这也是为什么大量前端/全栈工程师正在抢占 AI 工程师岗位。

LangChain.js、Transformers.js、Vercel AI SDK 的出现，就是这个趋势的直接体现。

---

06 总结：AI 工程正在重新定义工程师技能图谱

如果一句话总结这篇文章：

AI 工程不是“训练模型”，而是“把大模型变成真正可用的产品”。

要做到这一点，需要理解：

AI 工程三层技术栈

• 应用开发（Prompt、RAG、界面、评测）

• 模型开发（Finetune、数据、推理优化）

• 基础设施（部署、监控、GPU 集群）

AI 工程与 ML 工程的核心差异

• 注重适配而不是训练

• 模型更大 → 推理优化更重要

• 输出开放 → 评测更重要

• 工程链路更贴近产品 → 更依赖全栈能力

未来 5 年最缺的人才，就是能搭建这一整套链路的 AI 工程师。