本文系统梳理了AI Agent与大语言模型领域的核心知识点，从最基础的Token、Prompt概念，到Agent架构、RAG检索、多智能体协作，再到Claude Code生态、生产部署与成本优化，最后覆盖前沿的Agent接口与沙箱技术。每个知识模块均配有汇总表格，方便快速查阅与记忆。

术语小词典（Glossary）

在深入各个知识点之前，先通过统一词汇对照表建立全局认知。下表按学习阶段（Stage）排列，涵盖从入门到生产的全部核心术语。

英文术语	中文译名	主要阶段
Prompt Engineering	提示工程	Stage 2
Context Engineering	上下文工程	Stage 2
Tool Use	工具使用	Stage 3
Function Calling	函数/工具调用	Stage 3
Structured Output	结构化输出	Stage 3
Agent Loop	Agent 执行循环	Stage 3
Framework	框架	Stage 4
Orchestration	协调与编排	Stage 4-7
Handoff	任务交接	Stage 7
Supervisor / Worker	协调者 / 执行者	Stage 7
Runtime	执行期	Stage 7
Scaffolding	支撑架构	Stage 7
Observability	观测与记录	Stage 7
Telemetry	运行记录	Stage 7
Eval	效果评估	Stage 7
Evaluation Harness	评估框架	Stage 7
Production	可稳定使用 / 上线	Stage 7
Production-grade	可长期稳定使用的	Stage 7
Deployment	部署	Stage 7
Cost Tracking	成本追踪	Stage 7
Latency	延迟 / 等待时间	Stage 7
Vector DB	向量数据库	Stage 6
Retrieval	检索	Stage 6
Reranking	重排序	Stage 6
Long Context	长上下文	Stage 6
Fine-tuning	模型微调	Stage 6
Agent Interfaces	Agent 操作界面	Stage 8
Code Sandbox	隔离编程执行环境	Stage 8
Cold Start	启动延迟	Stage 8
Reward Hacking	钻评分漏洞	Stage 7

---

一、基本概念

大语言模型（LLM）是整个AI Agent体系的基石。理解这些基础概念，是后续学习Agent架构、RAG等进阶内容的前提。

基本概念汇总表

概念	核心说明	难度阶段
LLM 大语言模型	GPT、Claude等生成式AI，接收prompt输出text，不断训练更新	Stage 1
Token 令牌	LLM处理的最小单位，中文1字≈1.3 token，英文1词≈1.3 token	Stage 1
Context Window 上下文窗口	LLM一次能"看"的token上限，不同模型窗口大小差异巨大	Stage 1
Prompt 提示词	向LLM输入的文字，Prompt工程就是设计让LLM输出更好结果的输入	Stage 2
Zero/One/Few-shot	零样本/单样本/少样本学习，指给LLM提供多少个示例	Stage 2
Chain-of-Thought 思维链	让LLM先一步步推理再给出答案，显著提升复杂任务准确率	Stage 2

1.1 LLM 大语言模型

LLM（Large Language Model，大语言模型）是能够理解和生成人类语言的AI模型。典型代表包括GPT系列、Claude系列、Gemini系列等。其工作模式可以简化为：输入prompt → 输出text。大模型由海量文本数据训练而成，并会持续更新迭代。

1.2 Token 令牌

Token是LLM处理信息的最小单位。简单理解：LLM不是一个字一个字地"读"，而是一个token一个token地处理。换算关系大致为：中文 1 个字 ≈ 1.3 个token，英文 1 个单词 ≈ 1.3 个token。理解token的概念至关重要，因为模型的计费、上下文窗口大小、推理速度等都是以token为单位计算的。

1.3 Context Window 上下文窗口

Context Window（上下文窗口）指LLM一次能够"记住"的token总量上限。如果输入超过窗口大小，模型就会"看不到"前面的内容。不同模型的窗口差异很大：

• GPT-4o：128K

• Claude 3.5 Sonnet：200K

• Claude 3 Opus：200K

• Gemini 1.5 Flash：1M（百万级）

• GPT-5：1.05M

长上下文是近年大模型的重要发展方向，但窗口越大推理成本也越高。

1.4 Prompt 提示词

Prompt就是你输入给LLM的文字。Prompt Engineering（提示工程）就是研究如何设计输入，让LLM输出更好、更准确结果的学问。系统提示词（system prompt）是预设在对话开头的指令，用来设定模型的角色和行为边界。

1.5 Zero-shot / One-shot / Few-shot

这三个术语描述的是在prompt中给LLM提供多少个示例：

• Zero-shot（零样本）：0个示例，直接让模型回答

• One-shot（单样本）：1个示例 + 提问

• Few-shot（少样本）：2-5个示例 + 提问

通常来说，提供的示例越多，模型输出的格式和准确率越稳定。Few-shot是提升效果最简单有效的手段之一。

1.6 Chain-of-Thought (CoT) 思维链

思维链是让LLM在给出最终答案之前，先一步步写出推理过程的技术。研究表明，CoT能显著提升模型在数学、逻辑等复杂任务上的表现。主要形式有：

• Few-shot CoT：在示例中展示推理步骤

• Zero-shot CoT：只加一句"Let's think step by step"

高级变体包括Self-Consistency（多路推理投票）、Tree of Thoughts（树形思维探索）等。

---

二、Agent 与工具使用

如果说LLM是"大脑"，那么Agent就是"大脑 + 手脚 + 记忆"的完整智能体。Agent能够调用工具、执行循环、自我修正，是当前AI应用的核心范式。

Agent 核心概念汇总表

概念	核心说明	难度阶段
Agent 代理人	以LLM为核心，能感知环境、调用工具、循环执行直到完成目标的智能体	Stage 3
Tool Use / Function Calling	LLM根据用户需求自动选择并调用外部工具/函数的能力	Stage 3
ReAct	Reasoning + Acting 推理与行动交替的Agent经典范式	Stage 3
Structured Output	强制LLM输出JSON等固定格式，便于程序解析	Stage 3
Agent Loop	"思考→行动→观察"的循环执行机制，是Agent运行的核心	Stage 3
Self-Refine 自我反思	Agent对自己的输出进行批评、反思、迭代优化	Stage 3

2.1 Agent 代理人

Agent（代理人）是以LLM为核心的智能系统，能够：感知环境中的状态 → 思考并决策 → 采取行动（调用工具、执行代码） → 观察结果 → 继续循环，直到完成目标任务。

Agent的核心三要素：

• LLM（推理/规划）：负责思考和决策

• Actions（动作）：通常是工具调用，如函数调用、代码执行、浏览器操作等

• Observations（观察）：工具返回的结果，反馈给LLM

常见的Agent范式包括ReAct、Plan-and-Execute、CoT+Tool等。其中ReAct是最经典、应用最广泛的一种。

2.2 Tool Use / Function Calling

Tool Use（工具使用）或Function Calling（函数调用）是让LLM根据用户需求，自动选择合适的外部工具并调用的能力。LLM不直接执行工具，而是输出"要调用哪个工具、传什么参数"的结构化数据，由程序实际执行。

不同厂商的API方案略有差异：OpenAI叫"Function Calling"，Anthropic叫"Tool Use"，Google叫"Function Calling"，但核心思想一致。定义工具时需要提供工具名称、描述、参数Schema（通常是JSON Schema格式）。

2.3 ReAct（Reasoning + Acting）

ReAct是最经典的Agent运行模式，其核心循环是：

Thought（思考） → Action（行动/调用工具） → Observation（观察结果） → 循环...

Agent先思考下一步该做什么，然后调用相应工具，拿到工具返回的观察结果后，再继续思考下一步，直到任务完成。这种"推理-行动"交替的模式，让Agent能够解决复杂的多步骤问题。

2.4 Structured Output 结构化输出

结构化输出是指强制LLM按照特定格式（如JSON Schema）输出答案，而不是自由文本。这对于程序自动化至关重要——只有输出格式固定，下游代码才能可靠地解析和使用LLM的结果。Agent中的工具调用参数、状态判断等都依赖结构化输出。

2.5 Agent Loop 执行循环

"LLM → tool → 结果 → LLM"的重复执行过程就是Agent Loop。每循环一次叫一步（step），循环次数受N步限制、预算限制等约束。一个典型的Agent可能需要3-10轮循环才能完成一个复杂任务。

2.6 Self-Refine 自我反思

Self-Refine是让Agent对自己的输出进行自我批评和优化的技术。基本流程：生成初始答案 → Critic（批评者）指出不足 → 根据反馈修改 → 循环迭代。这相当于Agent的"左右互搏"，能显著提升输出质量。

记忆层面，反思还可以分为：

• Short-term / Working Memory：短期工作记忆，即当前对话的context

• Episodic Memory：情景记忆，记录过去的对话经历

• Semantic Memory：语义记忆，即知识库/RAG

• Procedural Memory：程序记忆，即技能/Skill

---

三、记忆、检索与 RAG

LLM本身的知识是训练时固化的，且上下文窗口有限。要让Agent拥有"长期记忆"和"外部知识"，就需要记忆系统与检索增强生成（RAG）技术。

记忆与 RAG 核心概念汇总表

概念	核心说明	难度阶段
Memory 记忆	Agent的记忆系统，分为短期/长期、情景/语义/程序等多种类型	Stage 6
RAG 检索增强生成	从外部知识库检索相关内容，注入prompt辅助LLM回答	Stage 6
Reflection 反思记忆	Agent对历史经历进行总结提炼，形成高层记忆指导未来决策	Stage 6
Embedding 嵌入	把文本转换成向量，用于语义相似度计算	Stage 6
Vector DB 向量数据库	专门存储和检索向量的数据库，核心是近似最近邻搜索ANN	Stage 6
Semantic Search 语义搜索	基于向量相似度的搜索，理解含义而非关键词匹配	Stage 6
Chunking 切块	把长文档切成合适大小的片段，是RAG质量的关键	Stage 6
Hybrid Search 混合搜索	关键词搜索 + 向量搜索结合，兼顾精确匹配与语义理解	Stage 6
Reranking 重排序	初筛后用更强的模型重新排序Top-K结果，提升相关性	Stage 6
Contextual Retrieval 上下文检索	为每个chunk加上文档级上下文再嵌入，解决切块信息丢失问题	Stage 6
Fine-tuning 模型微调	在预训练模型基础上用特定数据继续训练，适配特定任务	Stage 6

3.1 Memory 记忆系统

Agent的记忆可以从两个维度交叉分类：

按时长分：

• Short-term / Working Memory（短期/工作记忆）：即当前session的对话上下文

• Long-term Memory（长期记忆）：跨会话保存的记忆

按内容分：

• Episodic（情景记忆）：过去的经历、对话历史

• Semantic（语义记忆）：事实、知识库

• Procedural（程序记忆）：技能、操作流程

一条经验法则：长期记忆要能回答"我做过什么"（episodic）和"我学到了什么"（semantic），而短期记忆就是当前的上下文。

3.2 RAG 检索增强生成

RAG（Retrieval-Augmented Generation，检索增强生成）是典型的两阶段流程：

1. Index（索引）：文档 → 切块 → 嵌入向量 → 存入向量数据库

2. Retrieve（检索）：查询 → 向量化 → 语义搜索（或混合搜索） → top-k匹配

3. Generate（生成）：把检索到的相关片段拼入prompt → LLM生成答案

RAG解决的是LLM知识截止、幻觉、私有数据无法训练等问题，是企业级AI应用最常用的技术架构之一。

3.3 Reflection 反思记忆

Reflection（反思）是一种高级记忆机制。Agent不只是简单存储原始对话，而是定期对历史经历进行总结提炼，生成更高层次的insight（洞察），存入记忆库。当下次遇到类似任务时，Agent可以检索这些反思结论来指导决策。

反思记忆包含三个层次：

• 底层：原始对话（raw session log）

• 中层：单次反思摘要（Reflection summary）

• 高层：记忆模式/规律（memory patterns）

3.4 Embedding 嵌入

Embedding（嵌入）是把文本（或其他数据）转换成高维向量的技术。语义相近的文本，其向量在空间中的距离也更近。主流模型使用dense embedding（稠密向量），也有sparse embedding（稀疏向量）如BM25。嵌入模型的质量直接决定了RAG检索的准确率。

3.5 Vector DB 向量数据库

向量数据库是专门用来存储和检索向量的数据库。其核心技术是近似最近邻搜索（Approximate Nearest Neighbor, ANN）——在海量向量中快速找到与查询向量最相似的那些。主流方案包括：

• Pinecone、Weaviate、Milvus（独立向量数据库）

• pgvector（PostgreSQL扩展）

• Chroma、FAISS（本地/轻量方案）

3.6 Semantic Search 语义搜索

语义搜索是基于embedding相似度的搜索，理解文本的实际含义，而不是传统的关键词匹配。比如搜索"怎么修电脑"，语义搜索能匹配到"计算机故障排查指南"这样不含相同关键词但语义相关的内容。传统关键词搜索（如BM25）做不到这一点。

3.7 Chunking 切块

Chunking（切块）是把长文档切成适合检索的小片段的过程。切块策略是影响RAG质量的最关键因素之一——切太大包含冗余信息，切太小又丢失上下文。常见策略包括按固定大小切、按语义边界切、按文档结构切等。切块大小通常在200-1000 token之间，需要根据具体场景调优。

3.8 Hybrid Search 混合搜索

混合搜索 = 关键词搜索（稀疏向量，如BM25） + 向量搜索（稠密向量）。两种方式各有优劣：关键词搜索擅长精确术语匹配，向量搜索擅长语义理解。结合使用可以兼顾两者优势，通常用RRF（Reciprocal Rank Fusion）等方法融合两路结果。

3.9 Reranking 重排序

RAG通常是"两阶段"的：第一阶段用向量/混合检索快速召回top-K（如top-50）候选，第二阶段用更强的交叉编码器（cross-encoder）模型重新排序，选出最相关的top-N（如top-5）送给LLM。重排序能显著提升最终答案的相关性，但会增加延迟和成本。

3.10 Contextual Retrieval 上下文检索

Contextual Retrieval是Anthropic 2024年提出的改进方案：为每个chunk自动加上一段文档级的上下文说明，再做嵌入。这样解决了传统切块导致的"脱离原文语境"问题——每个片段都知道自己在整篇文档中的位置和背景。实验表明能显著提升RAG准确率。

3.11 Fine-tuning 模型微调

Fine-tuning（微调）是在预训练大模型的基础上，用特定领域的数据继续训练，让模型更适配特定任务。微调 vs RAG：

• RAG：解决知识更新、引用来源的问题，成本低，更新灵活

• 微调：解决风格、格式、行为模式的对齐问题，成本高，周期长

生产环境中两者常常结合使用：用RAG注入动态知识，用微调固化行为模式。

---

四、多智能体（Multi-Agent）

当任务复杂到单个Agent难以高效完成时，就需要多个Agent分工协作。Multi-Agent架构模拟人类团队的工作模式，是Agent技术的重要演进方向。

多智能体核心概念汇总表

概念	核心说明	难度阶段
Multi-Agent 多智能体	多个Agent组成团队协作完成任务，常见模式有主管-工人、辩论、共识等	Stage 7
Supervisor / Worker	主管-工人模式：一个Agent分配任务，其他Agent各自执行	Stage 7
Debate 辩论模式	多个Agent各持立场互相辩论，最终由主管裁决	Stage 7
Consensus 共识模式	多个Agent各自独立输出，最后取共识结果	Stage 7
Handoff 任务交接	一个Agent把任务移交给另一个Agent，类似函数调用但交接的是控制权	Stage 7
A2A 协议	Agent-to-Agent Protocol，Google提出的Agent间标准化通信协议	Stage 7

4.1 Multi-Agent 多智能体

多个Agent互相协作组成一个系统，共同完成复杂任务，就是Multi-Agent（多智能体）。常见的组织模式有三种：

• Supervisor / Worker（主管-工人）：一个主管Agent负责任务拆分和分配，多个工人Agent各自专精不同领域，执行具体子任务

• Debate（辩论模式）：多个Agent各持不同立场，互相质疑辩论，最后由主管或投票裁决

• Consensus（共识模式）：多个Agent各自独立给出答案，取多数一致或综合结果

多智能体架构能处理更复杂的任务，但也带来了协调成本、延迟增加、一致性保证等挑战。

4.2 Handoff 任务交接

Handoff（交接）是指一个Agent把当前任务的控制权完整移交给另一个Agent。这有点像函数调用，但交接的是"对话的主导权"——接收方Agent接管后续的所有交互。Handoff通常通过特殊的function call实现，调用"transfer_to_xxx"之类的函数即可完成交接。

4.3 A2A（Agent-to-Agent Protocol）

A2A是Google提出的Agent之间标准化通信协议。思路类似HTTP之于网页：如果所有Agent都遵循同一套协议，它们就能互相发现、调用、协作，形成Agent生态网络。A2A基于LlamaIndex和Function Calling构建，引入了Agent角色、任务ID、会话标识等概念。

---

五、Claude Code 开发生态

Claude Code是Anthropic推出的AI编程代理，围绕它形成了一套完整的开发生态：MCP协议、Skill系统、插件市场、Hooks机制等。这套生态正在成为Agent开发的事实标准参考。

Claude Code 生态概念汇总表

概念	核心说明	难度阶段
MCP 模型上下文协议	Anthropic提出的开放协议，让LLM统一接入各种数据源和工具	Stage 5.2
Skill / SKILL.md	Claude Code的技能包，一个文件夹一个技能，描述Agent"知道做什么、怎么做"	Stage 5.3
Plugin / Marketplace	插件与插件市场，把多个Skill + slash命令打包发布和安装	Stage 5.4
Slash Command	斜杠命令，Claude Code中的快捷指令，可自定义	Stage 5.4
CLAUDE.md	项目级别的说明文件，Claude Code每次启动自动读取	Stage 5.4
Hooks 钩子	Claude Code特定时机触发的脚本，官方支持7种事件类型	Stage 5.4
Deep Agent 深度代理	信息密度更高的Agent模式，不连续工作，返回精炼结果	Stage 5.5
Subagent 子代理	主Agent派生出的子Agent，独立上下文窗口，完成子任务后返回结果	Stage 5.5

5.1 MCP 模型上下文协议

MCP（Model Context Protocol）是Anthropic在2024年推出的开放协议，旨在让LLM能够统一接入各种外部数据源和工具。它是同一套协议的标准化实现，让任何LLM客户端都能通过MCP调用各种工具。

MCP标准化了3种原语（Primitives）：

• Tools：LLM可调用的函数

• Resources：LLM可读取的信息（如文件、搜索结果）

• Prompts：可复用的提示词模板

架构上，server（服务端）提供工具，client（客户端，即LLM应用）连接并使用。通过STDIN/STDOUT的本地传输，保证安全性。

5.2 Skill / SKILL.md

Skill是Claude Code中的"技能包"概念。一个Skill就是一个文件夹，里面有SKILL.md描述文件，告诉Agent"这项技能做什么、什么时候触发、怎么操作"。

触发机制：当用户输入的描述与Skill的description匹配时，Claude Code会自动加载对应的SKILL.md，获取该技能的所有指令。如果某项技能不常被调用，且深度较深，Claude Code不会预加载，只在需要时读取。

5.3 Plugin / Marketplace

Plugin（插件）是把多个Skill + slash commands + hooks打包在一起的发布单元。Marketplace（插件市场）是插件的分发平台，用户可以像安装VS Code插件一样，通过claude plugin install命令一键安装别人开发的插件。

5.4 Slash Command 斜杠命令

Claude Code CLI中，以斜杠开头的快捷指令（如/help、/init、/clear等）叫Slash Command。用户也可以自定义斜杠命令，比如绑定特定的prompt或脚本，提高工作效率。

5.5 CLAUDE.md

CLAUDE.md是放在项目根目录的说明文件，Claude Code每次启动都会自动读取。它的作用相当于项目的"使用说明书"，可以告诉Agent项目的架构、规范、约定、常用命令等。类似的概念还有cursor rules、.windsurfrules等。

5.6 Hooks 钩子

Hooks是在Claude Code特定事件时机自动触发的脚本。官方支持7种事件类型：

Hook	触发时机	典型用途
PreToolUse	工具调用前	工具调用审计（如rm -rf、destructive ops）、告警
PostToolUse	工具调用后	记录log、格式化输出等
UserPrompt/on	用户提交消息时	给context增加信息（如git diff、当前时间）
Init	Claude Code启动时	加载tool / Slack ping
Stop	自动连续循环结束时	设置commit / 清理
PreCompact	启动compact前	把重要上下文写回memory
PostCompact	compact后	确认compact精准

5.7 Deep Agent 深度代理

"信息密度更高"的Agent运行模式——不会连续工作，而是深度思考后返回高度凝练的结果（如合并摘要、长期记忆、长期规划）。比普通Agent更深思熟虑，但响应也更慢。

5.8 Subagent 子代理

主Agent（parent agent）派生出的子Agent，拥有独立的上下文窗口。在Claude Code中，通过/sub命令启动。子Agent有自己的Task scope和session，完成子任务后把结果返回给主Agent。Claude Code的代码教学、15个限制级别调度等都依赖sub-agent架构。

---

六、生产、评估与成本

把Agent从Demo推向生产环境，需要解决评估、可观测性、成本控制、安全防护等一系列工程问题。

生产工程核心概念汇总表

概念	核心说明	难度阶段
Eval 评估框架	衡量Agent效果的方法体系，包含准确率、延迟、成本等维度	Stage 7
Observability 可观测性	记录Agent每一步的输入输出，用于调试和问题追踪	Stage 7
Prompt Caching 提示词缓存	缓存重复的系统提示词，大幅降低重复请求的费用	Stage 7
Token Cost 推理成本	按token计费，区分input/output，Agent因循环调用成本更高	Stage 7
Guardrails 护栏	防止LLM输出有害内容的安全机制，如Nemo Guardrails	Stage 7
Prompt Injection 提示注入	攻击者通过隐藏指令操纵LLM行为的安全攻击	Stage 7
Lethal Trifecta 致命三角	高权限Agent + 长上下文 + 间接提示注入 = 高危组合	Stage 7

6.1 Eval 评估框架

针对Agent或LLM应用，建立一套可量化的评估体系，衡量其效果。评估维度通常包括：

• 准确率（accuracy）：任务完成是否正确

• 延迟（latency / cost）：响应速度

• 成本（production agent）：token消耗

• 幻觉率（hallucination）：编造信息的频率

• 逻辑性（logical validity）：推理是否自洽

没有评估就没有优化——Eval是把AI应用从"能用"推向"可靠"的关键工程环节。

6.2 Observability 可观测性

把Agent内部的每一步（LLM调用了什么、prompt是什么、返回了什么、调用了哪些工具）都完整记录下来，用于调试、问题定位和性能分析。主流方案包括Langfuse、Helicone、Weights & Biases等。

6.3 Prompt Caching 提示词缓存

LLM API提供的缓存机制：如果多次请求中系统提示词部分完全相同，后续请求只收缓存命中的费用（Anthropic约90% off）。对于有大量重复system prompt的场景，能节省大量成本。查询越重复，费用节省越明显。

6.4 Token Cost 推理成本

大模型API按token计费，通常区分input（输入token）和output（输出token）价格，output更贵。Agent因为要多轮循环（Read → tool → result → output），单任务的token消耗是普通单次对话的数倍。一个codepath group一次可能用掉10万token，成本不可忽视。

6.5 Guardrails 护栏

防止LLM输出有害、违规、偏见内容的安全机制。常见方案有NVIDIA NeMo Guardrails、Guardrails AI等。护栏通常在LLM输入前做检查（输入过滤）和输出后做检查（输出过滤），确保AI应用的安全性和合规性。

6.6 Prompt Injection 提示注入

一种针对LLM的攻击方式：攻击者在用户看不到的地方（网页、文档、工具返回）隐藏恶意指令，诱骗LLM执行非预期操作。因为LLM分不清"指令"和"数据"，很容易被注入的指令劫持。

防御手段包括：指令与数据分层、系统提示词加固、输出过滤、Sandbox隔离等，但目前还没有100%完美的防御方案。

6.7 Lethal Trifecta 致命三角

Simon Willison提出的概念，指同时满足以下三个条件的Agent系统极其危险：

1. 高权限：Agent拥有高权限（如能读写文件、调用API）

2. 长上下文：能处理超长上下文，注入内容容易被忽略

3. 间接提示注入：能从外部数据源读取内容，而这些内容可能被注入

三者叠加时，提示注入攻击的隐蔽性和破坏力达到最大，是生产环境中必须重点防范的安全风险。

---

七、行业黑话与前沿工程概念

AI Agent领域涌现了大量新兴术语和工程范式。了解这些"Buzzword"，有助于阅读技术文章、参与行业讨论。

前沿概念汇总表

概念	核心说明	难度阶段
CLI Agent	跑在终端的命令行AI代理，如Claude Code、Aider等	—
BYO API Key	工具或应用不提供密钥，用户自带OpenAI/Anthropic等API Key	—
Local LLM	本地运行的大模型，如Ollama、Llama.cpp，数据不外发	Stage 1
Quantization 量化	把模型权重从fp16压缩到int4等，减小体积加速推理	—
Hallucination 幻觉	LLM自信地输出虚假信息，是生产应用的核心风险	—
Frontier Model 前沿模型	能力最强的顶尖大模型，如GPT-5、Claude Opus、Gemini Ultra	—
Context Engineering	上下文工程，研究如何构造最优的context window	Stage 2
Harness Engineering	框架工程，围绕模型外围构建Agent运行的支撑体系	Stage 7
Loop Engineering	循环工程，设计和优化Agent的执行循环	Stage 7

7.1 CLI Agent 命令行代理

跑在终端（命令行）里的AI编程助手，即CUI Agent。典型代表有Claude Code、Aider、OpenCode、Gemini CLI等。相比GUI界面的IDE插件，CLI Agent更轻量、脚本化能力更强，适合深度开发者。

7.2 BYO API Key 自带密钥

BYO = Bring Your Own。很多AI工具本身不提供模型服务，而是让用户带上自己的OpenAI / Anthropic / OpenRouter API Key，费用从用户自己的账户扣除。Claude Code、Cursor等都支持这种模式。

7.3 Local LLM 本地大模型

模型完全运行在自己的电脑或服务器上，数据不经过第三方。常见方案：Ollama、Llama.cpp、MLX（Apple芯片）、vLLM等。优势是隐私安全、无API费用；劣势是模型能力通常不如云端前沿模型。

7.4 Quantization 量化

把模型的权重参数从高精度（如fp16、bf16）压缩到低精度（如int8、int4）的技术。量化后模型体积大幅减小、推理速度显著提升，同时精度损失相对可控。是本地运行大模型的必备技术。

7.5 Hallucination 幻觉

LLM"自信地胡说八道"——输出听起来很真实但实际是编造的信息。幻觉是大语言模型的固有特性，也是生产应用的核心风险。缓解手段包括RAG（引用来源）、Guardrails、人工审核等，但无法100%根除。

7.6 Frontier Model 前沿模型

处于能力最前沿的顶尖大模型。截至2025年中，第一梯队包括GPT-5、Claude 3.5 Opus、Gemini 2.5 Ultra等。前沿模型通常能力最强但也最贵，适合复杂推理任务；日常任务用中档模型（如Sonnet、Flash 4）性价比更高。

7.7 Context Engineering 上下文工程

比Prompt Engineering更高一层的工程范式：研究如何构造和管理整个context window，而不只是用户输入的prompt。核心问题是：在有限的窗口里放什么、怎么放，才能让模型表现最好。Context Engineering被视为下一代AI工程的核心方向。

7.8 Harness Engineering 框架工程

围绕模型外围构建一整套支撑体系的工程实践，包括：agent loop、log registry、tool routing、context manager、memory layer、identity、security policy、evaluation harness等。简单说，模型本身（model weights）不是Harness，模型之外所有让Agent跑起来的东西都是Harness。

"Harness Engineering"这个说法由Lilian Weng提出，Claude Code、OpenCode等产品都体现了这一思想。学科路线图：Prompt Engineering → Context Engineering → Harness Engineering → Loop Engineering。

7.9 Loop Engineering 循环工程

Agent的核心就是循环——工具、上下文、框架都是循环的组成部分。Loop Engineering研究如何设计和优化Agent的执行循环：迭代多少次、每步做什么、何时停止、如何回溯等。这是Agent能力的直接决定因素。常见循环范式包括ReAct、Plan-and-Execute、Dynamic Workflows、Reflexion等。

---

八、Agent 交互接口与沙箱

Agent要与真实世界交互，需要各种接口能力——操作电脑屏幕、浏览网页、执行代码。同时，安全隔离也至关重要，沙箱技术应运而生。

Agent 接口与沙箱概念汇总表

概念	核心说明	难度阶段
Computer Use	Agent直接操作电脑屏幕级别的GUI，像人一样看屏幕点鼠标	Stage 8
Browser Use	Agent专门操作网页浏览器，用于网页自动化、信息检索等	Stage 8
Sandbox 沙箱	隔离的代码执行环境，防止Agent破坏宿主系统	Stage 8
microVM 微型虚拟机	极轻量的虚拟机，结合容器速度与VM安全性，启动极快	Stage 8
Firecracker	AWS开源的microVM技术，Serverless和Lambda的底层技术	—
gVisor	Google的用户空间内核，用系统调用拦截实现容器隔离	—

8.1 Computer Use 屏幕级代理

Agent直接操作整个电脑屏幕——就像人一样"看"屏幕截图，然后模拟鼠标点击、键盘输入。这种能力通用性极强，理论上能操作任何软件。典型实现包括Anthropic Computer Use、OpenAI Operator等。但因为屏幕信息密度高、操作空间大，难度也远高于专用接口。

8.2 Browser Use 网页代理

Agent专门操作网页浏览器的能力，是Computer Use在网页场景下的专业化版本。技术方案通常是：DOM感知（读取网页DOM结构） + 视觉辅助（截图+视觉模型） + 操作执行（点击、输入、滚动等）。典型代表有Browser Use项目、Claude的Gmail/Google Chrome集成、Playwright集成等。

8.3 Sandbox 沙箱

让Agent的代码在隔离环境中运行，防止恶意代码或误操作破坏宿主系统。沙箱是Agent安全的基础保障。常见技术路线：

• 容器级：Docker、Kubernetes等，速度快但隔离相对弱

• VM级：完整虚拟机，隔离强但启动慢、资源消耗大

• microVM：介于两者之间，兼顾速度与安全

• 用户空间内核：如gVisor，拦截系统调用实现隔离

8.4 microVM 微型虚拟机

一种极轻量级的虚拟化技术，结合了容器的启动速度和虚拟机的安全性。启动时间以毫秒计，内存开销极小。典型代表是AWS的Firecracker，也是Lambda和Serverless的底层技术。对于Agent沙箱来说，microVM是理想选择——每次任务启动一个干净的环境，用完即销毁。

8.5 Firecracker

AWS开源的microVM技术，基于KVM，用Rust编写。专为Serverless场景设计，启动时间<125ms，内存开销约5MiB。Fly.io、Modal等平台的Agent沙箱底层都基于Firecracker。

8.6 gVisor

Google开发的用户空间内核（userspace kernel）。它不是真正的虚拟机，而是在应用和宿主内核之间拦截所有系统调用，用自己的内核实现来处理，从而实现容器级别的强隔离。不需要硬件虚拟化支持，比VM更轻量，但性能有一定损耗。

---

学习路线图总结

最后，用一张完整的学习进阶路线图收尾，帮助你建立从入门到精通的全局认知。

阶段	核心主题	关键知识点
Stage 1	基础入门	LLM原理、Token概念、Context Window、Local LLM、Quantization
Stage 2	提示与上下文	Prompt Engineering、Zero/Few-shot、CoT思维链、Context Engineering
Stage 3	Agent基础	Tool Use / Function Calling、ReAct、Structured Output、Agent Loop、Self-Refine
Stage 4	框架与编排	Agent Framework、Orchestration编排
Stage 5	生态系统	MCP协议、Skill系统、Plugin市场、Hooks、Subagent、Deep Agent
Stage 6	记忆与检索	Memory分类、RAG、Embedding、Vector DB、Chunking、Reranking、Fine-tuning
Stage 7	生产与多智能体	Multi-Agent、Handoff、Eval评估、Observability、成本优化、安全防护
Stage 8	前沿接口	Computer Use、Browser Use、Sandbox沙箱、microVM、Firecracker、gVisor