上下文工程是构建高效AI智能体的关键方法论,因大模型存在上下文衰减和注意力预算限制。核心策略是使用最少但信息量高的token,包括即时上下文检索、压缩和结构化笔记应对长周期任务。文章详细介绍了上下文与提示工程的区别、高效上下文的结构、自主检索方法,以及通过压缩、结构化笔记和子智能体架构解决上下文污染问题。即使模型能力提升,将上下文视为有限资源仍是构建可靠智能体的核心。


上下文工程是构建高效AI智能体的关键方法论。由于大模型存在上下文衰减和注意力预算限制,需要谨慎管理系统指令、工具、外部数据和消息历史。核心策略是使用最少但信息量高的token,如采用即时上下文检索、通过压缩和结构化笔记应对长周期任务。

    1. 上下文工程与提示词工程
    1. 为什么上下文工程对于构建强大的智能体至关重要
    1. 高效上下文的结构
    1. 上下文检索与自主智能检索
    1. 长周期任务的上下文工程
    1. 应对上下文污染的方法
  • 6.1 压缩
  • 6.2 结构化笔记
  • 6.3 子智能体架构
  • 结论

原文:https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents

Context is a critical but finite resource for AI agents.(对 AI 智能体而言,上下文是一项关键却稀缺的资源。)

  1. 上下文工程与提示词工程

上下文工程可以看作是提示词工程的延伸。

提示词工程说的是如何编写和安排对大模型的指令,让模型更容易给出理想的结果。

而上下文工程指的是,在模型推理时,怎样挑选和管理进入上下文的一整套信息,这些信息不仅来自提示本身,也包括各种可能以其他方式(比如工具调用)被放进上下文的内容

在用大模型做工程的早期,大部分工作都集中在提示词上,因为除了日常对话之外,许多场景都需要专门为一次性分类或文本生成任务优化过的提示。顾名思义,提示工程关注的核心是怎样把提示写得有效,尤其是系统提示。

但随着我们开始构建更强的智能体,这些智能体需要在多轮推理和更长时间尺度下运作(比如各种代码开发IDE),光靠写提示词已经不够了,我们还需要能管理整个上下文状态的策略,包括系统指令、工具、Model Context Protocol(MCP)、外部数据、消息历史等。

一个在循环中运行的智能体,会不断产出可能对下一轮推理有用的新信息,而这些信息需要被持续整理和提炼。

上下文工程关注的,就是在上下文窗口有限的情况下,从这一整套不断变化的内容里挑选出真正该放进去的部分,可以说既是一门技巧,也是一门方法论。

相比于写提示这种相对独立的任务,上下文工程是反复进行的;每次要决定把什么内容交给模型时,都要重新进行一轮整理和筛选。

  1. 为什么上下文工程对于构建强大的智能体至关重要

尽管大语言模型处理速度快,能管理越来越多的数据,但我们观察到,它们和人类一样,在达到一定程度时会出现注意力分散或混乱的情况。

在“针捡干草堆”式的基准测试中,研究发现了“上下文退化”的现象:随着上下文窗口中的 token 数量增加,模型从中准确回忆信息的能力会下降。

虽然不同模型的衰减速度不同,但几乎所有模型都会表现出这一特性。

因此,上下文必须被视为一种有限资源,其边际效益会递减。

就像人类的工作记忆有限一样,大模型在解析大量上下文时也有一个“注意力预算”。每增加一个 token,这个预算就会被消耗一部分,因此需要更加仔细地挑选可以提供给模型的 token。

这种注意力稀缺源于大模型的架构限制。

大模型基于 Transformer 架构,每个 token 都可以关注上下文中所有其他 token,这意味着 n 个 token 会产生 n² 的两两关系。

随着上下文长度增加,模型捕捉这些两两关系的能力会被拉得很薄。

此外,模型的注意力模式是从训练数据分布中形成的,而短序列通常比长序列更常见,这意味着模型在处理全上下文依赖关系时经验不足,专门参数也较少。

模型在长上下文下仍然有很强能力,但在信息检索和长程推理上可能不如短上下文时精确。

因此,要构建高效智能体,必须进行谨慎的上下文工程。

  1. 高效上下文的结构

由于大模型的注意力预算有限,良好的上下文工程意味着找到最少数量但信息量高的 token,以最大化实现预期结果的可能性。

System prompts 应当非常清晰,使用简单直接的语言,以适合智能体理解的高度呈现信息。这里的“高度”指的是避免两种常见失败模式的最佳平衡。

失败模式一,在提示词中硬编码复杂、脆弱的逻辑来引导模型产生特定行为,这种做法增加了系统脆弱性和维护难度。

失败模式二,提供过于模糊的高层指导,无法给模型具体信号。

最佳的高度应当兼顾这两者:足够具体以有效引导行为,同时又有一定灵活性,为模型提供强有力的启发式规则来引导行为。

在一个极端,我们会看到脆弱的 if-else 硬编码提示;而在另一个极端,则是过于笼统的提示,或者错误地假设双方有共享的上下文。

可以将提示词分成不同的部分(例如 <background_information>、、## 工具指南、## 输出说明 等),并使用 XML 标签或 Markdown 标题等方式来区分这些部分。不过,随着模型能力的提升,提示的具体格式可能不再那么重要。

工具让智能体能够与环境交互,并在工作过程中引入新的上下文。

由于工具定义了智能体与信息或行动空间的契约,因此它们的效率非常重要,不仅要返回 token 高效的信息,还要促使智能体行为高效。

我们经常看到的失败模式之一,是工具集合过于臃肿,覆盖过多功能,或导致在选择使用哪种工具时出现模糊的决策点。

如果人类工程师都无法明确指出在特定情况下应使用哪个工具,那么 AI 智能体更不可能做得比人类好。

提供示例,也就是少样本提示,是一个公认的最佳实践。

如果在提示词中堆砌大量边缘案例,试图将 LLM 在特定任务上应遵循的每条规则都体现出来,并不推荐。应努力挑选一套多样化、典型的示例,能够有效展示智能体的预期行为。

我们对上下文各组成部分(系统提示、工具、示例、消息历史等)的总体建议是:要谨慎、确保上下文信息充实,同时保持紧凑。

  1. 上下文检索与自主智能检索

大模型未来如何发展?普通人如何抓住AI大模型的风口?

※领取方式在文末

为什么要学习大模型?——时代浪潮已至

随着AI技术飞速发展,大模型的应用已从理论走向大规模落地,渗透到社会经济的方方面面。

  • 技术能力上:其强大的数据处理与模式识别能力,正在重塑自然语言处理、计算机视觉等领域。
  • 行业应用上:开源人工智能大模型已走出实验室,广泛落地于医疗、金融、制造等众多行业。尤其在金融、企业服务、制造和法律领域,应用占比已超过30%,正在创造实实在在的价值。

请添加图片描述
未来大模型行业竞争格局以及市场规模分析预测:
请添加图片描述

同时,AI大模型技术的爆发,直接催生了产业链上一批高薪新职业,相关岗位需求井喷:
请添加图片描述
AI浪潮已至,对技术人而言,学习大模型不再是选择,而是避免被淘汰的必然。这关乎你的未来,刻不容缓!


那么,我们如何学习AI大模型呢?

在一线互联网企业工作十余年里,我指导过不少同行后辈,经常会收到一些问题,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题,也不是三言两语啊就能讲明白的。

所以呢,这份精心整理的AI大模型学习资料,我整理好了,免费分享!只希望它能用在正道上,帮助真正想提升自己的朋友。让我们一起用技术做点酷事!

ps:微信扫描即可获取
加上后我将逐一发送资料
与志同道合者共勉
真诚无偿分享!!!

在这里插入图片描述


适学人群

我们的课程体系专为以下三类人群精心设计:

  • AI领域起航的应届毕业生:提供系统化的学习路径与丰富的实战项目,助你从零开始,牢牢掌握大模型核心技术,为职业生涯奠定坚实基础。

  • 跨界转型的零基础人群:聚焦于AI应用场景,通过低代码工具让你轻松实现“AI+行业”的融合创新,无需深奥的编程基础也能拥抱AI时代。

  • 寻求突破瓶颈的传统开发者(如Java/前端等):将带你深入Transformer架构与LangChain框架,助你成功转型为备受市场青睐的AI全栈工程师,实现职业价值的跃升。

在这里插入图片描述


※大模型全套学习资料展示

通过与MoPaaS魔泊云的强强联合,我们的课程实现了质的飞跃。我们持续优化课程架构,并新增了多项贴合产业需求的前沿技术实践,确保你能获得更系统、更实战、更落地的大模型工程化能力,从容应对真实业务挑战。
在这里插入图片描述资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

01 大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。希望这份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!

图片

👇微信扫描下方二维码即可~

在这里插入图片描述
本教程比较珍贵,仅限大家自行学习,不要传播!更严禁商用!

02 大模型学习书籍&文档

新手必备的权威大模型学习PDF书单来了!全是一系列由领域内的顶尖专家撰写的大模型技术的书籍和学习文档(电子版),从基础理论到实战应用,硬核到不行!
※(真免费,真有用,错过这次拍大腿!)

请添加图片描述

03 AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

图片

04 大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

图片

05 大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余

图片
在这里插入图片描述

06 全套AI大模型应用开发视频教程

(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)

图片


由于篇幅有限
只展示部分资料
并且还在持续更新中…

ps:微信扫描即可获取
加上后我将逐一发送资料
与志同道合者共勉
真诚无偿分享!!!
在这里插入图片描述
最后,祝大家学习顺利,抓住机遇,共创美好未来!

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐