LLM 智能体团队能够利用零日漏洞

Teams of LLM Agents can Exploit Zero-Day Vulnerabilities

ABSTRACT

LLM 智能体变得越来越复杂，尤其是在网络安全领域。研究人员已经表明，当给定漏洞描述和模拟的夺旗问题时，LLM 智能体可以利用现实世界的漏洞。然而，这些智能体在事先未知的现实世界漏洞（零日漏洞）上表现仍然较差。
在这项工作中，我们展示了 LLM 智能体团队可以利用现实世界的零日漏洞。单独使用的智能体在探索多种不同漏洞和长程规划方面存在困难。为了解决这一问题，我们引入了 HPTSA，这是一种具有规划智能体的系统，该智能体可以启动子智能体。规划智能体探索系统并决定调用哪些子智能体，从而解决尝试不同漏洞时的长期规划问题。我们构建了一个包含 15 个现实世界漏洞的基准测试，并展示了我们的智能体团队相较于之前的工作提升了高达 4.5 倍的表现。

1 INTRODUCTION

AI 智能体的能力正在迅速提升。如今，它们可以完成诸如解决现实世界的 GitHub 问题 [1] 和电子邮件组织任务 [2] 等复杂任务。然而，随着其在良性应用中的能力提升，其在双重用途场景中的潜力也在增加。在双重用途中，黑客攻击是最大的担忧之一 [3]。因此，最近的研究探索了 AI 智能体利用网络安全漏洞的能力 [4, 5]。这项研究表明，简单的 AI 智能体可以自主破解模拟“夺旗”风格的网站，并且在给定漏洞描述的情况下，可以破解现实世界的漏洞。然而，当没有提供漏洞描述时（即零日漏洞场景），它们大多会失败 [5]。这引发了一个自然的问题：更复杂的 AI 智能体是否能够利用现实世界的零日漏洞？

在这项工作中，我们对此问题给出了肯定的回答，表明 AI 智能体团队可以利用现实世界的零日漏洞。为此，我们开发了一种新颖的多智能体框架用于网络安全攻击，扩展了先前在多智能体设置中的工作 [6–8]。我们将这种技术称为 HPTSA，在我们看来，这是第一个成功完成有意义网络安全攻击的多智能体系统。

先前的工作使用单一 AI 智能体来探索计算机系统（例如网站）、规划攻击并执行攻击。由于目前所有高能力的 AI 智能体都基于大型语言模型 (LLMs)，因此联合进行探索、规划和执行对于这些智能体有限的上下文长度来说是一个挑战。

我们设计了特定任务的专家智能体来解决这一问题。第一个智能体是分层规划智能体，它探索网站以确定要尝试的漏洞类型以及网站的哪些页面。在确定计划后，规划智能体会将任务交给团队管理智能体，由其决定调用哪些特定任务的智能体。这些特定任务的智能体随后尝试利用特定形式的漏洞。

为了测试 HPTSA，我们开发了一个新的基准测试，包含最近的现实世界漏洞，这些漏洞超出了我们测试的 LLM（GPT-4）的知识截止日期。为了构建我们的基准测试，我们遵循先前的工作方法，搜索开源软件中可重现的漏洞。这些漏洞在类型和严重性上各不相同。

在我们的基准测试中，HPTSA 在 pass at 5 上达到了 53%，接近拥有漏洞知识的 GPT-4 智能体的 1.4 倍。此外，它优于开源漏洞扫描器（在我们的基准测试中达到 0%）和没有描述的单个 GPT-4 智能体。我们进一步证明了专家智能体对高性能至关重要。

在本文的其余部分，我们将提供网络安全和 AI 智能体的相关背景（第 2 节），描述 HPTSA（第 3 节），现实世界漏洞的基准测试（第 4 节），HPTSA 的评估（第 5 节），案例研究（第 6 节）和成本分析（第 7 节），相关工作（第 8 节）以及结论（第 9 节）。

2 BACKGROUND

我们提供了有关计算机安全和 AI 智能体的相关背景。

2.1 Computer Security

计算机安全是一个广泛的领域。在这项工作中，我们特别关注漏洞利用，这只是计算机安全乃至攻击领域的其中一部分。例如，在漏洞被利用后，攻击者通常需要进行横向移动才能造成损害 [9]。

在这项工作中，我们专注于计算机系统中部署者未知的漏洞。不幸的是，这些漏洞的术语因来源而异，但我们将其称为零日漏洞 (0DV)。这与披露但未修补的一日漏洞 (1DV) 形成对比。

零日漏洞尤其有害，因为系统部署者无法针对这些漏洞提前采取缓解措施 [10]。我们特别关注网络漏洞，这些漏洞通常是深入攻击的第一入口点 [11]。

漏洞的一个重要区别在于漏洞类别和漏洞的具体实例。例如，服务器端请求伪造 (SSRF) 作为一种漏洞类别自 2011 年起就为人所知 [12]。然而，2021 年发生的有史以来最大的黑客攻击之一（十年后）利用了 SSRF 攻击微软 [13]，这是一家每年投资约 10 亿美元在计算机安全上的万亿美元公司 [14]。

因此，找到具体的零日漏洞实例至关重要。

2.2 AI Agents and Cybersecurity

AI 智能体正变得越来越强大，能够完成诸如解决现实世界的 GitHub 问题 [1] 等复杂任务。在这项工作中，我们专注于 AI 智能体解决复杂现实世界任务的能力。这些智能体现在几乎完全由工具赋能的 LLMs 驱动 [15, 16]。这些智能体的基本架构涉及一个 LLM，它被赋予任务并通过 API 使用工具来完成任务。我们在第 8 节中提供了更多关于 AI 智能体的详细概述。

最近的研究探索了 AI 智能体在网络安全领域的应用，表明它们可以破解“夺旗”风格的漏洞 [4] 和在给定漏洞描述的情况下利用一日漏洞 [5]。这些智能体通过简单的 ReAct 风格迭代工作，即 LLM 执行操作，观察响应并重复 [17]。

然而，这些智能体在零日场景中表现不佳。我们现在描述改进这些智能体的架构。

3 HPTSA: Hierarchical Planning and Task-Specific Agents

如前所述，ReAct 风格的智能体通过执行操作、观察响应并重复进行迭代。尽管这种方法在许多类型的任务中取得了成功，但由于以下原因，重复迭代可能导致长期规划失败：1）网络安全任务的上下文可能会迅速扩展，2）LLM 尝试多种漏洞可能很困难。例如，先前的工作表明，如果一个 LLM 智能体尝试一种类型的漏洞，回溯到尝试另一种类型的漏洞对单一智能体来说是一个挑战 [5]。

提高单一智能体性能的一种方法是使用多个智能体。在这项工作中，我们介绍了一种使用分层规划和特定任务智能体 (HPTSA) 来执行复杂现实世界任务的方法。

3.1 Overall Architecture

HPTSA 有三个主要组件：分层规划器、一组特定任务的专家智能体和团队管理器。我们在图 1 中展示了整体架构图。

我们的第一个组件是分层规划器，它探索环境（即网站）。在探索环境后，它确定要发送给团队管理器的指令集。例如，分层规划器可能会确定登录页面容易受到攻击并集中在其上。

我们的第二个组件是特定任务智能体的团队管理器。它决定了使用哪些特定智能体。例如，它可能会确定 SQLi 专家智能体是适用于特定页面的适当智能体。除了选择使用哪些智能体外，它还会检索以前运行智能体的信息。它可以使用这些信息重新运行特定任务的智能体，提供更多详细指令或使用来自先前运行的信息运行其他智能体。

最后，我们的最后一个组件是一组特定任务的专家智能体。这些智能体旨在成为利用特定形式漏洞（如 SQLi 或 XSS 漏洞）的专家。我们将在下面描述这些智能体的设计。

3.2 Task-Specific Agents

为了提高网络安全环境中智能体团队的性能，我们设计了特定任务的专家智能体。我们总共设计了 6 个专家智能体：XSS、SQLi、CSRF、SSTI、ZAP 和一个“通用”网络黑客智能体。我们的 AI 智能体具有以下特点：1）访问工具，2）访问文档，3）提示词。

对于工具，所有智能体都可以访问 Playwright（一个用于访问网站的浏览器测试框架）、终端和文件管理工具。ZAP 智能体还可以访问 ZAP [18]。智能体通过 Playwright 访问网站。我们手动确保智能体不会通过搜索引擎或其他方式搜索漏洞。

不幸的是，某些可能有用的工具与 OpenAI 助手配合不佳，因此我们排除了它们。例如，sqlmap 是一个测试潜在 SQL 注入的框架，可能对 SQLi 智能体有用。然而，由于它运行时间攻击，无法适应 OpenAI 助手的 10 分钟限制。

为了选择文档，我们手动在网络上抓取了与当前漏洞相关的文档。每个智能体添加了 5-6 个文档，以确保文档的多样性。

最后，对于提示词，我们使用了相同的提示模板，但针对每种漏洞进行了修改。

我们假设特定任务的智能体在其他场景中也会有用，例如代码场景。然而，这样的调查超出了本工作的范围。

3.3 Implementation

对于 HPTSA 的具体实现，我们使用了 OpenAI 助手 API 与 LangChain 和 LangGraph 结合。我们在所有实验中使用了 GPT-4，因为先前的工作表明，GPT-4 在黑客任务方面比其他模型更为熟练 [4, 5]。

我们使用 LangGraph 的功能创建了一个智能体图，并通过 LangGraph 在智能体之间传递消息。单个智能体通过 OpenAI 助手和 LangChain 的结合实现。

为了减少令牌数量（直接降低成本），我们观察到客户端 HTML 占了绝大多数令牌。我们实施了一种 HTML 简化策略以降低此成本。在将网页的 HTML 传递给智能体之前，我们删除了无关的 HTML 标签（如图像、svg、样式等标签）。

4 Benchmark of Zero-Day Vulnerabilities

为了测试我们的智能体框架，我们开发了一个现实世界零日漏洞的基准测试。我们在表 1 和表 2 中列出了漏洞、其描述和元数据。在构建我们的基准测试时，我们有几个目标。

首先，我们仅收集了超出我们使用的 GPT-4 基础模型知识截止日期的漏洞。训练数据泄漏是 LLM 基准测试中的一个大问题，确保所有漏洞未包含在训练数据集中对于确保零日场景的有效性至关重要。

其次，我们专注于我们可以重现并具有特定触发条件的网络漏洞。许多非网络漏洞需要复杂的环境设置或成功条件模糊。例如，先前的工作测试了 Python 包中的漏洞，这些漏洞一旦被包含，允许任意代码执行。这很难测试，因为它需要包含代码的测试框架。相比之下，网络漏洞具有明确的通过或失败标准。

根据这些标准，我们收集了 15 个网络漏洞。我们的漏洞包括许多漏洞类型，包括 XSS、CSRF、SQLi、任意代码执行等。它们的严重性均为中等或更高（包括高严重性和关键漏洞）。

5 HPTSA can Autonomously Exploit Zero-day Vulnerabilities

我们现在评估 HPTSA 在利用现实世界零日漏洞任务中的表现。

5.1 Experimental Setup

Metrics. 我们通过 pass at 5 和 pass at 1（即整体成功率）来衡量智能体的成功率。与其他许多任务不同，如果一次尝试成功，攻击者就成功地利用了系统。因此，pass at 5 是我们的主要指标。为了确定智能体是否成功利用了漏洞，我们手动验证了跟踪记录，以确保采取了必要的操作集来利用漏洞。

我们还测量了智能体运行的美元成本。为了计算成本，我们测量了输入和输出令牌的数量，并使用了撰写时的 OpenAI 成本。

Baselines. 除了测试我们最强大的智能体外，我们还测试了几个智能体变体。作为性能上限，我们测试了 Fang 等人使用的当日智能体 [5]，其中智能体获得了漏洞描述。作为性能下限，我们测试了没有漏洞描述的当日智能体。最后，我们测试了开源漏洞扫描器 ZAP [18] 和 MetaSploit [19]。我们还测试了 HPTSA 的几个消融版本，如下所述。

对于所有智能体，我们使用了 gpt-4-0125-preview（即 GPT-4 Turbo），其训练数据截至 2023 年 12 月（根据 OpenAI）。先前的工作表明，其他模型（包括 GPT-3.5 和高性能开源模型）在网络安全攻击方面表现较差 [4, 5]。因此，我们没有测试其他模型。

Vulnerabilities. 我们在收集的漏洞上测试了所有智能体，如表 1 所述。为确保不影响真实用户，我们在沙盒环境中重现了这些漏洞。重申一下，所有漏洞均超过实验时 GPT-4 的截止日期。此外，所有漏洞的严重性均为中等或更高，我们针对各种漏洞进行了基准测试。

5.2 End-to-End results

我们测量了最高性能智能体（HPTSA）、带有漏洞描述的智能体（GPT-4 w/ desc.）、没有漏洞描述的智能体（GPT-4 no desc.）和开源漏洞扫描器的整体成功率。结果如图 2 所示。

如图所示，HPTSA 在 pass at 1 上比 GPT-4 no desc. 提高了 4.5 倍，在 pass at 5 上提高了 2.7 倍。总体而言，HPTSA 在 pass at 5 上达到了 53%，在 pass at 1 上达到了 33.3%。这些结果表明，GPT-4 驱动的智能体可以在零日场景中成功利用现实世界的漏洞。我们的结果解决了先前工作中的一个开放问题，表明更复杂的智能体设置（HPTSA）可以有效利用零日漏洞 [5]。

此外，HPTSA 在 pass at 5 上接近 GPT-4 w/ desc. 的 1.4 倍。最后，我们发现 ZAP 和 MetaSploit 在我们收集的漏洞集上均达到 0%。

5.3 Ablation studies

为了进一步了解我们 GPT-4 智能体的能力，我们测试了两个智能体的消融版本：1）用单个通用网络安全智能体替换特定任务智能体，2）从特定任务智能体中移除文档。结果如图 3 所示。

如图所示，移除特定任务智能体和移除文档会导致性能显著下降。移除特定任务智能体使 pass at 1 下降了 4 倍，pass at 5 下降了 27%。移除文档也使 pass at 1 下降了 4 倍，pass at 5 下降了 20%。移除文档的结果与先前的工作一致 [4, 5]。这些结果表明了特定任务智能体和文档的必要性。

6 Case Studies

为了进一步了解我们智能体的性能，我们对特定漏洞和跟踪记录进行了案例研究。

6.1 Success Case Studies

考虑 flusity-CMS 漏洞（CVE-2024-24524 和 CVE-2024-27757）。管理员面板中的 add-menu 组件容易受到 CSRF 攻击，可能让已登录的管理员用户在不知情的情况下通过点击 HTML 文件创建新菜单（CVE-2024-24524）。此外，在通过 CMS 的 gallery addOn 创建画廊时存在 XSS 漏洞（CVE-2024-27757）。

在 HPTSA 对该网站的一次跟踪中，它采取了以下步骤：

1. 主管智能体调用 XSS 智能体，给出通用指令以查找 XSS 漏洞：
   (a) 第一次运行：智能体成功使用给定凭据登录。然而，它没有导航到 /admin.php 端点以探索潜在的 XSS 攻击，而是过早停止并列出了一系列可能的途径。
   (b) 第二次运行：智能体成功使用给定凭据登录并导航到 /admin.php。在那里，它进入创建帖子页面，注入了 XSS 载荷。然后，它保存并将帖子发布到主页，利用了 XSS 漏洞（但不是 CVE 中提到的 XSS 漏洞）。
   © 第三次运行：智能体使用给定凭据登录并导航到 /admin.php。在那里，它探索了可用的菜单和设置，并在帖子中注入了 XSS 载荷。然而，它还导航到 addOn 菜单，在画廊 addOn 中制作了 XSS 载荷，成功利用了 CVE-2024-27757。

2. 然后，主管智能体调用了 SQL 智能体，再次给出通用指令以探索网站。
   (a) 第一次运行：智能体尝试在登录页面进行 SQL 注入攻击，但未成功。
   (b) 第二次运行：智能体尝试在登录页面进行 SQL 注入攻击，失败后使用正确凭据登录并访问 /admin.php。它尝试在帖子创建页面进行 SQL 注入，但未获得结果。
   © 第三次运行：智能体尝试在登录页面进行 SQL 注入攻击，失败后使用给定凭据登录。然后，它访问了 /admin.php 端点，并尝试在帖子和语言搜索功能中注入 SQL 载荷，但未成功。

3. 最后，调用了 CSRF 智能体。然而，它的任务集中在 /admin.php 端点的各种菜单和操作上。
   (a) 第一次运行：智能体成功登录并导航到菜单创建端点。在那里，它采取了创建菜单的步骤。然后，它验证了一个新菜单的创建，并制作了一个 CSRF 载荷，重现了这些步骤，成功利用了 CVE-2024-24524。
   (b) 第二次运行：智能体成功登录并导航到帖子创建页面。然后，它创建了一个帖子并制作了 CSRF 载荷，应该能让管理员点击后创建帖子，但未成功。
   © 第三次运行：智能体登录并导航到帖子创建页面，再次尝试制作一个创建新帖子的载荷。然而，载荷仍未成功。

类似地，对于 CVE-2024-34061，某些输入参数未正确解析，可能导致 JavaScript 执行。漏洞位于未正确转义的特定页面上。要成功利用此漏洞，智能体必须导航到正确的页面。回溯和重试有助于这一过程。我们可以看到，几次运行未成功且未导航到正确的页面。

从这些案例研究中，我们可以观察到 HPTSA 的一些特性。首先，它能够成功地跨特定任务智能体的执行跟踪综合信息。例如，从第一次到第二次 XSS 运行，它专注于特定页面。此外，从 SQL 跟踪中，它确定 CSRF 智能体应集中在 /admin.php 端点上。这种行为与专家网络安全红队成员的行为非常相似。

我们还注意到，特定任务智能体现可以专注于漏洞本身，不需要回溯，因为回溯属于主管智能体的职责范围。先前的工作观察到单一智能体在回溯时常感到困惑 [5]，而 HPTSA 解决了这一问题。

6.2 Unsuccessful Case Studies

HPTSA 无法利用的一个漏洞是 CVE-2024-25635，alf.io 不当授权漏洞。该漏洞基于访问 API 中的特定端点，甚至不在 alf.io 公共文档中（注意，智能体无法访问此文档）。虽然存在一个通用智能体来利用专家智能体之外的漏洞，但它未能找到端点，因为网站上未提及该端点。

另一个 HPTSA 无法利用的漏洞是 CVE-2024-33247，Sourcecodester SQLi admin-manage-user 漏洞。该漏洞难以利用的原因类似：利用该漏洞所需的特定路由不易发现，使得随机或自动化攻击更难成功。除此之外，SQL 注入需要一个独特的路径，而在缺乏可见输入字段的网站上，工具和智能体可能无法轻松识别或定位注入恶意代码的端点。

我们的结果表明，可以通过强制专家智能体专注于特定页面并探索不易访问的端点（通过暴力破解或其他技术）来进一步改进我们的智能体。

7 Cost Analysis

与先前的工作一致 [4, 5]，我们测量了 GPT-4 智能体的成本。与先前的工作类似，我们的估计并不反映完整现实世界黑客任务的端到端成本。我们提供这些估计是为了将我们的智能体成本与先前的工作进行比较。

如前所述，我们通过跟踪输入和输出令牌来测量智能体的成本。在撰写时，GPT-4 的输出令牌成本为每百万 30 美元，输入令牌成本为每百万 10 美元。请注意，我们使用的是 GPT-4 Turbo，其训练数据截至 2023 年 12 月。

平均每次运行的成本为 4.39 美元。整体成功率为 18%，每次成功攻击的总成本为 24.39 美元。总体成本比当日场景高出 2.8 倍 [5]，但每次运行的成本相当（4.39 美元 vs 3.52 美元）。使用类似的网络安全专家成本估算（每小时 50 美元）[先前的工作]，以及探索网站的预估时间为 1.5 小时，我们得出的成本为 75 美元。因此，我们对人类专家的成本估算较高，但与使用 AI 智能体相比并不显著。

然而，我们预计使用 AI 智能体的成本将会下降。例如，GPT-3.5 的成本在过去一年中下降了 3 倍，Claude-3-Haiku 比 GPT-3.5 每输入令牌便宜 2 倍。如果这些成本趋势继续下去，我们预计 GPT-4 级别的智能体在未来 1-2 年内将比今天的成本便宜 3-6 倍。如果确实发生这样的成本改进，那么 AI 智能体将比专业的人类渗透测试员便宜得多。

8 Related Work

Cybersecurity and AI. 最近在网络安全和 AI 交叉领域的研究分为三大类：人类提升、AI 的社会影响和 AI 智能体。

在这项工作中，我们专注于 AI 智能体和网络安全。与我们最接近的工作表明，ReAct 风格的 AI 智能体可以在给定漏洞描述的情况下破解“夺旗”玩具网站和漏洞 [4, 5]。然而，这些智能体在零日场景中表现不佳。特别是，智能体在探索死胡同后回溯具有挑战性。我们在工作中表明，AI 智能体团队可以自主利用零日漏洞。

人类提升场景专注于使用 AI（通常是 LLMs）来辅助人类完成网络安全任务。例如，最近的工作表明，LLMs 可以帮助人类进行渗透测试和恶意软件生成 [20, 21]。这项工作在“脚本小子”场景中尤为重要，他们无需特殊专业知识即可部署恶意软件。基于这项工作和 AI 智能体的研究，研究人员还推测了 AI 对网络安全的社会影响 [3, 22]。

AI agents. AI 智能体正变得越来越强大和流行。最近高度能力的 AI 智能体大多基于 LLMs [16, 17]，现在可以完成诸如解决现实世界的 GitHub 问题 [1] 等复杂任务。已有数百篇论文致力于改进 AI 智能体，从提示技术 [23, 24]、规划技术 [25, 26]、添加文档和记忆 [27]、领域特定智能体 [28] 到许多其他方面 [15]。与我们工作特别相关的领域是多智能体系统 [6–8]。然而，据我们所知，我们的工作是第一个基于分层规划和特定任务智能体的现实世界 AI 智能体系统。

Security of AI agents. 相关的一个研究领域是 AI 智能体本身的安全性 [29–34]。AI 智能体的部署者可能希望限制智能体可以执行的任务（例如，限制执行网络安全攻击的能力）并保护智能体免受恶意攻击者的攻击。不幸的是，最近的工作表明，绕过 LLMs 的保护措施非常简单，例如通过微调去除保护措施 [32–34]。AI 智能体还可能通过间接提示注入攻击受到攻击 [35–37]。这一研究方向与我们的工作正交。

9 Conclusions and Limitations

在这项工作中，我们展示了 LLM 智能体团队可以自主利用零日漏洞，解决了先前工作提出的一个开放问题 [5]。我们的发现表明，网络安全（无论是进攻还是防御）的步伐都将加快。现在，黑帽攻击者可以使用 AI 智能体破解网站。另一方面，渗透测试人员可以使用 AI 智能体进行更频繁的渗透测试。目前尚不清楚 AI 智能体是否会更多地助力网络安全进攻还是防御，我们希望未来的工作能够解决这一问题。

除了我们工作的直接影响外，我们希望我们的工作能够激励前沿 LLM 提供商认真思考他们的部署。

尽管我们的工作表明在零日场景中的性能有了显著提升，但仍需进行大量工作以全面理解 AI 智能体在网络安全中的影响。例如，我们专注于网络和开源漏洞，这可能导致漏洞样本的偏差。我们希望未来的工作能够更彻底地解决这个问题。