缓解OWASP针对LLMs十大风险：构建安全的生成式AI应用

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， OVAS， Mitigate Owasp Risks， Secure Genai Applications， Unstructured Data Governance， Holistic Security Controls， Automated Compliance Assessment]

导读

随着生成式AI改变现代应用程序，构建安全的生成式AI应用已成为一个关键优先事项。保护AI系统需要结合强大的数据和AI安全技术。这个简短演讲分享了构建安全生成式AI应用的关键步骤。了解开发人员、运维和安全团队必须解决的大型语言模型(LLM)的OWASP十大漏洞。探索如何使用LLM防火墙来保护提示、数据检索和响应层，并防止未经授权访问敏感数据。了解如何在模型训练、调优和检索增强生成过程中保护敏感数据。还可以学习如何为不断发展的AI和数据法规实现自动化合规。本演讲由亚马逊云科技合作伙伴Securiti为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在生成式人工智能(GenAI)的年鉴中，组织面临着一项西西弗斯式的任务:迅速将他们的试点项目过渡到生产环境中。这一困境的核心在于数据安全和隐私问题束缚了团队，阻碍了他们的进展。正是在这个关键时刻，开放Web应用程序安全项目(OWASP)指南应运而生，照亮了构建安全人工智能应用程序时需要解决的诸多问题的道路。

演讲者揭示了一个五步框架，这是一个真正的万灵药，可帮助团队构建符合安全原则的应用程序，与OWASP指南完美契合。其总体目标是使组织能够以前所未有的敏捷性构建人工智能应用程序，同时受到强大的保护措施的加持，不受过度压力的困扰。

在组织的内部，人工智能在三个领域发挥作用。首先，内部应用程序见证了实验的日益增长。其次，神秘的“影子人工智能”领域潜伏着，中央团队对正在打造的应用程序一无所知，缺乏必要的防护措施。第三，组织通过SaaS应用程序利用GenAI的强大功能，但这样做会将其敏感的企业数据暴露于安全漏洞的风险之中。

在这三个领域中，呼声高涨:必须具备适当程度的可见性和控制力。演讲者的方法正是努力解决这一迫切需求。

OWASP前十大漏洞列表最近经历了蜕变，以2025年的形式重新出现。三个新漏洞被纳入其中:系统提示泄露(第7个漏洞)、向量和嵌入弱点(一个新漏洞)以及无限制消耗的变体(漏洞已发生变化)。

演讲者提出了一种另类观点，认为最需要关注的漏洞分别是第二和第六大漏洞:敏感信息泄露和过度授权。前者受到攻击者的青睐，因为他们渴望获取敏感数据。后者是一个棘手的问题，围绕着在人工智能应用程序领域修复权限的艰巨挑战。

OWASP示例架构发出了振聋发聩的呼声，强调了全面方法对于确保人工智能应用程序安全的重要性。人工智能安全仅仅是提示安全的神话被巧妙地驱散了，因为漏洞遍布整个应用程序架构，包括模型、数据、提示、响应以及插件等辅助组件。

非结构化数据治理成为一个关键方面，是一个真正的阿喀琉斯之踵，束缚着团队。虽然组织已经在结构化数据治理方面取得了成熟，但对于非结构化数据的安全方法主要是防御性的，旨在防止数据泄露。然而，GenAI提供了一个利用非结构化数据中潜在价值的机会。但是，团队发现自己陷入了一个困境，必须确保数据本身是安全的，不受敏感信息的污染，质量上乘，并经过严格的清理和权限协议。

演讲者阐述了组织必须思考的四个关键问题:

1. 组织内部在何处部署了人工智能(尤其是大型语言模型)，它们面临着什么风险? 2.哪些数据暴露给了这些模型?
2. 必须实施什么整体控制措施来缓解相关风险?
3. 如何将合规性转变为实施必要控制措施的自然副产品?

缓解风险的五步方法如下:

第一步:自动发现 揭示正在使用的模型和代理，无论是托管在亚马逊云科技服务(如Bedrock、SageMaker或EC2)上，还是嵌入在SaaS应用程序中，这是第一步。这个发现过程最终会创建一个中央目录，一个存储库，阐明了供应链风险，并揭示了正在使用的模型。

第二步:模型风险评估 对现成模型所继承的风险进行评估是必要的，包括毒性、受攻击的脆弱性、内在偏差和出现幻觉的倾向。这种评估产生模型风险评分，并传播给开发团队，使他们能够根据具体用例做出明智的选择。此外，还需要评估基础设施风险，因为不安全的基础设施可能会导致模型中毒和幻觉，加剧OWASP漏洞的威胁。

第三步:数据理解 理解应用程序所消费的数据至关重要，因为单个模型可能会从多个数据源中吸收信息，反之亦然，单个数据源可能会为多个模型和管道提供养分。构建知识图谱是必不可少的，阐明数据暴露情况，包括敏感信息、权限问题和冗余数据。这种理解对于识别敏感信息泄露和数据损坏的漏洞至关重要。

第四步:实施控制措施 数据级控制: 清理:在将受监管和机密数据输入模型或向量数据库之前，自动对其进行分类、编辑或屏蔽是必不可少的，这是防止潜在数据泄露的一道防线。 权限:确保正确配置数据源权限是前提条件，并且模型在生成嵌入和响应时必须遵守这些权限，这是防止过度授权的一道防线。正如演讲者所阐述的那样:“如果您的数据源本身就可以被用户广泛访问，任何应用程序都无法保护这一点 - 任何使用应用程序的用户都将能够访问该数据。”

模型级控制: 对话防火墙: 1. 提示防火墙:分析提示中是否包含越狱指令、恶意URL以及进行速率限制，这对于缓解提示注入和拒绝服务攻击至关重要。演讲者举了一个例子:“如果有大量重复的请求，就可以缓解拒绝服务攻击，这是您的无限制消耗。” 2. 检索防火墙:检查从向量数据库和嵌入中检索数据，这是防止向量数据库漏洞的一道防线。“如果从您的向量数据库中检索到敏感数据包，那么它有助于缓解向量数据库中的漏洞。” 3. 响应防火墙:分析生成的响应是必不可少的，以防止不当的输出处理、虚假信息和滥用应用程序。演讲者举了一个例子:“一家汽车经销商建立了一个面向客户的聊天机器人，为客户提供有关汽车库存的信息，但学生实际上获得了对该聊天机器人的访问权限，他们正在使用该聊天机器人编写源代码和写作文。”响应防火墙可以检测到这种滥用并执行相关政策。

第五步:合规性 合规性必须转变为实施安全控制措施的自动副产品，而不是简单的勾选练习。随着数据分类、清理和权限等控制措施的实施，它们会自动与各种合规框架(如NIST、欧盟人工智能法案)保持一致。合规性必须与安全控制措施紧密相连，提供自动化的合规性评估和风险评分，突出需要解决的差距。

演讲者重申了五步框架，强调第1-3步致力于获得对模型的可见性、评估风险并理解数据暴露情况。第4步和第5步涉及实施适当的控制措施，并确保合规性是安全措施实施的自然副产品。

最后，演讲者揭示了一个数据指挥中心平台，这是一个真正的万灵药，使团队能够在几分钟内构建安全的人工智能管道。该平台允许选择数据源、模型，并实施诸如清理、权限和对话防火墙等安全控制措施。演讲者敦促观众扫描一个URL，这是一个门户，提供了演示视频、幻灯片以及免费获取人工智能安全和治理认证的机会，这体现了该组织传播知识和赋予利益相关者权力的承诺。

下面是一些演讲现场的精彩瞬间：

权限控制对于大型语言模型至关重要，可防止未经授权的数据访问，确保模型遵守底层数据权限，并拒绝未获授权用户访问所请求的信息。

响应防火墙会分析生成的内容，确保其符合预期用例和公司政策，防止滥用和错误信息。

该图展示了一个全面的人工智能系统流程，包括数据摄取、清理、向量数据库集成、灵活的模型选择以及强大的安全控制。

合规性应该是自动化的副产品，而不是一个简单的检查练习，应与安全控制相结合，以进行有效的风险评估和差距识别。

强调了有效人工智能治理的五个关键步骤:获取现有模型的可见性、评估风险、了解数据输入、实施适当的控制措施以及自动化合规性。

总结

在不断演进的生成式人工智能领域，组织面临着多重安全风险和挑战。本演讲提出了一个全面的5步框架，以缓解针对大型语言模型(LLM)的OWASP前十大风险，并构建安全的人工智能应用程序。该框架强调需要采取整体方法，包括自动发现人工智能模型和代理、评估模型风险、了解数据暴露情况、在数据和模型层面实施控制措施，以及自动化合规性。

第一步是发现组织内部正在使用人工智能(尤其是LLM)的地方，包括内部应用程序、影子人工智能项目和SaaS应用程序。接下来，组织必须评估所使用的模型和代理的相关风险，考虑诸如毒性、偏差和容易受到攻击等因素。第三步着重于了解输入这些模型的数据，包括识别敏感信息、权限问题和潜在的数据冗余。

一旦确定了风险，第四步就是在数据和模型层面实施控制措施。数据层面的控制包括对敏感信息进行清理，并实施权限控制以防止未经授权的访问。模型层面的控制涉及对话防火墙，分析提示、检索和响应，以缓解诸如提示注入、向量数据库漏洞和不当输出处理等风险。

最后，合规性应该是实施安全控制措施的自动副产品，与相关框架(如NIST、RMFR或欧盟人工智能法案)保持一致。通过遵循这一框架，组织可以更快、更安全、更低压力地构建安全的人工智能应用程序，同时利用生成式人工智能的力量并缓解相关风险。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。