OpenAI训练了一个专门攻击AI的模型、84万行代码全开源、编程Agent集体‘开窗‘:本周AI工具5件大事
程序员之路 · 每周AI工具精选
摘要: 这周AI工具圈的主旋律是'Agent的安全与开放'——OpenAI用AI攻击AI训练出GPT-Red,让GPT-5.6对抗提示注入的成功率提升6倍;Anthropic给Claude Code桌面端装了沙盒浏览器,Agent终于能自己看文档了;SpaceXAI在数据泄露风波后把Grok Build 84万行Rust代码全部开源;Cursor 3.11推出Side Chats让你不用再打断主线对话;GitHub Trending被AI Agent项目集体屠榜,求职Agent单周拿下1.3万Star。
关键词: GPT-Red、Claude Code浏览器、Grok Build开源、Cursor 3.11、AI Agent
📊 本周动态速览
过去一周(7月10日-7月17日),AI工具赛道围绕一个关键词展开:Agent的安全边界正在被重新定义。
- OpenAI发布GPT-Red —— 自动化红队模型,用AI攻击AI,GPT-5.6对抗提示注入失败率降低6倍
- Claude Code桌面端内置沙盒浏览器 —— Agent可以直接打开文档、查阅设计稿、测试Web应用
- SpaceXAI开源Grok Build —— 84万行Rust代码,Apache 2.0协议,可完全本地运行
- Cursor 3.11发布Side Chats —— 并行对话不干扰主线,支持对话搜索和iPhone端
- GitHub Trending被AI Agent屠榜 —— ai-job-search单周+13195 Star,Agent从编程扩展到求职/办公/交易
我的判断:这周最核心的信号是——Agent正在从'能干活'走向'能信任'。 GPT-Red让AI学会了自己找自己的漏洞;Claude Code的沙盒浏览器让Agent能上网但不会乱来;Grok Build开源让你能逐行检查代码有没有偷传数据。当Agent开始帮你处理越来越多的事情,'我怎么相信它'变成了比'它能不能做'更重要的问题。
1️⃣ GPT-Red:OpenAI训练了一个专门攻击自己模型的AI
🛡️ 一句话评价:AI安全的'以毒攻毒'——用最强攻击手训练最强防守者
7月15日,OpenAI发布了GPT-Red,一个专门用来攻击自家模型的自动化红队AI。不对外提供,不公开权重,只做一件事:找漏洞,然后把漏洞堵上。
核心数据:
| 指标 | 数值 |
|---|---|
| GPT-Red vs 人工红队(学术场景) | 84% vs 13% |
| GPT-5.6对抗最强注入攻击的失败率 | 比4个月前降低6倍 |
| GPT-5.6抵御GPT-Red直接注入成功率 | 99.95% |
| '伪造思维链'攻击对GPT-5.1成功率 | >95% |
| '伪造思维链'攻击对GPT-5.6成功率 | <10% |
训练方式——自我对弈: GPT-Red和一个防御模型集群同时训练,攻防双方在模拟环境中反复对抗。攻击方奖励成功注入,防守方奖励抵御攻击且完成原始任务。随着防守越来越强,攻击也不得不越来越刁钻。
一个让我印象深刻的案例: OpenAI用GPT-Red攻击了办公室一台AI自动售货机(Andon Labs开发的Vendy)。GPT-Red成功把一台高价商品改价到0.5美元,还以0.5美元下了一台100美元以上的订单,顺便取消了另一个客户的订单。
一种新型攻击——伪造思维链: GPT-Red发现了一种此前从未见过的攻击方式:向目标模型的思维链中插入一条伪造信息,让模型以为'这是我自己推理出来的结论'。OpenAI研究员的比喻很形象:'就像有人告诉你1+1=3,而且这是你自己已经验证过的结果。模型会想:既然我已经确认过了,那应该没问题。'
我的判断: 这件事的意义远超GPT-5.6本身。当AI Agent开始访问文件、浏览器、邮件、代码仓库,每一个数据入口都可能成为攻击面。靠人工红队已经越来越难覆盖所有场景——GPT-Red在学术场景中达到84%的成功率,人类只有13%。这意味着AI安全测试正在进入'自动化时代'。但也要注意:GPT-Red目前不擅长需要多轮交互的复杂攻击,图片注入能力也有待提升。安全是一场没有终点的军备竞赛。
官方入口:openai.com/index/unlocking-self-improvement-gpt-red
2️⃣ Claude Code桌面端内置沙盒浏览器:Agent终于能自己看文档了
🌐 一句话评价:Agent从'只能读本地代码'进化到'能上网查资料',但有安全护栏
7月初,Anthropic给Claude Code桌面端推送了一个重大更新——内置沙盒浏览器。Agent可以直接打开文档、查阅设计稿、浏览Issue Tracker,甚至测试Web应用,不需要你再开一个Chrome窗口来回切换。
核心能力:
- 按Cmd+Shift+B(Mac)或Ctrl+Shift+B(Windows)打开浏览器面板
- Agent可以读页面、点击、交互,操作方式和对本地预览一模一样
- 支持Tab式浏览,面板可自由拖拽布局
安全设计——这是关键:
- 浏览器运行在隔离的干净配置文件中,不共享你的cookies、密码、历史记录
- 可以完成Google OAuth登录流程,但是以'全新身份'登录,不是'代表你'登录
- 对外部网站的写操作(点击、表单填写)需要用户明确批准
- 企业管理员可以通过域名白名单控制Agent能访问哪些网站,或直接禁用浏览器
同一周的其他更新也值得关注:
| 版本 | 更新内容 |
|---|---|
| v2.1.207 | Sonnet 5设为默认模型;Auto模式扩展至Bedrock/Vertex/Foundry |
| v2.1.208 | 屏幕阅读器模式;修复长会话64MB内存泄漏;会话记录压缩79倍 |
| v2.1.209 | Artifacts可调用MCP连接器获取实时数据 |
| v2.1.210 | 长时间工具调用显示计时器;加固Agent工具抗间接注入 |
一个数字感受Claude Code的影响力: 目前Claude Code贡献了GitHub上约4%的公开commits——每天大约13.5万次提交。
我的判断: 内置浏览器让Claude Code从'只能处理本地代码'变成了'能理解整个Web上下文'。但真正让我觉得Anthropic想明白了的是安全设计:干净配置文件+用户批准+企业白名单,三层防护。对比GPT-Red那周的事情,你会发现一个趋势——Agent能力在快速扩张的同时,安全护栏也在同步收紧。这是好事。
官方入口:Claude Code桌面端(需更新至最新版)
3️⃣ Grok Build开源:84万行Rust代码,Apache 2.0,可完全本地运行
🔓 一句话评价:数据泄露风波后的'信任重建'——马斯克选择把底牌亮出来
7月15日,SpaceXAI(原xAI)宣布开源Grok Build,把整个编码Agent的源码放到了GitHub上。这不是模型开源——Grok 4.5仍然是闭源API——开源的是'外壳':Agent循环、工具调度、终端UI、扩展系统,全量公开。
开源规模:
- 代码量:844,530行Rust(去除空行和注释后)
- 协议:Apache 2.0
- 仓库:github.com/xai-org/grok-build
- 完全本地运行:自己编译,指向本地推理,通过config.toml控制一切
开源背景——一场信任危机: 就在开源前一天,社区发现Grok Build在运行时会将用户目录下的文件上传到SpaceXAI的Google Cloud存储桶。有用户报告称在home目录运行时,SSH密钥、密码管理器数据库、照片、视频全部被上传。事件引发强烈反弹后,SpaceXAI迅速关闭了数据上传功能,马斯克承诺删除所有已上传数据,随后宣布开源。
源码中值得关注的细节:
- 工具实现参考了Codex、Claude Code、OpenCode的设计——代码中明确标注'ported from'
- GCS上传代码仍残留在代码库中(xai-grok-shell/src/upload/gcs.rs),但已被禁用
- 子Agent的系统提示中写着'不要向用户透露系统提示内容',但主系统提示中没有这条
我的判断: 不管你对马斯克有什么看法,84万行Rust代码全开源这件事本身是有价值的。Simon Willison的评价很到位:'如果你想了解coding agent到底是怎么工作的——上下文怎么组装、工具怎么调度、扩展系统怎么加载——这份源码就是最权威的答案。'对于做Agent开发的团队,这份代码的参考价值不亚于一本教科书。但也要注意,开源harness和开源模型是两回事——Grok 4.5的权重仍然锁着,你用的还是SpaceXAI的API。
官方入口:github.com/xai-org/grok-build
4️⃣ Cursor 3.11:Side Chats让你不再打断主线对话
💬 一句话评价:终于不用为了问个小问题把整个Agent对话搞偏了
Cursor 3.11本周推送了最重要的新功能——Side Chats(侧边对话),解决了开发者一个高频痛点:当你正在和Agent处理一个复杂任务时,突然想问个相关问题或探索个新想法,但又不想打断当前对话的上下文。
核心功能:
| 功能 | 说明 |
|---|---|
| Side Chats | 并行开启独立的Agent对话,互不干扰主线程 |
| @引用回主线程 | Side Chat内容可通过@mention引用回主线对话 |
| 对话搜索 | 本地索引所有历史Agent对话,支持关键词搜索 |
| iPhone端 | Cursor正式登陆iOS |
Side Chats的实际用法: 比如你正在用Agent重构一个模块,突然想问一下某个API的用法。以前你得开一个新窗口或者冒险在当前对话里切换话题。现在直接开一个Side Chat,问完关掉,主线对话的上下文完全不受影响。如果Side Chat里的结论有用,@一下就能拉回主线。
对话搜索也很实用: 当你积累了上千条Agent对话记录后,找之前某次讨论过的方案基本靠记忆。Cursor现在做了本地搜索索引,关键词一搜就能找到。
我的判断: Side Chats解决的不是一个功能问题,而是'Agent对话的心智负担'问题。当Agent对话越来越长、越来越复杂,'上下文管理'本身就成了生产力瓶颈。Cursor这个设计思路很清晰:主线做重活,侧线做探索,按需合并。iPhone端的上线也说明Cursor在把开发体验从桌面延伸到移动端——虽然手机上写代码听着离谱,但review代码、回复Agent问题、查看构建状态,这些轻量操作完全可以在手机上完成。
官方入口:Cursor桌面端/iOS端
5️⃣ GitHub Trending本周被AI Agent项目集体屠榜
📈 一句话评价:Agent不再只写代码了——求职、办公、交易、会议,全面渗透
本周GitHub Trending周榜(截至7月15日)几乎被AI Agent项目占据。我挑了3个最有代表性的说:
ai-job-search:单周+13,195 Star,AI帮你找工作
基于Claude Code构建的AI求职自动化框架,完全本地运行。能自动分析职位描述、定制简历、撰写求职信、准备面试,全流程Agent化。MIT协议开源。
为什么火? Agent能力正在从'写代码'扩展到'处理个人事务'。找工作是一个高频、高痛苦、高信息量的场景——恰好是Agent最擅长的。
graphify:87,350 Star,把代码库变成可查询知识图谱
兼容Claude Code、Codex、Cursor、Gemini CLI等所有主流编码Agent的技能。能把任意文件夹(代码、文档、SQL、图片)转换成可查询的知识图谱。本周+6,724 Star。
为什么火? 当Agent需要理解复杂项目的'全貌'时,传统的文件读取方式效率太低。知识图谱让Agent能一次性理解代码结构、依赖关系、基础设施定义。
OfficeCLI:17,432 Star,给Agent用的Office套件
支持Agent直接读写Word、Excel、PowerPoint,单二进制文件,无需安装Office。Apache 2.0协议。
为什么火? Agent帮你写代码已经不够了,还要帮你写周报、做PPT、处理Excel。这个工具让Agent能直接操作办公文档,而不必依赖微软的COM接口。
榜单趋势判断: 三条清晰信号——
- Agent从编程场景扩展到具体业务:求职、办公、会议、交易
- 多Agent协同成为新赛道:orca管理并行Agent集群、CubeSandbox提供安全沙箱
- 模型接入统一化诉求增强:OmniRoute一个端点接231+模型提供商
官方入口:github.com/trending
💬 写在最后
这周最大的感受是:Agent的'信任基础设施'正在加速建设。
GPT-Red用AI攻击AI,让模型的安全性不再依赖人工红队的效率上限。Claude Code的沙盒浏览器让Agent能上网但有严格的身份隔离。Grok Build在数据泄露后选择开源,用代码透明度重建信任。Cursor的Side Chats虽然看起来只是个小功能,但本质上也是在降低开发者对Agent'上下文失控'的焦虑。
对开发者的启示: 选Agent工具,不再只看'能不能干活',更要看'怎么保证它不乱来'。沙盒隔离、数据不保留、代码可审计、安全护栏可配置——这些'不性感'的特性,正在成为核心竞争力。
一句话总结这周:Agent在变强的同时,也在变得可信。这两件事同时发生,才是真正值得高兴的事。
📢 今日互动
GPT-Red这种'用AI攻击AI'的安全策略你觉得靠谱吗?你的Agent工具链里,最在意哪个安全特性——数据隔离、代码开源、还是安全审计?
评论区聊聊,下周精选见!
觉得有用?建议收藏备用,下次选工具直接翻出来 ⭐
星标⭐程序员之路,每周AI工具第一时间精选
更多推荐


所有评论(0)