大模型微差距分析:Claude Opus 4.5如何以0.2%优势登顶SWE-bench榜单,成本效率成关键考量!
Claude Opus 4.5在SWE-bench测试中以74.4%解决率险胜Gemini 3(仅0.2%优势),但成本显著更高。研究发现限制步骤数可提高Opus成本效率,最佳性能需至少100步。测试使用mini-swe-agent极简框架确保公平比较。顶级模型间差距缩小,选择应基于具体场景和成本考量,实际应用中Sonnet可能比Opus表现更好,与基准测试形成对比。
Claude Opus 4.5刚在SWE-bench测试中重夺榜首,以74.4%的解决率险胜Gemini 3。但这个胜利优势很小,仅以0.2个百分点的优势领先,SWE-bench团队成员直言,这相当于在500个验证任务中只多解决了一个任务。

背后的代价是成本:尽管 Opus 4.5比前代便宜36%,但"明显比其他得分相近的模型更贵"。为了这微乎其微的性能提升,你得承担显著更高的成本。
有趣的是,Opus 4.5在步骤数上比Sonnet 4.5更少,与Gemini 3 Pro相当,但远多于GPT-5系列。这种中等步数的策略在特定场景下反而更有优势。

SWE-bench团队发现了一个反常识现象:当限制最大步骤数时,Opus 4.5在成本效率上能超越Sonnet 4.5。在较低步数限制下,它能以更低成本达到相同性能水平。不过,如果要获得最佳性能,步数限制应该设为至少100步。

这次测试基于mini-swe-agent (https://github.com/SWE-agent/mini-swe-agent),一个仅100行Python代码的极简框架。所有模型使用完全相同的代理和提示词,确保"苹果对苹果"的公平比较。开发者故意去除了传统AI代理的复杂工具链,仅保留bash交互。
就有人提问:顶级模型是否在相同任务上失败或成功?团队成员回应说,确实有些任务只能被一两个模型解决,但也存在统计波动。他们的建议很实用:当AI卡住时,与其不断迭代,不如重置所有更改重新开始,因为模型很不擅长解决根本问题,它只会不断叠加变通方案,进而离解决问题的正确方向越来越越远。
还有不少用户反馈在实际使用中Sonnet比Opus表现更好,这与基准测试结果形成了有趣对比。
这种微小的领先优势再次说明一个事实:顶级模型间的差距正在缩小,选择哪个模型越来越取决于具体场景和成本考量,技术垄断是最脆弱的垄断。
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!
如果你也想通过学大模型技术去帮助就业和转行,可以扫描下方链接👇👇
大模型重磅福利:入门进阶全套104G学习资源包免费分享!

01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图(还有视频解说)
全过程AI大模型学习路线


03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了,这些是我精选出来的


04.大模型面试题目详解


05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势,构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事!

如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!
应届毕业生:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。
零基础转型:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型。
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)