面试官问:“你算过 reasoning 模型一次思考烧多少 token 吗?”

“3 年大模型应用开发,深度使用 GPT-5、Claude Opus、Gemini 等主流模型,熟悉 API 调用与成本优化。”

看到这份简历,我问了个看起来很简单的问题:你最近接的 reasoning 模型,单次请求里 reasoning_tokens 占多少?

候选人沉默了几秒,说大概几百吧,跟输出差不多。

错。差得不是一点半点。在 GPT-5.5 默认配置下,一次简单的算术推理就能烧掉 3k-8k 个 reasoning token,而你看到的最终回答可能只有 200 字。这部分 token 不会出现在 output 里,但按 output 价计费。同样是 GPT-5.5,输出价 $30/M tokens,你账单上凭空多出来的 $0.20 就是它。

这不是个别现象。OpenAI 自己的文档写得很清楚:reasoning tokens 默认开启 medium effort,即便你没传 reasoning 参数,模型也在烧。绝大多数应用上线后第一次看账单,都会被吓一跳。

今天这场面试,把 reasoning 模型最烧钱的隐形成本讲透。


Round 1:你以为输出 1000 token,实际烧了多少?

面试官:“我给 GPT-5.5 发一个简单数学题,输出 500 个 token 答案。usage 里 reasoning_tokens 大概是多少?”

候选人:“应该跟输出差不多吧,几百?”

正解

默认配置下,reasoning_tokens 通常是 output_tokens 的 5-15 倍,你的账单大头根本不在你看得到的回答里。

GPT-5.5 系列出厂默认 reasoning_effort = medium,意味着模型把约 50% 的 max_tokens 预算分给内部思考。一个真实的对照——同一道简单数学题用 GPT-5:

reasoning_effort reasoning_tokens output_tokens 倍数
minimal ~150 420 0.4x
low ~800 420 1.9x
medium(默认) ~3,500 420 8.3x
high ~9,200 420 22x

数据来自 Artificial Analysis 的 GPT-5 评测:从 minimal 到 high,token 消耗增加 23 倍,而 Intelligence Index 只从 44 涨到 68。简单任务下,多烧 22 倍 token 换不回什么准确率提升。

更让人头疼的是,reasoning tokens 按 output 价计费。GPT-5.5 输出价 $30/M,单次 high 配置加上长 prompt 烧 20k reasoning token,光思考就 $0.60,比你看到的回答还贵 10 倍。OpenAI 文档原话:reasoning tokens are billed as output tokens。

OpenAI o-series 还有个坑:它不返回 reasoning 内容给你,只在 usage.completion_tokens_details.reasoning_tokens 里告诉你我用了这么多。DeepSeek-V4 和 Anthropic 大方一些,把 reasoning 内容放在 reasoning_content 字段。Gemini 3.1 的 thinkingLevel 干脆完全黑盒,连数字都是 Google 内部决定。

来源:OpenAI Reasoning Models Docs | Artificial Analysis GPT-5 Benchmarks

要点速记

  • GPT-5.5 默认 medium effort,reasoning_tokens 常是 output 的 5-15 倍
  • reasoning tokens 按 $30/M 的 output 价计费,high 单次可烧 20k
  • 从 minimal 到 high,token 消耗增加 23x,但准确率只从 44 涨到 68
  • OpenAI o-series 不返回 reasoning 内容,DeepSeek-V4 / Claude 会返回

Round 2:reasoning_effort 这个参数到底分了多少 token?

面试官:“reasoning_effort 设成 high,模型就慢一点呗?”

候选人:“对,high 就是多想几步,把 max_tokens 调大一点就行。”

正解

reasoning_effort 不只是多想几步,它直接按比例切走你 max_tokens 预算的一大块。high 档位会预占 80%,留给最终输出的空间只剩 20%。

OpenRouter 公开过这个换算公式(适用于 GPT-5.5、Grok、Qwen3.6 等可控 effort 的模型):

budget_tokens = max(min(max_tokens × effort_ratio, 128000), 1024)

其中 effort_ratio 是档位对应的预算比例:

effort 预算比例 典型用途
minimal 10% 提取、改写、分类
low 20% 普通问答、轻量任务
medium 50% 默认,通用场景
high 80% 复杂推理、代码生成
xhigh 95% 算法设计、安全审计

举个具体例子:你设 max_tokens = 4096, reasoning_effort = high,模型先拿走 4096 × 0.8 = 3276 个 token 做内部推理,最终回答最多只能写 820 token。如果你的任务需要 2000 字答案,high 档位反而会截断输出。

OpenAI 在 2026 年 4 月新增的 xhigh 档位,effort_ratio 0.95,几乎把全部预算交给推理。官方承认这档位只在质量优先的关键任务用,潜台词是贵到日常用不起。

不同厂商的实现差别也很大。Claude Opus 4.5 用 medium effort 即可匹配 Sonnet 4.5 的能力,token 还少了 76%;high 档反超 Sonnet 4.3%,token 仍少 48%。Anthropic 在 token 效率上做了专门优化。反观行业整体,OckBench 评测覆盖 16 个模型显示,相似准确率下不同 reasoning 模型 token 消耗最多差 5 倍。思考效率差距比思考能力差距大得多。

最容易踩的坑:默认是 medium,不是 minimal。团队从 GPT-5.4 升级到 GPT-5.5 不改 reasoning 参数,账单往往翻 3-5 倍。

来源:OpenRouter Reasoning Tokens Guide | Claude Opus 4.5 Cost Analysis

要点速记

  • effort_ratio: minimal 10% / low 20% / medium 50% / high 80% / xhigh 95%
  • budget_tokens = max_tokens × effort_ratio,从 max_tokens 里切走,不是额外加
  • Claude Opus 4.5 medium 即匹配 Sonnet 4.5,token 少 76%
  • GPT-5.5 默认 medium,从 GPT-5.4 升级忘改参数账单翻 3-5 倍

Round 3:账单里的思考刺客怎么揪出来?

面试官:“上线两周账单翻倍,你怎么定位是不是 reasoning 烧的?”

候选人:“看总 token 数,调小 max_tokens 应该就好了。”

正解

调 max_tokens 治标不治本,会同步截断输出。真正的工程做法是分三层:监控 reasoning_tokens 单项、按任务路由 effort 档位、用缓存和 Batch 砍掉重复开销。

第一层:在 usage 里把 reasoning_tokens 单独取出来。 OpenAI Python SDK 的标准取法:

python

`response = client.responses.create(
model=“gpt-5.5”,
input=“…”,
reasoning={“effort”: “medium”}
)

usage = response.usage
reasoning_t = usage.output_tokens_details.reasoning_tokens
output_t = usage.output_tokens - reasoning_t
cached_t = usage.input_tokens_details.cached_tokens

print(f"reasoning ratio: {reasoning_t / usage.output_tokens:.1%}")`

LangChain 也支持,但要注意一个坑:早期版本没把 reasoning tokens 算进 total_cost,需要手动校正(参见 langchain issue #29779)。

第二层:按任务难度路由 effort。 不要全局一个档位。社区经验值参考:

场景类型 建议 effort
自动补全、实时聊天 minimal/none
RAG 问答、文档摘要 low
通用对话、Agent 工具调用 medium
代码生成、批量代码审查 high
安全审计、算法设计、迁移规划 xhigh

这套路由能直接砍掉 50%-70% 的 reasoning 成本。一个常见模式是先用 GPT-5.4-mini 做意图分类,再决定丢给哪个档位的 GPT-5.5。

第三层:组合优化拳。

  • Prompt Cache

    :GPT-5.5 缓存输入 $0.50/M,对比标准 $5/M,省 90%。注意 cached_tokens 走单独价表,但 reasoning_tokens 不享受缓存折扣,缓存优化只对 input 端有效。

  • Batch API

    :所有 token(含 reasoning)50% off,24h 内返回。GPT-5.5 Batch 价 = $2.50/M input + $15/M output,等于 GPT-5.4 标准价。代码审查、文档分析这类非实时任务全走 Batch。

  • Flex 模式

    :同样 50% off,但延迟不可控,从几秒到几分钟不等。

  • 超 272k 长上下文

    :GPT-5.5 触发 2x input、1.5x output 阶梯价,整 session 都涨。长 prompt 配合 reasoning 是双重烧钱。

报警阈值:把 reasoning_tokens / total_output_tokens > 0.8 设成 P0 告警,意味着模型大概率在做无效深思。Langfuse、Traceloop、Helicone 都支持 reasoning_tokens 维度拆分,建议直接接 OpenLLMetry 标准,按 user_id 和 feature 打标。

来源:OpenAI Reasoning Models Docs | Langfuse Token & Cost Tracking | OpenAI Pricing

要点速记

  • usage.output_tokens_details.reasoning_tokens 单独拿数据,别只看 total
  • 按任务路由 effort:实时聊天 minimal,代码生成 high,能砍 50%-70% 成本
  • Prompt Cache 输入省 90%,Batch 全 token 50% off,但 reasoning 不享受 cache 折扣
  • 报警阈值:reasoning/output > 0.8 视为异常深思

Round 4:用小 reasoning 模型省钱,真省到了吗?

面试官:“那我换 GPT-5.4-mini 或开源的小推理模型呢?参数小肯定便宜。”

候选人:“对啊,单价便宜十倍,账单肯定降下来。”

正解

这是 reasoning 模型最反直觉的现象——叫 Overthinking Tax。小模型为了弥补智能不足,会生成更冗长的思考链,单次请求总 token 数反而超过大模型,最终账单不降反升。

OckBench(arXiv 2511.05722,2025 年 11 月发表)做过一组实测:相似准确率下不同 reasoning 模型 token 消耗最多差 5 倍;同尺寸 7B reasoning 模型之间,因思考链长短不同,延迟差 10.7 倍、token 用量差 18.3 倍(Nemotron-7B vs Sky-T1-7B)。Qwen3.6 系列内部对比也有类似现象:dense 27B 在 SWE-bench Verified 上反超上代 MoE 397B-A17B(77.2% vs 76.2%),参数规模缩小一个量级,token 效率反而更高。

为什么会这样? 三个根因:

  1. 小模型思考密度低

    :每个 reasoning 步骤携带的信息量小,需要更多步骤才能逼近正确答案。

  2. RL 训练副作用

    :用强化学习训出来的 reasoning 模型有 backward-checking CoT 偏好,简单题也要反复自检。

  3. token budget 设置失灵

    :TALE 论文(arXiv 2412.18547)发现,给小模型加 token 预算限制,参数最小的那档掉分最狠——它想不完就答不对

真实换算:处理一道中等数学题,三种模型的成本对比(输出按当前 OpenAI 牌价):

模型 reasoning tokens output tokens 计费 token 输出价 $/M 单次成本
GPT-5.5 medium 3500 500 4000 $30 $0.12
GPT-5.4-mini medium 8000 500 8500 $4.50 $0.038
7B 自部署推理模型 18000 500 18500 等效 ~$3 $0.05-0.08

mini 这层仍然便宜,但和单价便宜十倍的直觉差距没那么大。一旦切到更小的 7B 自部署模型,token 膨胀往往把单价优势吃光。

怎么破? 行业现在两条路:

  • CoThink 两阶段管线

    (arXiv 2505.22017):用 instruct 模型做大纲,reasoning 模型只做精修。简单题让非推理模型直接答,难题才走 reasoning,整体 token 砍 30%-50%。

  • NoWait(抑制反思 token)

    :在解码时屏蔽 waitlet me reconsider 之类的反思 token,CoT 长度可压 27%-51%,准确率几乎不掉。

工程上更现实的做法:别在管线里默认上 reasoning 模型。提取、分类、改写这类任务,GPT-5.4-mini 不开 reasoning 比 GPT-5.5 开 minimal 还便宜。reasoning 是奢侈品,不是日用品。

来源:OckBench: Measuring LLM Reasoning Efficiency | Stop Overthinking Survey | CoThink Pipeline

要点速记

  • Overthinking Tax:同准确率下小模型 token 消耗多 5x,账单不降反升
  • GPT-5.5 medium 单次 $0.12,GPT-5.4-mini medium $0.038,差距远小于单价差
  • 简单任务(提取/分类/改写)禁用 reasoning,用 instruct 模型直答
  • CoThink token 砍 30%-50%,NoWait CoT 压 27%-51%

面试官点评

候选人对 reasoning 模型的认知停留在能力强一点、慢一点这个旧观念。2026 年 reasoning 模型已经是工程化基建,不是 demo 玩具。面试时三个问题答得最虚:reasoning_tokens 占比、effort_ratio 切预算的机制、Overthinking Tax。

给一份可执行清单:

  1. 接入第一天就埋监控

    :拆出 reasoning_tokens 单项,设置 reasoning/output > 0.8 的 P0 告警;

  2. 按任务路由 effort

    :实时聊天 minimal、Agent medium、代码生成 high,不要全局一个档

  3. 重新评估小模型省钱假设

    :跑一次 OckBench 风格的对照实验,看自家业务下小模型的实际 token 消耗,再决定要不要换。


reasoning 模型最贵的不是它说的,是它没说的。账单上那串你从没读过的隐形 token,才是真正在燃烧的钱。

学AI大模型的正确顺序,千万不要搞错了

🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!

有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!

就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋

在这里插入图片描述

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐