大模型的「思考」也在花钱：Thinking Budget 是什么、怎么调不翻车

你问 AI 一个难题，它常常「想」好几秒才开口。这个思考的过程，很多场景是按 token 计费的——和答案正文一样。最近字节跳动的首个开源模型 Seed-OSS-36B 把「Thinking Budget（思考预算）」列进了卖点清单。先把一个误传按住：它不是新发布的模型，2025 年 8 月 20 日就官宣开源了，到现在已经用了一年多。真正值得新讲的，是它背后的那个概念。

思考 token：答案之前的「隐形账单」

推理系模型（R1 一类、各家「会思考」的模式）在给出最终答案前，会先输出一长串一步步的推导过程，业内叫 reasoning tokens。查 API 账单时留意 usage 里的思考/推理字段，就能看出一次调用到底「想了」多少字。你看到的「思考了三十秒」，很多情况下是几千个正在计费的生成 token。

好消息是：对复杂任务，思考真的换来了正确率——数学、代码、多步规划，想过的和没想过的差距肉眼可见。

坏消息是：简单任务里它是纯支出。一句翻译、一次信息提取，模型「沉吟」的两千字就是两千字的账单。

自家翻车实录：省出来的空白框

说实话，这个学费我们在自己站上交过。早期对话功能接入一款推理型模型时，出于成本考虑把输出上限设得很紧凑，结果模型在「想」的阶段就把额度用光，正文一个 token 都没剩下——用户端看到的，是一个空白回复框。后来我们把对话场景的输出上限统一放宽、结构化长文场景放得更宽，空白回复基本消失。

这趟翻车教会我们两件事：

• 上限不是目标。max_tokens 是「最多写多少」，不是「每次都写满」。放宽天花板不一定多花钱，卡太紧才危险——额度要先保证「想完还能答完」。
• 可靠性是第一杠杆。一次空白回复，浪费的是整次调用费加上用户的时间，比省下的那点 token 贵得多。

Thinking Budget：把「想多少」从暗账变成旋钮

新一代模型开始把控制权摆到台面上：谷歌的 Gemini 系列允许直接设置思考预算，字节 Seed-OSS-36B 也内置了 Thinking Budget——手动给定推理过程的长度上限，难题深想、易题快答。

它和传统「输出长度限制」的差别很关键：老的 max_tokens 把思考和答案塞在一个碗里，容易出上面那种空白事故；思考预算只管思考这只碗，答案另算。看懂这个分法，就能记住三条使用准则：

1. 日常易事，关掉或调低思考。翻译、提取、改写，大多不需要「慢思考模式」伺候。
2. 难题给它留够余量。多步推导、程序调试这类任务，预算抠太狠等于半路打断它思考，答案质量反而崩。
3. 遇到空白或截断，先查预算再怪模型。别急着下「AI 变笨了」的结论，先看这次调用的用量明细里，思考占了多大头。

512K 长文与 6GB 端侧：同一张价目表的其他条目

说回报表。Seed-OSS-36B 的另一个卖点是原生支持 512K 长上下文，约为当前主流模型的 4 倍。注意分账：读长文是输入侧的钱，思考是输出侧的钱——「一次塞进一千页」可能远没有「它想了一分钟」贵。

再记一笔同期的新动向：专注端侧的 Liquid AI 最近放出了 LFM2.5-24B-A2B，MoE 结构让 24B 参数的模型每次只激活约 2.45B 参数，官方口径是笔记本本地跑约 6GB 内存/显存就能到每秒 184 个 token——「思考的钱」被压到自家设备上就能承受的量级。

至于要不要自己买卡跑，我们写过一份本地部署大模型自查清单，更早还有人把「买显卡实现 token 自由」的账本翻给大家看过。结论照旧：36B 级别的模型不是端侧入门对象，普通人把带思考预算的模型用在云端 API 上就够了——API 侧确实便宜，「1 块钱一百万 token」都有过先例（这里算过这笔账）。但输入价被打下来之后，账单大头反而更可能长在「思考」这一侧——这正是 Thinking Budget 值得每个用 AI 的人搞明白的原因。

想先看看自己的电脑能跑多大的模型？我们做了个不用注册的本地大模型部署选型器，输入显存十分钟算清账。

Q: Thinking Budget（思考预算）是什么？

A: 给模型「思考过程」设定的长度上限。推理型模型在回答前会生成大量中间推导文本，这部分和答案一样计费；设置预算就是告诉模型最多想到什么程度，简单任务省钱，复杂任务保留深度。

Q: 是不是想得越久结果越好？

A: 不一定，要和任务难度匹配。翻译、提取信息这类简单任务，长思考基本是浪费；而复杂数学、多步规划如果预算设得太紧，模型想一半被打断，答案质量反而下降，输出总上限也卡紧时甚至会出现空白回答。

Q: Seed-OSS-36B 是刚开源的吗？普通人能自己跑吗？

A: 不是刚开源。它是字节跳动 Seed 团队 2025 年 8 月 20 日发布的首个开源大模型，Apache-2.0 许可可商用，36B 参数规模、原生支持 512K 长上下文。自己跑需要高端显卡条件，个人尝鲜门槛高；普通用户通过云端 API 使用这类支持思考预算配置的模型就够了。

Q: AI 回答空白或只答一半就断，怎么办？

A: 常见原因之一是思考过程把输出额度用光了。自己调 API 的，先放宽最大输出限制、再单独给思考设合理预算；用第三方应用的，先换个模型或切换思考模式试试，再判断是不是「模型坏了」。