分享好友 健康资讯首页 健康资讯分类 切换频道

不是所有token都平等,谷歌提出真·深度思考:思维链长≠深度推理

2026-02-25 21:0527036kr

原来AI也在水字数。

大模型的思维链越长,推理能力就越强?谷歌Say No——

token数量和推理质量,真没啥正相关,因为token和token还不一样,有些纯凑数,深度思考token才真有用。

新研究抛弃字数论,甩出衡量模型推理质量的全新标准DTR,专门揪模型是在真思考还是水字数。

基于DTR,还提出了Think@n策略,让GPT-OSS、DeepSeek-R1等推理模型实现准确率不降、算力成本直接砍半的效果。

长逻辑不等于好推理

长期以来,一个比较常见的观点是思维链越长越牛。

这种思路的逻辑也比较直接,推理步骤多=思考更充分=答案更准。

于是不少研发者也为了追求长推理轨迹开始堆算力。

谷歌的研究团队在AIME2024/2025、HMMT 2025、GPQA-Diamond四个数据集上,测了GPT-OSS、DeepSeek-R1、Qwen3等8个模型变体;

结果发现,token长度和准确率的平均相关系数是-0.54……负相关。

也就是说,在某些情况下,思维链越长,推理越容易跑偏,甚至还会陷入逻辑死循环或者过度推理。

那么问题来了:如果长度靠不住,那该怎么判断模型是不是在真思考?

谷歌这次的视角比较有意思,不看表面输出,直接监听模型每一层的内心戏。

研究发现,模型生成的token其实可以分成两类:

团队用JSD衡量各层预测分布的差异,如果一个token的预测直到深层网络才稳定下来,那就被判定为深度思考词。

在这个基础上,他们提出了Deep Thinking Ratio,即深度思考词在完整生成序列中的占比。

这个比例越高,说明模型越聚焦核心推理,没有在无意义内容上消耗算力。

真·深度思考降本增效

在四个推理测试集上,DTR与推理准确率的相关系数达到0.82。

相比于token长度的-0.54,DTR更能反映推理质量。

谷歌还基于DTR顺势推出了Think@n策略,能在推理初期就识别低质量废话,将计算资源集中在真正有深度的样本上。

具体为为每个问题采样多个推理样本,仅通过50个token的短前缀快读估算DTR值,筛选出前50%的高质量样本,再进行多数投票得出答案;

这样,低DTR的低质量样本在推理初期就被终止生成,直接砍掉无意义的token消耗。

在多款主流模型的测试中,Think@n推理准确率与传统策略持平甚至略高。

比如GPT-OSS-120B-medium在AIME 2025数据集上准确率达94.7%,高于传统策略的92.7%;

还将算力成本直接削减近一半,推理token消耗从355.6k降至181.9k,做到了性能不降、成本减半。

这项研究的第一作者Wei-Lin Chen是弗吉尼亚大学计算机博士,专注于LLM推理衡量及评估者有效性等研究方向,曾在谷歌担任学生研究员。

共同一作Liqian Peng为中科大校友,现在谷歌担任研究工程师。

指导作者孟瑜是弗吉尼亚大学计算机助理教授,研究方向包括训练范式、数据与推理效率及表征基础等方面,此前还和NLP领域的顶尖学者陈丹琦有过合作。

看来大模型推理也不兴水字数了,真·深度思考才能降本增效。

本文来自微信公众号“量子位”,作者:关注前沿科技,36氪经授权发布。

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据,这似乎是波澜不惊的一天:上架5宗地块全部拍出,总揽金90.6亿元,没有所谓的地王地块,也没有超高溢价率的房企争夺战。但如果将视角拉远,会发现这场土拍背后,筛选出了上海楼市中两种截然不同的资本面孔。第一类,是常年参与上海土拍的各大房企们:从绿城、招商,再到华润、联发,几家企业已沉浸这片楼市多年;第二类,则是那些选择“跨界”入局的实业企业们,而本场土拍中

0评论2026-08-0581

早期项目 | 从智能喂养切入,一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元,年均增速保持12%的稳健水平;全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后,其智能化渗透率较低,尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点,而传统母婴产品仍停留在基础功能阶段,智能化程度不足、生态割裂,无法满足新一代家庭需求。以喂奶为例,不少家庭依然采用着极为

0评论2026-08-0583

壹酒店“失败”启示录……
近日,三亚海棠湾阳光壹酒店正式撤牌,原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场,也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出,而老派奢华的康莱德归来?在存量竞争白热化的当下,业主为何要么自持、要么纷纷转向国际酒店巨头?壹酒店换牌康莱德,新喜达屋退出中国市场?近日,三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是,该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0588