分享好友 健康资讯首页 健康资讯分类 切换频道

Meta AI推理新论文:模型记住套路,推理token砍半

2025-10-14 21:0018036kr

meta 又一次在 AI 推理上“开了挂”。 

一份新论文显示,meta 的研究团队找到一种让大模型“用更少思维,想得更清楚”的办法。

这篇论文名为《metacognitive Reuse: Turning Recurring LLM Reasoning Into Concise Behaviors》,发表于 2025 年 9 月 17 日,来自 meta 团队与普林斯顿大学、蒙特利尔大学联合研究。

作者包括 Aniket Didolkar、Nicolas Ballas、Anirudh Goyal 与 Sanjeev Arora。

论文地址: https://arxiv.org/abs/2509.13237 

论文提出一个新机制,让大语言模型(LLM)能在每次推理后,总结自己重复用到的步骤,并把它们存为简短指令,称为“行为(Behavior)”。

下一次遇到类似问题,模型不再重复推,而是直接调用这些“行为”。

效果惊人。

在数学推理任务上,meta 团队实测:模型在准确率不下降的前提下,推理所需的 token 数量最多减少 46%。

也就是说,同样一道题,模型少想一半,却答得一样准。

研究团队称,这让模型“学会记得自己怎么思考”,相当于给 LLM 装上了“思维缓存”。

思维有手册:AI的“行为记忆术”

“行为复用”(metacognitive Reuse)框架

meta 把这个机制叫做“行为手册(Behavior Handbook)”。

当模型解决问题时,它会记录下自己的整个推理过程。

然后再回头反思,分析哪些步骤是常见套路,比如“容斥原理”“有理化分母”“代入后先化简”。

模型会为这些套路起名、写说明,变成一条条“行为指令”。

这些指令被收进一本不断扩充的手册里。

论文把这种机制称为“元认知路径(metacognitive Pathway)”,意思是模型在“思考自己的思考”。

举个例子:当模型遇到一道掷骰子概率题,它可能调用behavior_total_outcomes(计算所有可能结果)和 behavior_inclusion_exclusion(用容斥原理避免重复计数)。

调用完就不再多说废话,答案照出。

所以,每个行为是一段压缩的思维过程。它把原本要几十步才能重建的推导,浓缩成一句话。

论文展示了多个实验结果。在 MATH 数据集上,行为调节推理(Behavior-conditioned Inference)让模型的推理token平均减少近一半;在 AIME–24/25 高难数学题上,模型在低预算(2048–8192 tokens)下仍保持稳定精度。

自我复盘,像人一样“省思考”

长期以来,大模型被诟病“啰嗦”:每解一道题,都要展开冗长的 chain-of-thought,把所有中间步骤重新铺一遍。

这不仅浪费 token,也拉低了模型吞吐量。meta 让模型自己反思,自己提炼,自己精简。

行为提取提示设计

论文设计了三种模式:

第一种,是“行为调节推理”(Behavior-conditioned Inference)。模型从手册里调出相关行为提示,带着它们去解题。结果:少写46%的token,准确率不降反升。

第二种,是“行为引导自我改进”(Behavior-guided Self-improvement)。模型用自己总结的行为来指导下次推理。结果:正确率比普通“自我批改”提升10%。

第三种,是“行为调节监督微调”(Behavior-conditioned SFT)。meta 研究者用带有行为提示的推理数据去训练学生模型。结果:学生模型学会推理,比传统微调版本更聪明、更高效。

实验中,meta 使用了 R1-Llama-70B 作为“元认知策略师”,并测试了 Qwen3-32B、Llama-3.1-8B 等多个学生模型。

几乎所有模型都出现了相同现象:推理token直线下滑,性能保持平稳。

研究者把这一现象形容为:“模型从慢推导变成快反应。”它不再每次都重写思维,而是像人一样,学会了用经验来省思考。

本文来自微信公众号“大数据文摘”,36氪经授权发布。

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据,这似乎是波澜不惊的一天:上架5宗地块全部拍出,总揽金90.6亿元,没有所谓的地王地块,也没有超高溢价率的房企争夺战。但如果将视角拉远,会发现这场土拍背后,筛选出了上海楼市中两种截然不同的资本面孔。第一类,是常年参与上海土拍的各大房企们:从绿城、招商,再到华润、联发,几家企业已沉浸这片楼市多年;第二类,则是那些选择“跨界”入局的实业企业们,而本场土拍中

0评论2026-08-0571

早期项目 | 从智能喂养切入,一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元,年均增速保持12%的稳健水平;全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后,其智能化渗透率较低,尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点,而传统母婴产品仍停留在基础功能阶段,智能化程度不足、生态割裂,无法满足新一代家庭需求。以喂奶为例,不少家庭依然采用着极为

0评论2026-08-0573

壹酒店“失败”启示录……
近日,三亚海棠湾阳光壹酒店正式撤牌,原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场,也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出,而老派奢华的康莱德归来?在存量竞争白热化的当下,业主为何要么自持、要么纷纷转向国际酒店巨头?壹酒店换牌康莱德,新喜达屋退出中国市场?近日,三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是,该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0577