分享好友 健康资讯首页 健康资讯分类 切换频道

手机能跑的3B推理模型开源,比Qwen 3-4B还快,超长上下文不降速

2025-10-09 19:0021036kr

以色列创企开源3B模型,性能碾压谷歌Gemma 3-4B。

智东西10月9日报道,昨日,以色列AI创企AI21 Labs开源轻量级推理模型Jamba Reasoning 3B。该模型有30亿个参数,可在包括手机、电脑在内的多种设备端运行,性能超过Qwen3-4B、Gemma 3-4B等业界顶尖模型。

Jamba Reasoning 3B开源截图

Hugging Face地址: http://huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B

A21称,Jamba Reasoning 3B基于其新的SSM-Transformer架构构建,上下文窗口长度为256K个token,能够处理高达1M token,与DeepSeek、谷歌、Llama和微软等竞争对手相比效率提升了2-5倍,在基准测试中取得领先成绩。

Jamba Reasoning 3B在人类最后测试等测评中超Qwen 3-4B等模型

其将Jamba Reasoning 3B的优势总结为三点:

1、智能性能不下降:由于采用了混合SSM-Transformer架构,Jamba Reasoning 3B比纯Transformer模型更高效。

大多数基于Transformer的模型在上下文长度超过32K个token时性能会显著下降,而Jamba Reasoning 3B能够处理更长的上下文长度,包括高达100万个token。这使得它在高级智能体系统或多模态应用中非常有用,因为长上下文理解对输出质量至关重要。

Jamba Reasoning 3B的性能虽上下文增长损耗小

2、领先的智能:Jamba Reasoning 3B的表现优于DeepSeek、谷歌、meta和微软的其他设备端模型。

它在指令跟踪任务(IFBench)和常识性知识(MMLU-Pro和Humanity's Last Exam)方面尤为出色,这使得Jamba Reasoning 3B成为一款高效且智能的模型,可用于高级智能体工作流程或设备端RAG应用。

这些成果源于训练后流程,A21将RLVR、SFT、DPO和GRPO等对齐训练技术与自主研发的专有方法相结合,以确保模型质量。

Jamba Reasoning 3B测评超阿里、谷歌等模型

3、专为设备安全使用而构建:此模型获得Apache 2.0许可,可直接下载到用户的计算机或手机上,并使用用户自己的文件在设备上进行定制,以实现完全安全的应用程序,即使断网它们也可以继续运行。

Jamba Reasoning 3B的混合SSM-Transformer架构成功利用了比原始Transformer架构小8倍的键值缓存(KV),即使在上下文增长的情况下也能保持较低的内存占用。

在M3 MacBook Pro上,它每秒可以生成40个token,上下文长度为32K,这一成绩优于Qwen3-4B、DeepSeek Distill Qwen 1.5B、Gemma 3-4B等模型,使其成为高级智能体应用程序中的精简组件。

在M3 MacBook Pro上每秒可以生成40个token

该模型目前支持的语言包括:英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。

结语:轻量模型加速迭代,开辟智能体落地新路径

随着企业将AI融入运营,基于云端的大型语言模型暴露出经济效率低下的问题。A21援引研究报告称,40%-70%的AI任务可以通过小型语言模型处理,通过智能路由将成本降低10-30倍。

像Jamba Reasoning 3B这样的设备端轻量模型能够实现经济高效的异构计算分配,在本地处理简单任务,同时保留云端资源用于复杂推理。这为制造业和医疗保健领域的实时应用提供了低延迟,为远程操作提供了离线恢复能力,并增强了数据隐私保护,有望开启了一个去中心化的AI时代。

本文来自微信公众号“智东西”(ID:zhidxcom),作者:李水青,编辑:心缘 ,36氪经授权发布。

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据,这似乎是波澜不惊的一天:上架5宗地块全部拍出,总揽金90.6亿元,没有所谓的地王地块,也没有超高溢价率的房企争夺战。但如果将视角拉远,会发现这场土拍背后,筛选出了上海楼市中两种截然不同的资本面孔。第一类,是常年参与上海土拍的各大房企们:从绿城、招商,再到华润、联发,几家企业已沉浸这片楼市多年;第二类,则是那些选择“跨界”入局的实业企业们,而本场土拍中

0评论2026-08-0570

早期项目 | 从智能喂养切入,一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元,年均增速保持12%的稳健水平;全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后,其智能化渗透率较低,尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点,而传统母婴产品仍停留在基础功能阶段,智能化程度不足、生态割裂,无法满足新一代家庭需求。以喂奶为例,不少家庭依然采用着极为

0评论2026-08-0572

壹酒店“失败”启示录……
近日,三亚海棠湾阳光壹酒店正式撤牌,原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场,也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出,而老派奢华的康莱德归来?在存量竞争白热化的当下,业主为何要么自持、要么纷纷转向国际酒店巨头?壹酒店换牌康莱德,新喜达屋退出中国市场?近日,三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是,该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0576