分享好友 健康资讯首页 健康资讯分类 切换频道

微软推出iPhone能跑的ChatGPT级模型，网友：OpenAI得把GPT-3.5淘汰了

2024-04-23 18:59430

Llama3发布刚几天，微软就出手截胡了?

图片

刚刚发布的Phi-3系列小模型技术报告，引起AI圈热议。

图片

其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama38B。

为了方便开源社区使用，还特意设计成了与Llama系列兼容的结构。

图片

微软这次打出“手机就能直接跑的小模型”的旗号，4bit量化后的phi-3-mini在iPhone14pro和iPhone15使用的苹果A16芯片上跑到每秒12token。

图片

这意味着，现在手机上能本地运行的最佳开源模型，已经做到ChatGPT水平。

图片

在技术报告中还玩了一把花活，让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。

图片

除了mini杯之外，小杯中杯也一并发布:

Phi-3-small，7B参数，为支持多语言换用了tiktoken分词器，并额外增加10%多语种数据。

Phi-3-medium，14B参数，在更多数据上训练，多数测试中已超越GPT-3.5和Mixtral8x7b MoE。

（大杯他们目前不打算做）

作者阵容一看也不简单，一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。

图片

那么，Phi-3系列到底有什么独特之处呢?

根据技术报告中披露，其核心秘诀就在于数据。

去年团队就发现，单纯堆砌参数量并不是提升模型性能的唯一路径。

反而是精心设计训练数据，尤其是利用大语言模型本身去生成合成数据，配合严格过滤的高质量数据，反而能让中小模型的能力大幅跃升。

也就是训练阶段只接触教科书级别的高质量数据，Textbooks are all you need。

图片

Phi-3也延续了这一思路，这次他们更是下了血本:

举个例子，比如某一天足球比赛的结果可能对于大模型是良好的训练数据，但微软团队删除了这些加强知识的数据，留下更多能提高模型推理能力的数据。

这样一来，对比Llama-2系列，就可以用更小的参数获得更高的MMLU测试分数了。

图片

不过小模型毕竟是小模型，也不可避免存在一些弱点。

微软透露，模型本身参数中没能力存储太多事实和知识，这一点也可以从TriviaQA测试分数低看出来。

缓解办法就是联网接入搜索引擎增强。

图片

总之，微软研究院团队是铁了心了要在小模型+数据工程这条路上走下去，未来还打算继续增强小模型的多语言能力、安全性等指标。

对于开源小模型超过ChatGPT这回事，不少网友都认为压力现在给到OpenAI这边，需要赶快推出GPT-3.5的继任者了。

图片

参考链接:

[1]https://arxiv.org/abs/2404.14219

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据，这似乎是波澜不惊的一天：上架5宗地块全部拍出，总揽金90.6亿元，没有所谓的地王地块，也没有超高溢价率的房企争夺战。但如果将视角拉远，会发现这场土拍背后，筛选出了上海楼市中两种截然不同的资本面孔。第一类，是常年参与上海土拍的各大房企们：从绿城、招商，再到华润、联发，几家企业已沉浸这片楼市多年；第二类，则是那些选择“跨界”入局的实业企业们，而本场土拍中

0评论2026-08-0570

早期项目 | 从智能喂养切入，一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元，年均增速保持12%的稳健水平；全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后，其智能化渗透率较低，尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点，而传统母婴产品仍停留在基础功能阶段，智能化程度不足、生态割裂，无法满足新一代家庭需求。以喂奶为例，不少家庭依然采用着极为

0评论2026-08-0572

壹酒店“失败”启示录……
近日，三亚海棠湾阳光壹酒店正式撤牌，原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场，也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出，而老派奢华的康莱德归来？在存量竞争白热化的当下，业主为何要么自持、要么纷纷转向国际酒店巨头？壹酒店换牌康莱德，新喜达屋退出中国市场？近日，三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是，该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0575