分享好友 健康资讯首页 健康资讯分类 切换频道

OpenAI科学家盛赞中国大模型：算法非常强，算力用到极致！

2024-12-30 17:56690

OpenAI创始团队成员、高级研究科学家Andrej Karpathy很罕见地，分享了一个来自中国的开源大模型——DeepSeek-v3。

Karpathy表示，DeepSeek仅用了280万小时的GPU算力，就训练出了比Llama-3405B（使用3080万小时GPU）更强的前沿模型，整体成本节省了11倍左右，将算力发挥到了极致。

这为小模型和受算力限制的组织打开了全新世界——即便在算力有限的情况下，使用高质量数据、更好的算法同样能训练出高性能大模型。

此外， DeepSeek在MMLU、DROP、Codeforces、AIME等多个主流基准测试中，性能大幅度超过了GPT-4o、Claude-3.5-Sonnet、Qwen2.5-72B等著名开闭源模型，成为目前最强开源大模型之一。

图片

国外网友表示，看来限制对中国的芯片供应并没有扼杀他们的进步，反而促进了技术创新。有趣的是，资源限制不仅仅是障碍，它们还能强有力地推动创造力。

看了这个网友评论还是挺心酸的，国内被限制AI芯片，无法获得更高的算力，我们靠着智慧、创新精神依然冲破封锁——天行健 君子以自强不息!

图片

美国真的确定要把中国“排除在人工智能竞赛之外”吗?在我看来，我们可能会在后面追赶……

图片

中国人得到“柠檬”后，会榨干它的每一滴汁，然后做出美味的柠檬水。希望美国那些资源受限的实验室也能取得同样的成就。

图片

中国即将成为超级人工智能大国。

图片

这个模型很出色，但实现这一成就的团队更优秀，人类的创造力真是无穷无尽。

图片

DeepSeek为弥补较小模型限制，进行的改进是否也可以应用于更大的模型?我们能否期待在使用10万个 GPU 的集群时也获得类似11倍的能力提升?

图片

很想尝试DeepSeek的API，但是从今早开始一直失败的。

图片

非常喜欢开源模型，他们迫使西方世界不得不降低价格。

图片

Deepseek的团队是一群超有才华的前量化分析师。量化分析师以榨取每一点性能提升而闻名。他们又一次成功了，只是这次是在不同的领域。高智商的人真是世界的福音。

图片

他们的训练效率非常疯狂。

图片

使用的训练数据与 Llama3405B 大致相同，约为15万亿。但在相同的训练数据下，算力却减少了10倍。

图片

哇塞，终于有人破解了训练效率难题。当其他人都在用数十亿美元计算他们的AI预算时，DeepSeek仅用他们的零头就能开发出前沿大模型。看来，仅仅投入更多的GPU并不总是解决问题的办法。

图片

这位老哥直接上图片，DeepSeek直接打跑OpenAI、meta~

图片

Deep Seek v3模型简单介绍

Deep Seek V3的架构延续了第二代的高效推理和低成本训练策略，主要包括多头潜在注意力（MLA）和混合专家(MoE)两大块。

MLA是V3的核心创新之一，主要用于减少推理过程中的内存占用。MLA将键和值压缩为一个潜在向量，并在推理过程中仅缓存该向量，而不是完整的键和值矩阵。

MLA的压缩过程通过下投影矩阵和上投影矩阵实现。下投影矩阵将输入向量压缩为潜在向量，上投影矩阵将潜在向量还原为键和值。通过这种方式，MLA在推理过程中仅需缓存潜在向量和分离的键，从而显著减少了内存占用。

MLA还对查询进行了低秩压缩，进一步减少了训练过程中的激活内存。所以，MLA是V3极大降低算力的主要原因之一。

图片

传统的MoE架构，面对大规模的数据处理任务时，容易出现专家负载不均衡的情况。这种不均衡会导致严重的后果，其中最为突出的就是路由崩溃问题。当某些专家承担了过多的负载，而其他专家则相对空闲时，路由机制可能会因为无法有效分配任务而陷入混乱，进而导致模型无法正常工作。

由于专家负载的不平衡，计算资源无法得到合理分配，使得整体计算过程变得缓慢且低效。在处理复杂的语言任务时，需要大量的算力来支持模型的推理和决策过程。

而V3对MoE进行了改良，引入了一套先进的动态调整机制，专门用于优化专家负载。在训练过程中，使得MoE会实时监测每个专家的负载情况，通过一系列复杂而精确的算法，根据实际负载动态地调整任务分配。这种动态调整并非简单的平均分配，而是根据专家的实时处理能力和当前任务的特点进行智能分配。

例如，当某个专家的负载过高时，模型会自动将一部分任务转移到负载较轻的专家上，确保每个专家都能在合理的负载范围内工作。

此外，V3的MoE 还使用了特殊的方法，会为每个专家设置一个动态的负载阈值，当负载超过该阈值时，触发负载调整机制。在调整过程中，模型会综合考虑多个因素，例如，专家的历史处理效率、当前任务的紧急程度以及整个系统的负载均衡情况等，所以，V3的 MoE 既解读了路由崩溃的难题，还将算力发挥到了极致。

其实写到这里心里有一个疑问，Deep Seek要是有10万张H100，能开发出像o3那样的超强大模型吗?

图片

Deep Seek除了开源最新模型之外，他们还提供了免费的在线服务，想尝试的小伙伴可以去体验一下。值得一提的是，还可以使用像o1模型那样的深度思考模式，并且会把整个推理过程全部写出来。

开源地址:https://github.com/deepseek-ai/DeepSeek-V3

在线体验:https://chat.deepseek.com/

笑脸:https://huggingface.co/collections/deepseek-ai/deepseek-v3-676bc4546fb4876383c4208b

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据，这似乎是波澜不惊的一天：上架5宗地块全部拍出，总揽金90.6亿元，没有所谓的地王地块，也没有超高溢价率的房企争夺战。但如果将视角拉远，会发现这场土拍背后，筛选出了上海楼市中两种截然不同的资本面孔。第一类，是常年参与上海土拍的各大房企们：从绿城、招商，再到华润、联发，几家企业已沉浸这片楼市多年；第二类，则是那些选择“跨界”入局的实业企业们，而本场土拍中

0评论2026-08-0570

早期项目 | 从智能喂养切入，一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元，年均增速保持12%的稳健水平；全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后，其智能化渗透率较低，尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点，而传统母婴产品仍停留在基础功能阶段，智能化程度不足、生态割裂，无法满足新一代家庭需求。以喂奶为例，不少家庭依然采用着极为

0评论2026-08-0572

壹酒店“失败”启示录……
近日，三亚海棠湾阳光壹酒店正式撤牌，原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场，也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出，而老派奢华的康莱德归来？在存量竞争白热化的当下，业主为何要么自持、要么纷纷转向国际酒店巨头？壹酒店换牌康莱德，新喜达屋退出中国市场？近日，三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是，该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0576