分享好友 健康资讯首页 健康资讯分类 切换频道

0.9B跑出90%真机成功率,上海交大为VLA补上空间感

2026-05-26 16:1226036kr

机器人看得见,但不一定看得准。

大量VLA模型仍然主要依赖二维视觉,一旦遇到精定位、细摆放、遮挡判断这类需要空间感知的任务,成功率就会明显下滑。

补空间信息的路有两条,但都有代价。

显式3D路线靠深度传感器和点云重建,硬件链路长、对标定误差敏感;隐式3D路线从RGB学几何,省了硬件,但不少方案依赖较重的基础模型,训练和推理成本偏高。

现在,上海交大MINT团队提出了一条中间路线:

Evo-Depth,约0.9B参数,不额外增加硬件负担,用紧凑的隐式深度编码把空间感写进VLA策略里,仿真与真机同时兼顾性能与部署效率。

仿真端,Meta-World 84.4%、LIBERO 95.4%;真机平均成功率约90%;部署侧约3.2 GB显存、约12.3 Hz推理频率。

代码、权重、训练脚本已全面开源。

轻量、可端到端训练

直入主题,Evo-Depth的核心思路是:

从多视角RGB提取紧凑的隐式深度表征,再以轻量方式融入视觉-语言通路,最后通过flow-matching动作专家输出连续动作。

整个系统主要由三部分组成:

1、IDEM:Implicit Depth Encoding Module。

IDEM负责从多视角图像中提取隐式深度特征,强调空间布局与相对几何关系,而不是显式生成高成本的3D中间表示。

论文中,IDEM骨干约0.13B参数,并结合多视角深度预训练初始化,在轻量条件下引入与深度相关的归纳偏置。

2、SEM:Spatial Enhancement Module。

SEM将隐式深度作为一种调制信号,用于增强视觉-语言表征。

相比直接增加独立深度分支,这种融合方式更克制:

原有VLM继续负责语义理解

深度特征主要负责空间增强

同时尽量控制延迟与显存开销

3、Progressive Alignment Training。

多模块联合训练通常容易出现优化不稳定的问题。

为此,作者采用Progressive Alignment Training,通过分阶段训练方式逐步完成:深度表征对齐-多模态融合-动作学习。

动作头则采用了当前VLA中较常见的flow-matching路线。

在约0.9B总参数设置下,论文报告的结果如下。

仿真: Meta-World 84.4%、VLA-Arena 41.1%、LIBERO 95.4%、LIBERO-Plus 69.6%。

真机: 平均成功率约90%。

部署: 约3.2 GB GPU显存、约12.3 Hz推理频率。

值得注意的是,相比只关注benchmark分数,论文也给出了部署侧开销与实时性指标。

对于需要真正运行在机器人控制回路中的VLA来说,这部分信息往往同样重要。

性能-成本-实时性的折中

归根结底,Evo-Depth解决的问题其实就是一句话:

如何在不显著增加系统负担的情况下,提升VLA的空间能力。

结果是——相比纯二维VLA,它补充了空间信息;相比更重的3D路线,它又尽量保留了部署效率。

对于正在做机器人操作、空间智能或VLA系统的团队来说,这类性能-成本-实时性之间的折中方案,可能会越来越重要。

官方仓库:https://github.com/MINT-SJTU/Evo-Depth

模型权重:https://huggingface.co/MINT-SJTU/EVO-Depth-LIBERO

本文来自微信公众号“量子位”,作者:上海交大MINT团队,36氪经授权发布。

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据,这似乎是波澜不惊的一天:上架5宗地块全部拍出,总揽金90.6亿元,没有所谓的地王地块,也没有超高溢价率的房企争夺战。但如果将视角拉远,会发现这场土拍背后,筛选出了上海楼市中两种截然不同的资本面孔。第一类,是常年参与上海土拍的各大房企们:从绿城、招商,再到华润、联发,几家企业已沉浸这片楼市多年;第二类,则是那些选择“跨界”入局的实业企业们,而本场土拍中

0评论2026-08-0577

早期项目 | 从智能喂养切入,一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元,年均增速保持12%的稳健水平;全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后,其智能化渗透率较低,尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点,而传统母婴产品仍停留在基础功能阶段,智能化程度不足、生态割裂,无法满足新一代家庭需求。以喂奶为例,不少家庭依然采用着极为

0评论2026-08-0577

壹酒店“失败”启示录……
近日,三亚海棠湾阳光壹酒店正式撤牌,原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场,也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出,而老派奢华的康莱德归来?在存量竞争白热化的当下,业主为何要么自持、要么纷纷转向国际酒店巨头?壹酒店换牌康莱德,新喜达屋退出中国市场?近日,三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是,该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0583