分享好友 健康资讯首页 健康资讯分类 切换频道

吉娃娃or松饼难题被解决！IDEA研究院新模型T-Rex2打通文本视觉Prompt，连黑客帝国的子弹都能数清楚

2024-03-31 18:05770

还记得黑客帝国经典的子弹时间吗?

IDEA研究院最新检测模型T-Rex2，可以齐刷刷给全部识别出来~

而面对难倒一众大模型「吉娃娃or松饼」的难题，它只需被投喂一张吉娃娃的照片，就能瞬间迎刃而解。

图片

此前，也是同样的团队，推出了基于视觉提示的检测模型T-Rex。

如今，他们将视觉和文本提示融合，相互弥补各自的缺陷，实现了更强的目标检测能力。

并且与多目标跟踪模型结合后，各种视频检测任务也不在话下。

图片

来看新研究到底说了什么。

打通文本和视觉提示

在开集目标检测领域，尽管文本提示受到一定的青睐，但也存在一定的局限性。

比如长尾数据短缺。稀有或者全新的物体类别的数据稀缺可能会削弱其学习效率。还有描述上的局限性，对于一些难以用语言描绘的对象，因受限于无法精确描述，也会削弱效果。

而视觉提示提供了更直观且直接的对象表示方法，但在捕捉常见对象的概念时效果就会很差。

T-Rex2通过对比学习在单个模型中整合两种提示，因此接受多种格式的输入，包括文本提示、视觉提示以及两者的组合。

图片

在不同场景中，它可以通过在两种提示方式之间切换来处理。

因此，它大致有三种工作模式:

文本提示模式、交互式视觉提示模式、通用视觉提示模式。

图片

以通用视觉提示模式为例，用户可以通过向模型提供任意数量的示例图片，来自定义特定对象的视觉嵌入，然后使用这个嵌入来检测任意图像中的对象。

也就是不需要用户与模型直接互动，就能完成检测任务。

最终在在四个学术基准测试集 COCO， LVIS， ODinW， 和Roboflow100上取得了 Zero-Shot SOTA的性能。

图片

开箱即用诸多领域

无需重新训练或微调，T-Rex2即可检测模型在训练阶段从未见过的物体。

该模型不仅可应用于包括计数在内的所有检测类任务，还为智能交互标注领域提供新的解决方案。

图片

除此之外，结合现有的多目标跟踪模型（ 如ByteTrack ），T-Rex2还可用于视频检测任务。

图片

事实上，这种跨图检测能力，让目标检测技术在生产生活中可以真正开始广泛应用。

比如工业生产流水线器件检测，交通航运领域的船舶、飞机检测，农业领域的农作物、果蔬检测，生物医学领域的细胞、组织检测，物流领域的货物检测，环境领域的野生动物监测等。

现在，T-Rex2让通用物体检测又迈出了新的一步。

试玩链接:

https://deepdataspace.com/playground/ivp

T-Rex2API:https://github.com/IDEA-Research/T-Rex

论文链接:

https://arxiv.org/abs/2403.14610

—完—

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据，这似乎是波澜不惊的一天：上架5宗地块全部拍出，总揽金90.6亿元，没有所谓的地王地块，也没有超高溢价率的房企争夺战。但如果将视角拉远，会发现这场土拍背后，筛选出了上海楼市中两种截然不同的资本面孔。第一类，是常年参与上海土拍的各大房企们：从绿城、招商，再到华润、联发，几家企业已沉浸这片楼市多年；第二类，则是那些选择“跨界”入局的实业企业们，而本场土拍中

0评论2026-08-0570

早期项目 | 从智能喂养切入，一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元，年均增速保持12%的稳健水平；全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后，其智能化渗透率较低，尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点，而传统母婴产品仍停留在基础功能阶段，智能化程度不足、生态割裂，无法满足新一代家庭需求。以喂奶为例，不少家庭依然采用着极为

0评论2026-08-0572

壹酒店“失败”启示录……
近日，三亚海棠湾阳光壹酒店正式撤牌，原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场，也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出，而老派奢华的康莱德归来？在存量竞争白热化的当下，业主为何要么自持、要么纷纷转向国际酒店巨头？壹酒店换牌康莱德，新喜达屋退出中国市场？近日，三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是，该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0575