分享好友 健康资讯首页 健康资讯分类 切换频道

上海科大等开源创新模型:文本生成精美3D服装

2024-08-13 21:00660

上海科技大学、宾夕法尼亚大学、Deemos科技和NeuDim科技的研究人员联合推出了一个创新模型DressCode。

用户通过DressCode只需要输入文本就能生成各种精美的3D服装模型,例如,一件法式蕾丝边的连衣裙;红色丝绸的睡衣等。

DressCode不仅能根据提示文本生成相应的服装样式,还能生成不同类型的材料,包括羊毛、蕾丝、丝绸等布料,并添加真实的物理光照帮助设计人员查看不同场景下的效果。

该模型可帮助VR、AR、影视、游戏开发、电商平台等领域的设计人员加速3D内容的开发效率。

开源地址:https://github.com/IHe-KaiI/DressCode

论文地址:https://arxiv.org/abs/2401.16465

图片

SewingGPT

SewingGPT是DressCode的核心模块之一,基于Transformer架构主要用于提示文本语义理解和生成。

为了使DressCode能够生成服装图案,研究人员采用了一种新颖的量化过程,将裁剪图案转化为tokens序列,并使用仅包含解码器的Transformer模型进行tokens预测,以增强生成内容的准确性。

图片

当SewingGPT接收到一段文本描述,例如,设计一款夏季棉质连衣裙,V领,腰部有褶皱设计,裙摆为A字形。会通过Transformer解析这段描述中的关键提示词、夏季、棉质、V领、褶皱等以及它们之间的语义关系,帮助模型准确地捕捉到服装每个模块之间的细微差别。

在理解提示文本语义之后,SewingGPT会生成一组结构化指令。这些指令不仅包括服装的外观特征,还包括具体的裁剪方式、缝合顺序、特定部位的处理技巧。

例如,上面所提到的连衣裙文本描述,SewingGPT可能生成指令指出V领的具体尺寸和弧度、褶皱的数量和分布模式、A字裙摆的展开角度等。这确保了设计的可实施性,即便在高度定制化的设计中也能保持精确。随后,这些指令被送到3D建模引擎并结合面料物理属性数据库进行建模。

SewingGPT还提供了一个循环反馈机制,允许用户对生成的初步3D模型进行效果评估,并提出修改意见,帮助模型进行自动迭代。

渲染与展示模块

在接收到结构化指令后,渲染模块会进一步分析文本提示词中的分析材质和纹理的关键词汇区别,丽日,光滑的丝绸、粗糙的牛仔布、柔软的羊毛等,并将这些文本描述映射到材质库中的对应材料中。

材料库中的每种材质均被详尽记录属性,反射率、透光度、弹性、摩擦系数等以及微观结构特征,这些数据可以使得渲染出来的3D服务模型更加逼真符合实际要求。

图片

为了确保3D服装在运动状态下的自然垂坠与动态效果,DressCode集成了高级的布料动力学算法。这些算法基于物理模拟,能够精确计算布料与服装内部结构之间的相互作用,如褶皱形成、摆动、拉伸等,使服装在虚拟模特走动或旋转时的表现与真实服装几乎一样。

图片

此外,为了更好地展示3D模型,DressCode提供了丰富的可定制虚拟模特,涵盖不同体型、肤色和风格,以适应多样化的设计需求。同时,内置的动作库支持从静态展示到复杂走秀动作的设置,使用户能够全方位评估服装的动态表现和穿着效果。

图片

所有预览都是可视化操作,用户可以通过简单的操作旋转、缩放、平移3D模型,从多个角度审视服装细节,这对于那些非专业设计人员来说非常有帮助。

举报
收藏 0
打赏 0
评论 0
上海土拍揽金90.6亿 一家不锈钢企业青山实业成最大赢家
上海第七批次土拍终于落槌。如果只看实时拍地数据,这似乎是波澜不惊的一天:上架5宗地块全部拍出,总揽金90.6亿元,没有所谓的地王地块,也没有超高溢价率的房企争夺战。但如果将视角拉远,会发现这场土拍背后,筛选出了上海楼市中两种截然不同的资本面孔。第一类,是常年参与上海土拍的各大房企们:从绿城、招商,再到华润、联发,几家企业已沉浸这片楼市多年;第二类,则是那些选择“跨界”入局的实业企业们,而本场土拍中

0评论2026-08-0570

早期项目 | 从智能喂养切入,一家创业公司想搭建母婴AI生态
作者 | 张子怡编辑 | 袁斯来母婴市场在全球拥有万亿级规模。中国的母婴消费市场规模已突破5万亿元,年均增速保持12%的稳健水平;全球母婴市场总量更是达到约2万亿美元。庞大的母婴市场背后,其智能化渗透率较低,尚不足1%。全球母婴家庭普遍面临养育压力大、成本高、信息繁杂等核心痛点,而传统母婴产品仍停留在基础功能阶段,智能化程度不足、生态割裂,无法满足新一代家庭需求。以喂奶为例,不少家庭依然采用着极为

0评论2026-08-0572

壹酒店“失败”启示录……
近日,三亚海棠湾阳光壹酒店正式撤牌,原址将引入希尔顿旗下康莱德品牌。这意味着新喜达屋在中国内地的唯一酒店黯然离场,也宣告康莱德阔别四年后重回海棠湾。为何是小众先锋的壹酒店退出,而老派奢华的康莱德归来?在存量竞争白热化的当下,业主为何要么自持、要么纷纷转向国际酒店巨头?壹酒店换牌康莱德,新喜达屋退出中国市场?近日,三亚海棠湾康莱德酒店项目悄然落地了。令人意外的是,该项目曾一度传出要换牌凯悦旗下的奢华

0评论2026-08-0576