分享好友 健康资讯首页 健康资讯分类 切换频道

英伟达推出免训练，可生成连贯图片的文生图模型

2024-02-22 18:05600

目前，多数文生图模型皆使用的是随机采样模式，使得每次生成的图像效果皆不同，在生成连贯的图像方面非常差。

例如，想通过AI生成一套图像连环画，即便使用同类的提示词也很难实现。虽然DALL·E3和Midjourney可以对图像实现连贯的生成控制，但这两个产品都是闭源的。

因此，英伟达和特拉维夫大学的研究人员开发了免训练一致性连贯文生图模型——ConsiStory。（即将开源）

论文地址:https://arxiv.org/abs/2402.03286

图片

目前，文生图模型在生成内容一致性方面比较差的原因主要有两个:1）无法识别和定位图像中的共同主体，文生图像模型没有内置的对象检测或分割模块，很难自动识别不同图像中的相同主体;

2）无法在不同图像中保持主体的视觉一致性，即使定位到主体，也很难使不同步骤中独立生成的主体在细节上保持高度相似。

主流解决这两种难题的方法是，基于个性化和编码器的优化方法。但这两类方法都需要额外的训练流程，例如，针对特定主体微调模型参数，或使用目标图像训练编码器作为条件。

即便使用了这种优化方法，训练周期较长难以扩展到多个主体，且容易与原始模型分布偏离。

而ConsiStory提出了一种全新的方法，通过共享和调整模型内部表示，可以在无需任何训练或调优的情况下实现主体的一致性。

值得一提的是，ConsiStory可以作为一种插件，帮助其他扩散模型提升文生图的一致性和连贯性。

主体驱动自注意力（SDSA）

SDSA是ConsiStory的核心模块之一，可以在生成的图像批次中共享主体相关的视觉信息，使不同图像中的主体保持一致的外观。

SDSA主要扩大了扩散模型中自注意力层，允许一个图像中的“提示词”不仅可以关注自己图像的输出结果，还可以关注批次中其他图像的主体区域的输出结果。

这样主体的视觉特征就可以在整个批次中共享，不同图像中的主体互相"对齐"。

图片

为了防止背景区域之间的敏感信息泄露，该模块使用主体分割蒙版来进行遮蔽——每个图像只能关注批次中其他图像主体区域的输出结果。

图片

主体蒙版是通过扩散模型本身的交叉注意力特征自动提取。

特征注入

为了进一步增强主体不同图像之间细节层面的一致性，“特征注入”基于扩散特征空间建立的密集对应图，可以在图像之间共享自注意力输出特征。

同时图像中一些相似的优化地方之间共享自注意力特征，这可以有效确保主体相关的纹理、颜色等细节特征在整个批次中互相"对齐"。

图片

特征注入也使用主体蒙版进行遮蔽，只在主体区域执行特征共享。同时还设置相似度阈值，只在足够相似的优化之间执行。

锚图像和可重用主体

ConsiStory中的锚图像提供了主题信息的参考功能，主要用于引导图像生成过程，确保生成的图像在主题上保持一致。

锚图像可以是用户提供的图像，也可以是从其他来源获取的相关图像。在生成过程中，模型会参考锚图像的特征和结构，并尽可能地生成与一致性的图像。

图片

可重用主体是通过共享预训练模型的内部激活，来实现主题一致性的方法。在图像生成过程中，模型会利用预训练模型的内部特征表示来对生成的图像进行对齐，而无需进一步对齐外部来源的图像。

图片

也就是说生成的图像可以相互关注、共享特征，这使得ConsiStory实现了0训练成本，避免了传统方法中需要针对每个主题进行训练的难题。

举报
收藏 0
打赏 0
评论 0
低空经济需要“特斯拉时刻”：蓝色向量近两个月融资额2亿元
当低空经济赛道的融资节奏整体放缓，一家成立近四年的杭州公司在半年内连续完成四轮股权融资，累计金额接近2亿元。 市场并非突然回到“非理性繁荣”，更可能是资本在一个更现实的阶段重新排序。 蓝色向量（Blue Vector）及其旗下整机品牌 Skyla 的吸引力，不在于它造了一架更酷的飞机，而在于它试图在eVTOL行业尚未形成技术标准与系统架构共识之前，提前卡位系统平台层，并用整机项目反向验证其软件与航

0评论2026-05-277

收入增长28.5%，经调整净利润仅8.1%，名创优品如何走出“虚胖”增长？
5月26日，名创优品发布2026年第一季度未经审计的财务业绩，其收入56.88亿元，同比增长28.5%；期内利润12.48亿元，同比增长199.7%。名创优品表示，收入增长始于集团层面中位数的同店销售增长；利润增增长则是源于对一家人工智能行业有限合伙企业（即MiniMax）的投资公允价值变动收益约8.75亿元；确认永辉相关投资收益7750万元等。因此，剔除汇兑损益后的经调整净利润为6.33亿元，同

0评论2026-05-273