产品库

训练无监督一致性文本到图像生成

ConsiStory是一个无需训练就能实现在预训练的文本到图像模型中生成一致性主体的方法。它不需要微调或个性化,因此比先前最优方法快20倍。我们通过引入以主体为驱动的共享注意力模块和基于对应关系的特征注入来增强模型,以促进图像之间的主体一致性。另外,我们开发了在保持主体一致性的同时鼓励布局多样性的策略。ConsiStory可以自然地扩展到多主体场景,甚至可以实现对常见对象的无需训练的个性化。

利用LLM提高T2I图像生成一致性

OPT2I是一个T2I优化框架，利用大型语言模型（LLM）提高提示-图像一致性。通过迭代生成修订后的提示，优化生成过程。能显著提高一致性得分，同时保持FID并增加生成数据与真实数据召回率。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

快速可控的图像生成与潜在一致性模型

PIXART LCM是一个文本到图像合成框架，将潜在一致性模型（LCM）和ControlNet集成到先进的PIXART-α模型中。PIXART LCM以其能够通过高效的训练过程生成1024px分辨率的高质量图像而闻名。在PIXART-δ中集成LCM显著加快了推理速度，使得仅需2-4步即可生成高质量图像。特别值得注意的是，PIXART-δ实现了在0.5秒内生成1024x1024像素图像的突破，比PIXART-α改进了7倍。此外，PIXART-δ经过精心设计，可在单日内在32GB V100GPU上进行高效训练。具有8位推理能力的PIXART-δ可以在8GB GPU内存约束下合成1024px图像，极大地增强了其可用性和可访问性。此外，引入类似于ControlNet的模块可以对文本到图像扩散模型进行精细控制。我们引入了一种新颖的ControlNet-Transformer架构，专门为Transformers量身定制，实现了显式可控性和高质量图像生成。作为一种最先进的开源图像生成模型，PIXART-δ为稳定扩散模型家族提供了一个有前途的选择，为文本到图像合成做出了重大贡献。

视频生成模型的一致性初始化方法

FreeInit是一个简单有效的方法,用于提高视频生成模型的时间一致性。它不需要额外的训练,也不引入可学习的参数,可以很容易地在任意视频生成模型的推理时集成使用。

稳定扩散VAE的一致性解码器

Consistency Decoder是一种用于稳定扩散VAE的改进解码器，提供更稳定的图像生成。它具有2.49GB的模型大小，支持从原始图像进行编码和使用GAN解码以及一致性解码。该产品定位于为图像生成提供更好的解码效果。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

为扩散模型提供一致性分辨率适配

ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理效率并减少了额外的推理时间。

下一代 AI 模型，实现一致性和可控的媒体生成。

Runway Gen-4 是一款先进的 AI 模型，专注于媒体生成和世界一致性。它能够在多个场景中精准生成一致的角色、地点和物体，为创作者提供前所未有的创作自由，适合电影制作、广告及产品摄影等多种应用场景。该产品不需要进行细致的调优或额外训练，简化了创作流程，提升了视频制作的质量和效率。

提高文本到图像模型中空间一致性的解决方案

SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集，显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练，从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平，同时提高了图像质量评分。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

深入研究大型语言模型的内部一致性和自我反馈

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

一种无需训练的单提示文本到图像生成方法，用于一致的图像生成。

1Prompt1Story是一种创新的文本到图像生成技术，能够在无需额外训练的情况下，通过单个提示生成一致的图像序列。该技术利用语言模型的上下文一致性，通过单个提示串联所有描述，生成具有身份一致性的图像。它支持多角色生成、空间控制生成以及真实图像个性化等功能，具有广泛的应用前景。该模型主要面向需要高效、一致图像生成的创作者和开发者，可用于故事创作、动画制作等领域。

一款通过生成模型提升图像生成一致性的工具。

UNO 是一个基于扩散变换器的多图像条件生成模型，通过引入渐进式跨模态对齐和通用旋转位置嵌入，实现高一致性的图像生成。其主要优点在于增强了对单一或多个主题生成的可控性，适用于各种创意图像生成任务。

StreamingT2V: 一致、动态、可扩展的长视频文本生成

StreamingT2V 是一种先进的自回归技术，可以创建具有丰富动态运动的长视频，没有任何停滞。它确保视频中的时间一致性，与描述性文本紧密对齐，并保持高帧级图像质量。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

革命性的AI模型，排名第一的人工智能分析工具。

Red Panda AI，也称为Recraft V3，是一个在人工智能分析领域排名第一的革命性AI模型。它超越了FLUX1.1、Midjourney和OpenAI等其他模型，在设计理解和视觉输出质量方面表现出色。Red Panda AI以其设计为中心的架构，提供了无与伦比的设计原则理解、视觉层次和构图能力。它能够智能地适应不同平台和用例，保持一致的品牌身份。产品的主要优点包括设计语言理解、风格一致性控制、上下文感知、专业设计质量、快速迭代和多格式掌握。

基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。

ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。

评估图像生成模型在不同地理区域的质量、多样性和一致性。

DIG-In是一个用于评估文本到图像生成模型在不同地理区域中质量、多样性和一致性差异的库。它使用GeoDE和DollarStreet作为参考数据集，通过计算生成图像的相关特征和精度、覆盖度指标，以及使用CLIPScore指标来衡量模型的表现。该库支持研究人员和开发者对图像生成模型进行地理多样性的审计，以确保其在全球范围内的公平性和包容性。

多轮交互式图像生成技术

AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架，它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步，通过并行UNet结构和主题初始化生成方法，提高了图像生成的质量和一致性。

无需调优的全景多视图图像生成

PanoFree是一种创新的全景多视图图像生成技术，它通过迭代变形和上色解决了一致性和累积误差问题，无需额外的调优。该技术在实验中显示出显著的误差减少，提高了全局一致性，并在不增加额外调优的情况下提升了图像质量。与现有方法相比，PanoFree在时间和GPU内存使用上效率更高，同时保持了结果的多样性。

DiffPortrait3D可以从野外单张人像照片中合成逼真的3D一致新视角。

DiffPortrait3D是一个条件化难度模型,即使只有野外单张人像照片,也能合成逼真的3D一致新视角。具体来说,给定单张RGB输入图像,我们目标是合成从新相机视角渲染的似是而非的面部细节,同时保留身份和面部表达。我们的零试验方法可以很好地推广到任意面部人像,具有非姿态相机视角,极端面部表情和多种艺术描绘。在其核心,我们利用在大规模图像数据集上预训练的2D难度模型的生成先验作为我们的呈现主干,同时通过解耦外观和相机姿势的定向注意控制来指导去噪。为此,我们首先从参考图像将外观上下文注入冻结的UNet的自我注意力层。然后通过一种新颖的条件控制模块来操纵呈现视图,该模块通过观看来自同一视图的交叉主体的条件图像来解释相机姿势。 此外,我们插入了一个可训练的跨视图注意力模块来增强视图一致性,后者通过在推理期间采用一种新的3D感知噪声生成过程进一步加强。我们在具有挑战性的野外和多视图基准测试中定性和定量地证明了最先进的结果。

多视图一致性图像生成的便捷解决方案

MV-Adapter是一种基于适配器的多视图图像生成解决方案，它能够在不改变原有网络结构或特征空间的前提下，增强预训练的文本到图像（T2I）模型及其衍生模型。通过更新更少的参数，MV-Adapter实现了高效的训练并保留了预训练模型中嵌入的先验知识，降低了过拟合风险。该技术通过创新的设计，如复制的自注意力层和并行注意力架构，使得适配器能够继承预训练模型的强大先验，以建模新的3D知识。此外，MV-Adapter还提供了统一的条件编码器，无缝整合相机参数和几何信息，支持基于文本和图像的3D生成以及纹理映射等应用。MV-Adapter在Stable Diffusion XL（SDXL）上实现了768分辨率的多视图生成，并展示了其适应性和多功能性，能够扩展到任意视图生成，开启更广泛的应用可能性。

ImagenHub:标准化条件图像生成模型的推理和评估

ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。

AI驱动的图像生成和编辑工具

Recraft是一个专业的图像生成和编辑平台，它利用AI技术为设计师提供了一系列工具，包括AI图像生成器、图像矢量化、背景移除等。这个平台以其高质量的图像生成和编辑能力，帮助设计师提升工作效率，创造出更具吸引力的图形设计。Recraft以其用户友好的界面和强大的功能，已经成为许多创新公司专业设计师的首选工具。

基于 DiT 的人类图像动画框架，实现精细控制与长效一致性。

DreamActor-M1 是一个基于扩散变换器 (DiT) 的人类动画框架，旨在实现细粒度的整体可控性、多尺度适应性和长期时间一致性。该模型通过混合引导，能够生成高表现力和真实感的人类视频，适用于从肖像到全身动画的多种场景。其主要优势在于高保真度和身份保留，为人类行为动画带来了新的可能性。

ComfyUI的EcomID原生支持插件

SDXL_EcomID_ComfyUI是一个为ComfyUI提供原生SDXL-EcomID支持的插件。它通过增强肖像表示，提供更真实、审美上更令人愉悦的外观，同时确保语义一致性和更大的内部ID相似性。这个插件完全集成于ComfyUI，并且不使用diffusers，而是本地实现EcomID。它的重要性在于能够提升图像生成的质量和一致性，特别是在处理人物肖像时，能够保持不同年龄、发型、眼镜等物理变化下的内部特征一致性。