产品库

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

一种用于虚拟试穿任务的扩散模型，特别在真实世界场景中提高图像保真度和细节保存。

IDM-VTON是一种新型的扩散模型，用于基于图像的虚拟试穿任务，它通过结合视觉编码器和UNet网络的高级语义以及低级特征，生成具有高度真实感和细节的虚拟试穿图像。该技术通过提供详细的文本提示，增强了生成图像的真实性，并通过定制方法进一步提升了真实世界场景下的保真度和真实感。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

提升户外虚拟试穿效果的模型训练代码库

BooW-VTON是一个专注于提升户外虚拟试穿效果的研究项目，通过无需掩码的伪数据训练来增强虚拟试穿技术。该技术的重要性在于它能够改善在自然环境下服装试穿的真实感和准确性，对于时尚电商和虚拟现实领域具有重要意义。产品背景信息显示，该项目是基于深度学习技术的图像生成模型，旨在解决传统虚拟试穿中服装与人体融合不自然的问题。目前该项目是免费开源的，定位于研究和开发阶段。

基于扩散模型的高保真服装重建虚拟试穿技术

TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。

一种用于零样本定制图像生成的扩散自蒸馏技术

Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术，用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下，通过预训练的文本到图像的模型生成自己的数据集，进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法，并能与每个实例的调优技术相媲美，无需测试时优化。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

逆向绘画技术，重现绘画过程

Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够处理多种艺术风格，并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解，定义了一组绘画指令，并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格，还能为广泛的艺术风格和流派提供合理的结果。

集成空间编织注意力，提升扩散模型的高保真条件

HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

统一的图像生成框架，简化多任务图像生成。

OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。

用于精确控制扩散模型中概念的低秩适配器

Concept Sliders 是一种用于精确控制扩散模型中概念的技术，它通过低秩适配器（LoRA）在预训练模型之上进行应用，允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下，对生成的图像进行细微调整，如眼睛大小、光线等，从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式，同时解决了生成模糊或扭曲图像的问题。

一款简单高效的虚拟试穿扩散模型。

CatVTON是一款基于扩散模型的虚拟试穿技术，具有轻量级网络（总共899.06M参数）、参数高效训练（49.57M可训练参数）和简化推理（1024X768分辨率下<8G VRAM）。它通过简化的网络结构和推理过程，实现了快速且高效的虚拟试穿效果，特别适合时尚行业和个性化推荐场景。

高保真3D头像生成模型

RodinHD是一个基于扩散模型的高保真3D头像生成技术，由Bowen Zhang、Yiji Cheng等研究者开发，旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足，通过新颖的数据调度策略和权重整合正则化项，提高了解码器渲染锐利细节的能力。此外，通过多尺度特征表示和交叉注意力机制，优化了肖像图像的引导效果，生成的3D头像在细节上显著优于以往方法，并且能够泛化到野外肖像输入。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

使用极少步骤生成高保真、多样化样本

Imagine Flash 是一种新型的扩散模型，它通过后向蒸馏框架，使用仅一到三个步骤就能实现高保真、多样化的样本生成。该模型包含三个关键组件：后向蒸馏、动态适应的知识转移以及噪声校正技术，显著提升了在极低步骤情况下的图像质量和样本多样性。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

使用扩散指引对文本感知图像进行细粒度风格控制

DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。

Visual Autoregressive Modeling: 新的视觉生成范式

VAR是一种新的视觉自回归建模方法,能够超越扩散模型,实现更高效的图像生成。它建立了视觉生成的幂律scaling laws,并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型,供用户探索和使用。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

为扩散模型提供一致性分辨率适配

ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理效率并减少了额外的推理时间。

加速高分辨率扩散模型推理

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

虚拟试穿产品图像修复模型

Diffuse to Choose 是一种基于扩散的图像修复模型，主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。通过将参考图像的细节特征直接融入主要扩散模型的潜在特征图中，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。它可以无缝地将目标物体嵌入到用户指定的新场景位置。AnyDoor先使用分割器去除目标物体的背景,然后使用ID提取器捕捉身份信息(ID令牌)。这些信息以及目标物体的细节被输入到一个预训练的文本到图像扩散模型中。在提取的信息和细节的指导下,该模型生成所需的图像。这个模型的独特之处在于,它不需要为每个物体调整参数。此外,它强大的自定义功能允许用户轻松地在场景图像中定位和调整物体,实现高保真和多样化的零次射物体-场景合成。除了照片编辑之外,该工具在电子商务领域也具有广阔的应用前景。借助AnyDoor,“一键更换服装”等概念得以实现,使用真人模型进行衣着互换,为用户提供更加个性化的购物体验。从更广泛的意义上说,AnyDoor也可以被理解为“一键Photoshop合成”或Photoshop中的“上下文感知移动工具”。它具有无缝图像集成和交换场景物体以及将图像对象放置到目标位置的功能。通过利用先进技术的力量,AnyDoor从本质上重新定义了图像操作,承诺在日常交互中提供多种更人性化的应用。