产品库

一种用于零样本定制图像生成的扩散自蒸馏技术

Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术，用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下，通过预训练的文本到图像的模型生成自己的数据集，进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法，并能与每个实例的调优技术相媲美，无需测试时优化。

实现灵活且高保真度的图像生成，同时保持身份特征。

InfiniteYou（InfU）是一个基于扩散变换器的强大框架，旨在实现灵活的图像重构，并保持用户身份。它通过引入身份特征并采用多阶段训练策略，显著提升了图像生成的质量和美学，同时改善了文本与图像的对齐。该技术对提高图像生成的相似性和美观性具有重要意义，适用于各种图像生成任务。

VideoGrain 是一种零样本方法，用于实现类别级、实例级和部件级的视频编辑。

VideoGrain 是一种基于扩散模型的视频编辑技术，通过调节时空注意力机制实现多粒度视频编辑。该技术解决了传统方法中语义对齐和特征耦合的问题，能够对视频内容进行精细控制。其主要优点包括零样本编辑能力、高效的文本到区域控制以及特征分离能力。该技术适用于需要对视频进行复杂编辑的场景，如影视后期、广告制作等，能够显著提升编辑效率和质量。

Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。

Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型，能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入（如参数化模型或相机参数），即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构，具有广泛的应用前景，如虚拟现实、影视制作等。Pippo 的代码已开源，但不包含预训练权重，用户需要自行训练模型。

TokenVerse 是一种基于预训练文本到图像扩散模型的多概念个性化方法。

TokenVerse 是一种创新的多概念个性化方法，它利用预训练的文本到图像扩散模型，能够从单张图像中解耦复杂的视觉元素和属性，并实现无缝的概念组合生成。这种方法突破了现有技术在概念类型或广度上的限制，支持多种概念，包括物体、配饰、材质、姿势和光照等。TokenVerse 的重要性在于其能够为图像生成领域带来更灵活、更个性化的解决方案，满足用户在不同场景下的多样化需求。目前，TokenVerse 的代码尚未公开，但其在个性化图像生成方面的潜力已经引起了广泛关注。

X-Dyna是一种基于扩散模型的零样本人类图像动画生成技术。

X-Dyna是一种创新的零样本人类图像动画生成技术，通过将驱动视频中的面部表情和身体动作迁移到单张人类图像上，生成逼真且富有表现力的动态效果。该技术基于扩散模型，通过Dynamics-Adapter模块，将参考外观上下文有效整合到扩散模型的空间注意力中，同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制，还能通过本地控制模块捕捉与身份无关的面部表情，实现精确的表情传递。X-Dyna在多种人类和场景视频的混合数据上进行训练，能够学习物理人体运动和自然场景动态，生成高度逼真和富有表现力的动画。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

逆向绘画技术，重现绘画过程

Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够处理多种艺术风格，并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解，定义了一组绘画指令，并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格，还能为广泛的艺术风格和流派提供合理的结果。

零样本风格化情侣肖像创作

Omni-Zero-Couples是一个使用diffusers管道的零样本风格化情侣肖像创作模型。它利用深度学习技术，无需预先定义的风格样本，即可生成具有特定艺术风格的情侣肖像。这种技术在艺术创作、个性化礼物制作和数字娱乐领域具有广泛的应用前景。

集成空间编织注意力，提升扩散模型的高保真条件

HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

统一的图像生成框架，简化多任务图像生成。

OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。

用于精确控制扩散模型中概念的低秩适配器

Concept Sliders 是一种用于精确控制扩散模型中概念的技术，它通过低秩适配器（LoRA）在预训练模型之上进行应用，允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下，对生成的图像进行细微调整，如眼睛大小、光线等，从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式，同时解决了生成模糊或扭曲图像的问题。

高保真3D头像生成模型

RodinHD是一个基于扩散模型的高保真3D头像生成技术，由Bowen Zhang、Yiji Cheng等研究者开发，旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足，通过新颖的数据调度策略和权重整合正则化项，提高了解码器渲染锐利细节的能力。此外，通过多尺度特征表示和交叉注意力机制，优化了肖像图像的引导效果，生成的3D头像在细节上显著优于以往方法，并且能够泛化到野外肖像输入。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

基于文本的视频编辑技术，使用时空切片。

Slicedit是一种零样本视频编辑技术，它利用文本到图像的扩散模型，并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动，同时符合目标文本描述。通过广泛的实验，证明了Slicedit在编辑真实世界视频方面具有明显优势。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

一种用于虚拟试穿任务的扩散模型，特别在真实世界场景中提高图像保真度和细节保存。

IDM-VTON是一种新型的扩散模型，用于基于图像的虚拟试穿任务，它通过结合视觉编码器和UNet网络的高级语义以及低级特征，生成具有高度真实感和细节的虚拟试穿图像。该技术通过提供详细的文本提示，增强了生成图像的真实性，并通过定制方法进一步提升了真实世界场景下的保真度和真实感。

使用极少步骤生成高保真、多样化样本

Imagine Flash 是一种新型的扩散模型，它通过后向蒸馏框架，使用仅一到三个步骤就能实现高保真、多样化的样本生成。该模型包含三个关键组件：后向蒸馏、动态适应的知识转移以及噪声校正技术，显著提升了在极低步骤情况下的图像质量和样本多样性。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

使用扩散指引对文本感知图像进行细粒度风格控制

DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。