产品库

使用极少步骤生成高保真、多样化样本

Imagine Flash 是一种新型的扩散模型，它通过后向蒸馏框架，使用仅一到三个步骤就能实现高保真、多样化的样本生成。该模型包含三个关键组件：后向蒸馏、动态适应的知识转移以及噪声校正技术，显著提升了在极低步骤情况下的图像质量和样本多样性。

一种用于零样本定制图像生成的扩散自蒸馏技术

Diffusion Self-Distillation是一种基于扩散模型的自蒸馏技术，用于零样本定制图像生成。该技术允许艺术家和用户在没有大量配对数据的情况下，通过预训练的文本到图像的模型生成自己的数据集，进而微调模型以实现文本和图像条件的图像到图像任务。这种方法在保持身份生成任务的性能上超越了现有的零样本方法，并能与每个实例的调优技术相媲美，无需测试时优化。

基于图像扩散模型的得分蒸馏采样方法

Score Distillation Sampling（SDS）是一种新近但已经广泛流行的方法，依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析，确定了其制定中的固有问题，并提出了一个出人意料但有效的修复方法。具体而言，我们将损失分解为不同因素，并分离出产生噪声梯度的组件。在原始制定中，使用高文本指导来账户噪声，导致了不良副作用。相反，我们训练了一个浅层网络，模拟图像扩散模型的时间步相关去噪不足，以有效地将其分解出来。我们通过多个定性和定量实验（包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成）展示了我们新颖损失制定的多功能性和有效性。

高性能图像生成模型的蒸馏加速版本

HunyuanDiT Distillation Acceleration 是腾讯 Hunyuan 团队基于 HunyuanDiT 模型开发的蒸馏加速版本。通过渐进式蒸馏方法，在不降低性能的情况下，实现了推理速度的两倍提升。该模型支持多种GPU和推理模式，能够显著减少时间消耗，提高图像生成效率。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

开源的去蒸馏FLUX模型

LibreFLUX是一个基于Apache 2.0许可的开源版本，提供了完整的T5上下文长度，使用注意力掩码，恢复了分类器自由引导，并去除了大部分FLUX美学微调/DPO。这意味着它比基础FLUX更不美观，但有潜力更容易地微调到任何新的分布。LibreFLUX的开发秉承开源软件的核心原则，即使用困难，比专有解决方案更慢、更笨拙，并且审美停留在21世纪初。

朱雀大模型检测，精准识别AI生成图像，助力内容真实性鉴别。

朱雀大模型检测是腾讯推出的一款AI检测工具，主要功能是检测图片是否由AI模型生成。它经过大量自然图片和生成图片的训练，涵盖摄影、艺术、绘画等内容，可检测多类主流文生图模型生成图片。该产品具有高精度检测、快速响应等优点，对于维护内容真实性、打击虚假信息传播具有重要意义。目前暂未明确其具体价格，但从功能来看，主要面向需要进行内容审核、鉴别真伪的机构和个人，如媒体、艺术机构等。

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

基于FLUX.1-dev模型的8步蒸馏Lora，用于文本到图像生成。

FLUX.1-Turbo-Alpha是一个基于FLUX.1-dev模型的8步蒸馏Lora，由AlimamaCreative Team发布。该模型使用多头鉴别器来提高蒸馏质量，可以用于文本到图像(T2I)、修复控制网络等FLUX相关模型。推荐使用指导比例为3.5，Lora比例为1。该模型在1M开源和内部源图像上进行训练，采用对抗性训练提高质量，固定原始FLUX.1-dev变换器作为鉴别器主干，并在每层变换器上添加多头。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。

AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。它可以无缝地将目标物体嵌入到用户指定的新场景位置。AnyDoor先使用分割器去除目标物体的背景,然后使用ID提取器捕捉身份信息(ID令牌)。这些信息以及目标物体的细节被输入到一个预训练的文本到图像扩散模型中。在提取的信息和细节的指导下,该模型生成所需的图像。这个模型的独特之处在于,它不需要为每个物体调整参数。此外,它强大的自定义功能允许用户轻松地在场景图像中定位和调整物体,实现高保真和多样化的零次射物体-场景合成。除了照片编辑之外,该工具在电子商务领域也具有广阔的应用前景。借助AnyDoor,“一键更换服装”等概念得以实现,使用真人模型进行衣着互换,为用户提供更加个性化的购物体验。从更广泛的意义上说,AnyDoor也可以被理解为“一键Photoshop合成”或Photoshop中的“上下文感知移动工具”。它具有无缝图像集成和交换场景物体以及将图像对象放置到目标位置的功能。通过利用先进技术的力量,AnyDoor从本质上重新定义了图像操作,承诺在日常交互中提供多种更人性化的应用。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

使用扩散模型实现时域一致的人体图像动画

MagicAnimate是一款基于扩散模型的先进框架，用于人体图像动画。它能够从单张图像和动态视频生成动画视频，具有时域一致性，能够保持参考图像的特征，并显著提升动画的保真度。MagicAnimate支持使用来自各种来源的动作序列进行图像动画，包括跨身份的动画和未见过的领域，如油画和电影角色。它还与DALLE3等T2I扩散模型无缝集成，可以根据文本生成的图像赋予动态动作。MagicAnimate由新加坡国立大学Show Lab和Bytedance字节跳动共同开发。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

一张图生成多视角扩散基础模型

Zero123++是一个单图生成多视角一致性扩散基础模型。它可以从单个输入图像生成多视角图像，具有稳定的扩散VAE。您可以使用它来生成具有灰色背景的不透明图像。您还可以使用它来运行深度ControlNet。模型和源代码均可在官方网站上获得。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

开源框架，加速大型视频扩散模型

FastVideo是一个开源框架，旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型，实现了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首个开放的视频DiT蒸馏配方，支持对最先进的开放视频DiT模型进行蒸馏、微调和推理，包括Mochi和Hunyuan。此外，FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练，以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中，技术高度实验性，未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

生成大型属性图的扩散模型

GraphMaker是一个用于生成大型属性图的扩散模型。它可以同时生成节点属性和图结构，也可以先生成节点属性再生成图结构。支持的数据集包括cora、citeseer、amazon_photo和amazon_computer。您可以使用训练好的模型来生成图。

加速高分辨率扩散模型推理

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

多功能大规模扩散模型，支持双向图像合成与理解。

OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

基于级联扩散的文本到图像生成系统

CogView3是一个基于级联扩散的文本到图像生成系统，使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段，并通过中继超分辨率过程，在低分辨率生成结果上添加高斯噪声，从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL，具有更快的生成速度和更高的图像质量。