产品库

一款利用扩散模型估算照明效果的技术

DiffusionLight是一项利用扩散模型在单张输入图像中估算照明效果的技术。它利用训练好的Stable Diffusion XL模型绘制一个镜面反射球,然后将球体展开得到全景照明图。该技术解决了现有基于神经网络的方法依赖有限HDR全景数据集导致在真实复杂场景下效果不佳的问题。关键创新在于发现了扩散噪声图和镜面反射球生成质量之间的关系,迭代生成高质量镜面球;以及通过LoRA 进行多曝光训练,使LDR模型也可以输出HDR格式。该技术可产生逼真的照明估计,特别适用于野外场景。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

开源双语文生图生成模型

Taiyi-Diffusion-XL是一个开源的基于Stable Diffusion训练的双语文生图生成模型,支持英文和中文的文本到图像生成,相比之前的中文文生图模型有了显著提升。它可以根据文本描述生成照片般逼真的图像,支持多种图像风格,具有较高的生成质量和多样性。该模型采用创新的训练方式,扩展了词表、位置编码以支持长文本和中文,并在大规模双语数据集上进行训练,确保了其强大的中英文生成能力。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

提高图像生成模型的美感

Emu是一个用于提高图像生成模型美感的质量调整工具。它可以通过有限的高质量图像进行微调，从而显著提高生成质量。Emu在1.1亿个图像-文本对上进行了预训练，并使用了几千个精心挑选的高质量图像进行了微调。与仅进行预训练的模型相比，Emu的胜率达到了82.9％。与最先进的SDXLv1.0相比，Emu在视觉吸引力方面的偏好率分别为68.4％和71.3％。Emu还可以用于其他架构，包括像素扩散和掩蔽生成变压器模型。

低成本高质量文本到图像生成模型

PIXART-α是一种基于Transformer的文本到图像生成模型，其图像生成质量与最先进的图像生成器相当，支持高分辨率图像合成，训练速度明显优于现有的大规模T2I模型，训练成本低，可节省近30万美元，并减少90%的CO2排放。PIXART-α在图像质量、艺术性和语义控制方面表现出色，可为AIGC社区和初创企业提供新的见解，加速从头开始构建高质量、低成本的生成模型。

描述您想要的背景，AI 会生成无限个与您需求匹配的独特背景。

AI 背景生成器能根据您的描述，使用稳定扩散算法生成无数独特的背景。只需描述所需背景，AI 会在几秒内生成质量优秀的背景供您选择，您可以免费下载并用作壁纸、展示产品或创建有趣的图像。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

一种优化扩散模型采样时间表的方法，以提高生成模型的输出质量。

Align Your Steps 是一种用于优化扩散模型（Diffusion Models, DMs）采样时间表的方法。这种方法利用随机微积分的方法，为不同的求解器、训练有素的DMs和数据集找到特定的最优采样时间表。它通过最小化KLUB项来优化时间离散化，即采样调度，从而在相同的计算预算下提高输出质量。该方法在图像、视频以及2D玩具数据合成基准测试中表现出色，优化的采样时间表在几乎所有实验中都优于之前手工制定的时间表。

一种用于虚拟试穿任务的扩散模型，特别在真实世界场景中提高图像保真度和细节保存。

IDM-VTON是一种新型的扩散模型，用于基于图像的虚拟试穿任务，它通过结合视觉编码器和UNet网络的高级语义以及低级特征，生成具有高度真实感和细节的虚拟试穿图像。该技术通过提供详细的文本提示，增强了生成图像的真实性，并通过定制方法进一步提升了真实世界场景下的保真度和真实感。

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

使用极少步骤生成高保真、多样化样本

Imagine Flash 是一种新型的扩散模型，它通过后向蒸馏框架，使用仅一到三个步骤就能实现高保真、多样化的样本生成。该模型包含三个关键组件：后向蒸馏、动态适应的知识转移以及噪声校正技术，显著提升了在极低步骤情况下的图像质量和样本多样性。

基于LDM的服装驱动图像合成AI

MagicClothing是一种基于潜在扩散模型（LDM）的新型网络架构，专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像，同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术，实现了高度的图像可控性，并且可以与ControlNet和IP-Adapter等其他技术结合使用，以提升角色的多样性和可控性。此外，还开发了匹配点LPIPS（MP-LPIPS）评估指标，用于评价生成图像与原始服装的一致性。

提升文本到图像生成的可控性

ControlNet++是一种新型的文本到图像扩散模型，通过显式优化生成图像与条件控制之间的像素级循环一致性，显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件，并优化输入条件控制与提取条件之间的一致性损失。此外，ControlNet++引入了一种高效的奖励策略，通过向输入图像中添加噪声来扰动图像，然后使用单步去噪图像进行奖励微调，避免了与图像采样相关的大量时间和内存成本。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

使用扩散指引对文本感知图像进行细粒度风格控制

DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。

Visual Autoregressive Modeling: 新的视觉生成范式

VAR是一种新的视觉自回归建模方法,能够超越扩散模型,实现更高效的图像生成。它建立了视觉生成的幂律scaling laws,并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型,供用户探索和使用。

训练免费高分辨率图像合成的频率视角

FouriScale从频域分析的角度探讨从预先训练的扩散模型生成高分辨率图像，通过创新的、无需训练的方法，通过将预先训练的扩散模型中的原始卷积层替换为结合膨胀技术和低通操作的方法，通过填充然后裁剪策略进一步增强，实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，该方法成功平衡了生成图像的结构完整性和保真度，实现了任意尺寸、高分辨率和高质量生成的惊人能力。通过其简单性和兼容性，该方法可以为未来对超高分辨率图像合成的探索提供有价值的见解。

通过文本指令自动生成和动画化卡通人物的3D纹理

Make-It-Vivid是一种创新的模型,能够根据文本指令自动生成和动画化卡通人物的3D纹理。它解决了传统方式制作3D卡通角色纹理的挑战,提供了高效、灵活的解决方案。该模型通过预训练的文本到图像扩散模型生成高质量的UV纹理图,并引入对抗性训练来增强细节。它可以根据不同的文本prompt生成各种风格的角色纹理,并将其应用到3D模型上进行动画制作,为动画、游戏等领域提供了便利的创作工具。

一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法

ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

为扩散模型提供一致性分辨率适配

ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理效率并减少了额外的推理时间。

加速高分辨率扩散模型推理

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

从CivitAI中发现匹配图片风格的SD模型

FindSD.art 帮助用户从单个图像中发现 CivitAI 的稳定扩散模型，以匹配其艺术风格。它易于使用，安全且注重隐私。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。