HiDiffusion,解锁预训练扩散模型中的高分辨率创作与效率。
HiDiffusion是一个预训练扩散模型,通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术,动态调整特征图大小以解决对象复制问题,并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096,同时保持1.5-6倍于以往方法的推理速度。
高效图像合成的新框架
Hyper-SD是一个创新的图像合成框架,它通过轨迹分割一致性模型和低步数推理的优势,实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势,同时通过人类反馈学习进一步提升了性能,并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能,特别适合需要快速且高质量图像生成的应用场景。
基于LDM的服装驱动图像合成AI
MagicClothing是一种基于潜在扩散模型(LDM)的新型网络架构,专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像,同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术,实现了高度的图像可控性,并且可以与ControlNet和IP-Adapter等其他技术结合使用,以提升角色的多样性和可控性。此外,还开发了匹配点LPIPS(MP-LPIPS)评估指标,用于评价生成图像与原始服装的一致性。
Masked Diffusion Transformer是图像合成的最新技术,为ICCV 2023的SOTA(State of the Art)
MDT通过引入掩码潜在模型方案来显式增强扩散概率模型(DPMs)在图像中对象部分之间关系学习的能力。MDT在训练期间在潜在空间中操作,掩蔽某些标记,然后设计一个不对称的扩散变换器来从未掩蔽的标记中预测掩蔽的标记,同时保持扩散生成过程。MDTv2进一步通过更有效的宏网络结构和训练策略提高了MDT的性能。
提高文本到图像合成质量的一致性蒸馏技术
TCD是一种用于文本到图像合成的一致性蒸馏技术,它通过轨迹一致性函数(TCF)和策略性随机采样(SSS)来减少合成过程中的错误。TCD在低NFE(噪声自由能量)时显著提高图像质量,并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督,即可在低NFE和高NFE时均保持优越的生成质量。
OFT可有效稳定微调文本到图像扩散模型
Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。
秒速零拍照生成身份保留
InstantID是一种基于强大扩散模型的解决方案,能够在各种风格下使用单张面部图像进行图像个性化处理,同时确保高保真度。我们设计了一个新颖的IdentityNet,通过施加强大的语义和弱空间条件,将面部和地标图像与文本提示集成,引导图像生成。InstantID在实际应用中表现出色,并且能够与流行的预训练文本到图像扩散模型(如SD1.5和SDXL)无缝集成,作为一个可适配的插件。我们的代码和预训练检查点将在此URL上提供。
基于图像扩散模型的得分蒸馏采样方法
Score Distillation Sampling(SDS)是一种新近但已经广泛流行的方法,依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析,确定了其制定中的固有问题,并提出了一个出人意料但有效的修复方法。具体而言,我们将损失分解为不同因素,并分离出产生噪声梯度的组件。在原始制定中,使用高文本指导来账户噪声,导致了不良副作用。相反,我们训练了一个浅层网络,模拟图像扩散模型的时间步相关去噪不足,以有效地将其分解出来。我们通过多个定性和定量实验(包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成)展示了我们新颖损失制定的多功能性和有效性。
ReconFusion: 3D重建与扩散先验
ReconFusion是一种3D重建方法,利用扩散先验在只有少量照片的情况下重建真实世界场景。它结合Neural Radiance Fields(NeRFs)和扩散先验,能够在新的摄像机位置超出输入图像集合的情况下,合成逼真的几何和纹理。该方法通过在少量视图和多视图数据集上训练扩散先验,能够在不受约束的区域合成逼真的几何和纹理,同时保留观察区域的外观。ReconFusion在各种真实世界数据集上进行了广泛评估,包括前向和360度场景,展示出明显的性能改进。
SDXL Turbo是一款在线的文本生成图像模型
SDXL Turbo是一款基于Adversarial Diffusion Distillation(ADD)技术的文本生成图像模型,能够快速生成高质量的图像。它是SDXL 1.0的改进版本,只需一次网络评估即可合成高质量逼真的图像。
语音驱动的对话头像生成
GAIA旨在从语音和单个肖像图像合成自然的对话视频。我们引入了GAIA(Avatar的生成AI),它消除了对话头像生成中的领域先验。GAIA分为两个阶段:1)将每帧分解为运动和外观表示;2)在语音和参考肖像图像的条件下生成运动序列。我们收集了大规模高质量的对话头像数据集,并在不同规模上对模型进行了训练。实验结果验证了GAIA的优越性、可扩展性和灵活性。方法包括变分自动编码器(VAE)和扩散模型。扩散模型被优化为在语音序列和视频片段中的随机帧的条件下生成运动序列。GAIA可用于不同的应用,如可控对话头像生成和文本指导的头像生成。
高分辨率图像合成
luosiallen/latent-consistency-model 是一个用于合成高分辨率图像的模型。它使用少量的推理步骤来生成具有良好一致性的图像。该模型支持自定义的输入提示和参数调整,可生成逼真的艺术品、人像等图像。
高度写实的文本到图像模型
Deep floyd是一个开源的文本到图像模型,具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成:一个基础模型用于根据文本提示生成 64x64 像素的图像,以及两个超分辨率模型,分别用于生成分辨率逐渐增加的图像:256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入,然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型,在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力,并展示了文本到图像合成的一个有前途的未来。
© 2024 AIbase 备案号:闽ICP备2023012347号-1