产品库

基于图像扩散模型的得分蒸馏采样方法

Score Distillation Sampling（SDS）是一种新近但已经广泛流行的方法，依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析，确定了其制定中的固有问题，并提出了一个出人意料但有效的修复方法。具体而言，我们将损失分解为不同因素，并分离出产生噪声梯度的组件。在原始制定中，使用高文本指导来账户噪声，导致了不良副作用。相反，我们训练了一个浅层网络，模拟图像扩散模型的时间步相关去噪不足，以有效地将其分解出来。我们通过多个定性和定量实验（包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成）展示了我们新颖损失制定的多功能性和有效性。

将任何图像放置于任何场景中

Any Image Anywhere 是一个基于人工智能的图像处理工具，它允许用户通过简单的提示将输入图像放置到不同的上下文中，例如将能量饮料的商标放置在产品照片上。这项技术的重要性在于其能够快速创建逼真的图像合成，对于设计师、营销人员和内容创作者来说，这是一个强大的工具，可以节省大量的时间和资源。产品背景信息显示，它是由fab1an开发的，并且每天有20次的免费使用限制。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

AI视频生成器，从文本提示生成高质量视频

Mochi 1是一个由Genmo开发的前沿开源AI视频生成器，它允许创作者使用文本和图像提示生成高质量、逼真的视频。Mochi 1以其卓越的提示遵循能力和流畅的运动效果，使AI视频生成对每个人都变得容易。它旨在与行业其他模型竞争，为创作者提供更多的控制和更好的视觉成果。

高分辨率、长时音频驱动的人像图像动画技术

Hallo2是一种基于潜在扩散生成模型的人像图像动画技术，通过音频驱动生成高分辨率、长时的视频。它通过引入多项设计改进，扩展了Hallo的功能，包括生成长时视频、4K分辨率视频，并增加了通过文本提示增强表情控制的能力。Hallo2的主要优点包括高分辨率输出、长时间的稳定性以及通过文本提示增强的控制性，这使得它在生成丰富多样的肖像动画内容方面具有显著优势。

无需训练即可定制化生成个性化人像图像

MagicFace是一种无需训练即可实现个性化人像合成的技术，它能够根据给定的多个概念生成高保真度的人像图像。这项技术通过精确地将参考概念特征在像素级别集成到生成区域中，实现了多概念的个性化定制。MagicFace引入了粗到细的生成流程，包括语义布局构建和概念特征注入两个阶段，通过Reference-aware Self-Attention (RSA)和Region-grouped Blend Attention (RBA)机制实现。该技术不仅在人像合成和多概念人像定制方面表现出色，还可用于纹理转移，增强其多功能性和实用性。

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

超高清图像合成技术的新高峰

UltraPixel是一种先进的超高清图像合成技术，旨在推动图像分辨率达到新的高度。这项技术由香港科技大学（广州）、华为诺亚方舟实验室、马克斯·普朗克信息学研究所等机构共同研发。它在图像合成、文本到图像的转换、个性化定制等方面具有显著优势，能够生成高达4096x4096分辨率的图像，满足专业图像处理和视觉艺术的需求。

AI 创建工具，打造令人惊叹的产品照片。

Jector是一个AI创作工具，专注于为产品摄影提供高质量的背景生成服务。它通过简化AI设置，提供独立的生成环境插槽，以及基于节点的图像生成历史记录，使得用户能够轻松创建和合成产品图像。Jector的主要优点包括无需复杂设置即可开始使用，提供简单但高度灵活的生成选项，自动产品合成，以及额外的清除和放大功能。此外，它还提供无限保存和下载功能，让用户可以轻松地为产品生成自己的心情历史。

一款基于扩散模型的服装试穿技术

TryOnDiffusion是一种创新的图像合成技术，它通过两个UNets（Parallel-UNet）的结合，实现了在单一网络中同时保持服装细节和适应显著的身体姿势及形状变化。这项技术在保持服装细节的同时，能够适应不同的身体姿势和形状，解决了以往方法在细节保持和姿势适应上的不足，达到了业界领先的性能。

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

高效图像合成的新框架

Hyper-SD是一个创新的图像合成框架，它通过轨迹分割一致性模型和低步数推理的优势，实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势，同时通过人类反馈学习进一步提升了性能，并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能，特别适合需要快速且高质量图像生成的应用场景。

基于LDM的服装驱动图像合成AI

MagicClothing是一种基于潜在扩散模型（LDM）的新型网络架构，专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像，同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术，实现了高度的图像可控性，并且可以与ControlNet和IP-Adapter等其他技术结合使用，以提升角色的多样性和可控性。此外，还开发了匹配点LPIPS（MP-LPIPS）评估指标，用于评价生成图像与原始服装的一致性。

Masked Diffusion Transformer是图像合成的最新技术，为ICCV 2023的SOTA（State of the Art）

MDT通过引入掩码潜在模型方案来显式增强扩散概率模型（DPMs）在图像中对象部分之间关系学习的能力。MDT在训练期间在潜在空间中操作，掩蔽某些标记，然后设计一个不对称的扩散变换器来从未掩蔽的标记中预测掩蔽的标记，同时保持扩散生成过程。MDTv2进一步通过更有效的宏网络结构和训练策略提高了MDT的性能。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

准确的3D编辑器，支持文本和图像提示

TIP-Editor是一款准确的3D编辑器，支持文本和图像提示，用户可以通过文本和图像提示以及3D边界框来精确控制编辑区域的外观和位置。采用逐步的2D个性化策略来更好地学习现有场景和参考图像的表示，通过本地编辑来实现精确的外观控制。TIPEditor利用明确灵活的3D高斯飞溅作为3D表示，以便在保持背景不变的同时进行局部编辑。经过大量实验证明，TIP-Editor在指定边界框区域内根据文本和图像提示进行准确编辑，编辑质量和与提示的对齐性在定性和定量上均优于基线。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

秒速零拍照生成身份保留

InstantID是一种基于强大扩散模型的解决方案，能够在各种风格下使用单张面部图像进行图像个性化处理，同时确保高保真度。我们设计了一个新颖的IdentityNet，通过施加强大的语义和弱空间条件，将面部和地标图像与文本提示集成，引导图像生成。InstantID在实际应用中表现出色，并且能够与流行的预训练文本到图像扩散模型（如SD1.5和SDXL）无缝集成，作为一个可适配的插件。我们的代码和预训练检查点将在此URL上提供。

ReconFusion: 3D重建与扩散先验

ReconFusion是一种3D重建方法，利用扩散先验在只有少量照片的情况下重建真实世界场景。它结合Neural Radiance Fields（NeRFs）和扩散先验，能够在新的摄像机位置超出输入图像集合的情况下，合成逼真的几何和纹理。该方法通过在少量视图和多视图数据集上训练扩散先验，能够在不受约束的区域合成逼真的几何和纹理，同时保留观察区域的外观。ReconFusion在各种真实世界数据集上进行了广泛评估，包括前向和360度场景，展示出明显的性能改进。

SDXL Turbo是一款在线的文本生成图像模型

SDXL Turbo是一款基于Adversarial Diffusion Distillation（ADD）技术的文本生成图像模型，能够快速生成高质量的图像。它是SDXL 1.0的改进版本，只需一次网络评估即可合成高质量逼真的图像。

语音驱动的对话头像生成

GAIA旨在从语音和单个肖像图像合成自然的对话视频。我们引入了GAIA（Avatar的生成AI），它消除了对话头像生成中的领域先验。GAIA分为两个阶段：1）将每帧分解为运动和外观表示；2）在语音和参考肖像图像的条件下生成运动序列。我们收集了大规模高质量的对话头像数据集，并在不同规模上对模型进行了训练。实验结果验证了GAIA的优越性、可扩展性和灵活性。方法包括变分自动编码器（VAE）和扩散模型。扩散模型被优化为在语音序列和视频片段中的随机帧的条件下生成运动序列。GAIA可用于不同的应用，如可控对话头像生成和文本指导的头像生成。

高分辨率图像合成

luosiallen/latent-consistency-model 是一个用于合成高分辨率图像的模型。它使用少量的推理步骤来生成具有良好一致性的图像。该模型支持自定义的输入提示和参数调整，可生成逼真的艺术品、人像等图像。

高度写实的文本到图像模型

Deep floyd是一个开源的文本到图像模型，具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成：一个基础模型用于根据文本提示生成 64x64 像素的图像，以及两个超分辨率模型，分别用于生成分辨率逐渐增加的图像：256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入，然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型，在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力，并展示了文本到图像合成的一个有前途的未来。

图像转换为文本提示的AI工具

ImageToPromptAI是一个AI工具，可以将图像转换为文本提示。用户可以上传图像并创建一系列文本提示，AI会根据图像生成相应的文本描述。该工具可以用于稳定扩散，生成可比较的图像/绘画变化。用户可以根据自己的需求选择不同的套餐，无需订阅。

一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。

Gen-2是一款多模态人工智能系统，可以根据文字、图片或视频剪辑生成新颖的视频。它可以通过将图像或文字提示的构图和风格应用于源视频的结构（Video to Video），或者仅使用文字（Text to Video）来实现。就像拍摄了全新的内容，而实际上并没有拍摄任何东西。Gen-2提供了多种模式，可以将任何图像、视频剪辑或文字提示转化为引人注目的影片作品。

通过图像生成文本提示

img2prompt是一个通过图像生成文本提示的模型。它使用OpenAI CLIP模型和BLIP标题，将给定的图像与不同的艺术家、媒介和风格进行比较，并提供类似的文本提示，用于创建类似的图像。您可以将这些文本提示复制到stable diffusion中使用。