一种用于虚拟试穿任务的扩散模型,特别在真实世界场景中提高图像保真度和细节保存。
IDM-VTON是一种新型的扩散模型,用于基于图像的虚拟试穿任务,它通过结合视觉编码器和UNet网络的高级语义以及低级特征,生成具有高度真实感和细节的虚拟试穿图像。该技术通过提供详细的文本提示,增强了生成图像的真实性,并通过定制方法进一步提升了真实世界场景下的保真度和真实感。
使用极少步骤生成高保真、多样化样本
Imagine Flash 是一种新型的扩散模型,它通过后向蒸馏框架,使用仅一到三个步骤就能实现高保真、多样化的样本生成。该模型包含三个关键组件:后向蒸馏、动态适应的知识转移以及噪声校正技术,显著提升了在极低步骤情况下的图像质量和样本多样性。
RWKV架构的可扩展扩散模型
Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。
使用扩散指引对文本感知图像进行细粒度风格控制
DreamWalk是一种基于扩散指引的文本感知图像生成方法,可对图像的风格和内容进行细粒度控制,无需对扩散模型进行微调或修改内部层。支持多种风格插值和空间变化的引导函数,可广泛应用于各种扩散模型。
Visual Autoregressive Modeling: 新的视觉生成范式
VAR是一种新的视觉自回归建模方法,能够超越扩散模型,实现更高效的图像生成。它建立了视觉生成的幂律scaling laws,并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型,供用户探索和使用。
视频生成模型,支持无限长度高保真虚拟人视频生成
MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。
基于扩散模型的2D虚拟形象生成框架
Make-Your-Anchor是一个基于扩散模型的2D虚拟形象生成框架。它只需一段1分钟左右的视频素材就可以自动生成具有精确上身和手部动作的主播风格视频。该系统采用了一种结构引导的扩散模型来将3D网格状态渲染成人物外观。通过两阶段训练策略,有效地将运动与特定外观相绑定。为了生成任意长度的时序视频,将frame-wise扩散模型的2D U-Net扩展到3D形式,并提出简单有效的批重叠时序去噪模块,从而突破推理时的视频长度限制。最后,引入了一种基于特定身份的面部增强模块,提高输出视频中面部区域的视觉质量。实验表明,该系统在视觉质量、时序一致性和身份保真度方面均优于现有技术。
一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法
ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。
通过内在适应掌握视频外延画技术的高质量灵活方法
MOTIA是一个基于测试时适应的扩散方法,利用源视频内的内在内容和运动模式来有效进行视频外延画。该方法包括内在适应和外在渲染两个主要阶段,旨在提升视频外延画的质量和灵活性。
通过LLM增强语义对齐的扩散模型适配器
ELLA(Efficient Large Language Model Adapter)是一种轻量级方法,可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力,使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器,从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征,有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越,尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。
官方实现的自纠正LLM控制的扩散模型
SLD是一个自纠正的LLM控制的扩散模型框架,它通过集成检测器增强生成模型,以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑,并且与任何图像生成器兼容,如DALL-E 3,无需额外训练或数据。
NaturalSpeech 3是一个零样本(Zero-Shot)语音合成系统,使用分解编解码器和扩散模型生成自然语音
NaturalSpeech 3旨在通过分解语音的不同属性(如内容、韵律、音色和声学细节)并分别生成它们来提高语音合成的质量、相似性和韵律。该系统设计了一个神经编解码器,使用分解的向量量化(FVQ)来解耦语音波形,并提出了一个分解的扩散模型来根据相应的提示生成每个子空间的属性。
为扩散模型提供一致性分辨率适配
ResAdapter是一个为扩散模型(如Stable Diffusion)设计的分辨率适配器,它能够在保持风格域一致性的同时,生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同,ResAdapter直接生成动态分辨率的图像,提高了推理效率并减少了额外的推理时间。
加速高分辨率扩散模型推理
DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。
神经网络扩散模型实现
Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像,适用于图像生成和修复等任务。
大规模视频生成扩散模型
Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。
虚拟试穿产品图像修复模型
Diffuse to Choose 是一种基于扩散的图像修复模型,主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节,并且能够进行准确的语义操作。通过将参考图像的细节特征直接融入主要扩散模型的潜在特征图中,并结合感知损失来进一步保留参考物品的细节,该模型在快速推理和高保真细节方面取得了良好的平衡。
AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。
AnyDoor AI是一款突破性的图像生成工具,其设计理念基于扩散模型。它可以无缝地将目标物体嵌入到用户指定的新场景位置。AnyDoor先使用分割器去除目标物体的背景,然后使用ID提取器捕捉身份信息(ID令牌)。这些信息以及目标物体的细节被输入到一个预训练的文本到图像扩散模型中。在提取的信息和细节的指导下,该模型生成所需的图像。这个模型的独特之处在于,它不需要为每个物体调整参数。此外,它强大的自定义功能允许用户轻松地在场景图像中定位和调整物体,实现高保真和多样化的零次射物体-场景合成。除了照片编辑之外,该工具在电子商务领域也具有广阔的应用前景。借助AnyDoor,“一键更换服装”等概念得以实现,使用真人模型进行衣着互换,为用户提供更加个性化的购物体验。从更广泛的意义上说,AnyDoor也可以被理解为“一键Photoshop合成”或Photoshop中的“上下文感知移动工具”。它具有无缝图像集成和交换场景物体以及将图像对象放置到目标位置的功能。通过利用先进技术的力量,AnyDoor从本质上重新定义了图像操作,承诺在日常交互中提供多种更人性化的应用。
像素级语义知识的新兴扩散模型
EmerDiff是一种新兴的扩散模型,旨在通过利用扩散模型提取的语义知识,生成细粒度的分割地图,无需额外训练。该模型通过利用Stable Diffusion(SD)提取的语义知识,克服了从低维特征图中直接提取像素级语义关系的挑战,并利用这些关系构建了图像分辨率的分割地图。经过广泛实验验证,生成的分割地图清晰且捕捉了图像的详细部分,表明扩散模型中存在高度准确的像素级语义知识。
一个千万级3D形状模型
Make-A-Shape是一个新的3D生成模型,旨在以高效的方式训练大规模数据,能够利用1000万个公开可用的形状。我们创新性地引入了小波树表示法,通过制定子带系数滤波方案来紧凑地编码形状,然后通过设计子带系数打包方案将表示布置在低分辨率网格中,使其可生成扩散模型。此外,我们还提出了子带自适应训练策略,使我们的模型能够有效地学习生成粗细小波系数。最后,我们将我们的框架扩展为受额外输入条件控制,以使其能够从各种模态生成形状,例如单/多视图图像、点云和低分辨率体素。在大量实验中,我们展示了无条件生成、形状完成和条件生成等各种应用。我们的方法不仅在提供高质量结果方面超越了现有技术水平,而且在几秒内高效生成形状,通常在大多数条件下仅需2秒钟。
© 2024 AIbase 备案号:闽ICP备2023012347号-1