一种基于潜在扩散模型的自监督层次化化妆迁移技术
SHMT是一种自监督的层次化化妆迁移技术,通过潜在扩散模型实现。该技术能够在不需要显式标注的情况下,将一种面部妆容自然地迁移到另一种面部上。其主要优点在于能够处理复杂的面部特征和表情变化,提供高质量的迁移效果。该技术在NeurIPS 2024上被接受,展示了其在图像处理领域的创新性和实用性。
AnyDressing 是一种基于潜在扩散模型的可定制多服装虚拟试穿技术。
AnyDressing 是一种创新的虚拟试穿技术,通过潜在扩散模型实现多服装的个性化定制。该技术能够根据用户提供的服装组合和个性化文本提示生成逼真的虚拟试穿图像。其主要优点包括高精度的服装纹理细节处理、与多种插件的兼容性以及强大的场景适应能力。AnyDressing 的背景信息显示,它是由字节跳动和清华大学的研究团队共同开发的,旨在推动虚拟试穿技术的发展。该产品目前处于研究阶段,尚未定价,主要面向学术研究和效果展示。
基于音频条件的潜在扩散模型的唇部同步框架
LatentSync 是由字节跳动开发的一款基于音频条件的潜在扩散模型的唇部同步框架。它能够直接利用 Stable Diffusion 的强大能力,无需任何中间运动表示,即可建模复杂的音视频关联。该框架通过提出的时间表示对齐(TREPA)技术,有效提升了生成视频帧的时间一致性,同时保持了唇部同步的准确性。该技术在视频制作、虚拟主播、动画制作等领域具有重要应用价值,能够显著提高制作效率,降低人工成本,为用户带来更加逼真、自然的视听体验。LatentSync 的开源特性也使其能够被广泛应用于学术研究和工业实践,推动相关技术的发展和创新。
高清视频逆问题求解器,使用潜在扩散模型
VISION XL是一个利用潜在扩散模型解决高清视频逆问题的框架。它通过伪批量一致性采样策略和批量一致性反演方法,优化了视频处理的效率和时间,支持多种比例和高分辨率重建。该技术的主要优点包括支持多比例和高分辨率重建、内存和采样时间效率、使用开源潜在扩散模型SDXL。它通过集成SDXL,在各种时空逆问题上实现了最先进的视频重建,包括复杂的帧平均和各种空间退化的组合,如去模糊、超分辨率和修复。
用SD直接生成透明的 PNG 图片
LayerDiffusion 是一种使大规模预训练潜在扩散模型能够生成透明图像的方法。该方法允许生成单个透明图像或多个透明图层。它学习了一种 “潜在透明度”,将 Alpha 通道透明度编码到预训练潜在扩散模型的潜在空间中。通过将添加的透明度调节为潜在偏移,最小程度地改变预训练模型的原始潜在分布,以保留大型扩散模型的生产就绪质量。通过调整潜在空间对其进行微调,可以将任何潜在扩散模型转换为透明图像生成器。我们使用人机协作收集的 100 万个透明图像层对对模型进行训练。我们展示了潜在透明度可以应用于不同的开源图像生成器,或者适应于各种条件控制系统,实现前景 / 背景条件图层生成,联合图层生成,图层内容结构控制等应用。用户研究发现,在大多数情况下(97%),用户更喜欢我们本地生成的透明内容,而不是之前的临时解决方案,比如生成然后抠图。用户还报告说,我们生成的透明图像的质量与 Adobe Stock 等真实商业透明资产相媲美。
© 2024 AIbase 备案号:闽ICP备08105208号-14