根据人类指令修复和编辑照片的框架
PromptFix是一个综合框架,能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集,提出了高频引导采样方法来控制去噪过程,并设计了辅助提示适配器,利用视觉语言模型增强文本提示,提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法,并在盲恢复和组合任务中展现出优越的零样本能力。
AI视频生成器,从文本提示生成高质量视频
Mochi 1是一个由Genmo开发的前沿开源AI视频生成器,它允许创作者使用文本和图像提示生成高质量、逼真的视频。Mochi 1以其卓越的提示遵循能力和流畅的运动效果,使AI视频生成对每个人都变得容易。它旨在与行业其他模型竞争,为创作者提供更多的控制和更好的视觉成果。
高分辨率、长时音频驱动的人像图像动画技术
Hallo2是一种基于潜在扩散生成模型的人像图像动画技术,通过音频驱动生成高分辨率、长时的视频。它通过引入多项设计改进,扩展了Hallo的功能,包括生成长时视频、4K分辨率视频,并增加了通过文本提示增强表情控制的能力。Hallo2的主要优点包括高分辨率输出、长时间的稳定性以及通过文本提示增强的控制性,这使得它在生成丰富多样的肖像动画内容方面具有显著优势。
准确的3D编辑器,支持文本和图像提示
TIP-Editor是一款准确的3D编辑器,支持文本和图像提示,用户可以通过文本和图像提示以及3D边界框来精确控制编辑区域的外观和位置。采用逐步的2D个性化策略来更好地学习现有场景和参考图像的表示,通过本地编辑来实现精确的外观控制。TIPEditor利用明确灵活的3D高斯飞溅作为3D表示,以便在保持背景不变的同时进行局部编辑。经过大量实验证明,TIP-Editor在指定边界框区域内根据文本和图像提示进行准确编辑,编辑质量和与提示的对齐性在定性和定量上均优于基线。
基于图像扩散模型的得分蒸馏采样方法
Score Distillation Sampling(SDS)是一种新近但已经广泛流行的方法,依赖于图像扩散模型来控制使用文本提示的优化问题。该论文对SDS损失函数进行了深入分析,确定了其制定中的固有问题,并提出了一个出人意料但有效的修复方法。具体而言,我们将损失分解为不同因素,并分离出产生噪声梯度的组件。在原始制定中,使用高文本指导来账户噪声,导致了不良副作用。相反,我们训练了一个浅层网络,模拟图像扩散模型的时间步相关去噪不足,以有效地将其分解出来。我们通过多个定性和定量实验(包括基于优化的图像合成和编辑、零样本图像转换网络训练、以及文本到3D合成)展示了我们新颖损失制定的多功能性和有效性。
© 2024 AIbase 备案号:闽ICP备08105208号-14