大规模参数扩散变换器模型
DiT-MoE是一个使用PyTorch实现的扩散变换器模型,能够扩展到160亿参数,与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术,具有重要的研究和应用价值。
使用扩散模型实现时间一致性的人像动画
TCAN是一种基于扩散模型的新型人像动画框架,它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块,如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图,来确保生成的视频既保持源图像的外观,又遵循驱动视频的姿态,同时保持背景的一致性。
高保真3D头像生成模型
RodinHD是一个基于扩散模型的高保真3D头像生成技术,由Bowen Zhang、Yiji Cheng等研究者开发,旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足,通过新颖的数据调度策略和权重整合正则化项,提高了解码器渲染锐利细节的能力。此外,通过多尺度特征表示和交叉注意力机制,优化了肖像图像的引导效果,生成的3D头像在细节上显著优于以往方法,并且能够泛化到野外肖像输入。
异步去噪并行化扩散模型
AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案,它通过将噪声预测模型分割成多个组件并分配到不同的设备上,实现了模型的并行处理。这种方法显著减少了推理延迟,同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型,包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。
快速生成高质量图像的扩散模型
Flash Diffusion 是一种高效的图像生成模型,通过少步骤生成高质量的图像,适用于多种图像处理任务,如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能,同时训练时间少,参数数量少。
高效生成一致性人物视频动画的模型
UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间,以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列,支持随机噪声输入和首帧条件输入,显著提高了生成长期视频的能力。此外,它还探索了基于状态空间模型的替代时间建模架构,以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果,并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。
视频编辑中的手-物交互意识
HOI-Swap是一个基于扩散模型的视频编辑框架,专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练,能够在单帧中实现物体交换,并学习根据物体属性变化调整手的交互模式,如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列,通过运动对齐和视频生成,实现高质量的视频编辑。
基于扩散模型的肖像图像动画技术
Hallo是一个由复旦大学开发的肖像图像动画技术,它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同,Hallo采用端到端的扩散范式,并引入了一个分层的音频驱动视觉合成模块,以增强音频输入和视觉输出之间的对齐精度,包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制,能够更有效地实现个性化定制,适用于不同身份的人。
提升3D内容创造的合成数据框架
Bootstrap3D是一个用于改善3D内容创造的框架,通过合成数据生成技术,解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型,基于文本提示生成多视角图像,并使用3D感知的MV-LLaVA模型筛选高质量数据,重写不准确的标题。该框架已生成了100万张高质量合成多视角图像,具有密集的描述性标题,以解决高质量3D数据的短缺问题。此外,它还提出了一种训练时间步重排(TTR)策略,利用去噪过程学习多视角一致性,同时保持原始的2D扩散先验。
高分辨率多视角扩散模型,使用高效行注意力机制。
Era3D是一个开源的高分辨率多视角扩散模型,它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像,支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性,因为它提供了一种新的方法来生成逼真的三维图像。
视频虚拟试穿技术
ViViD是一个利用扩散模型进行视频虚拟试穿的新框架。它通过设计服装编码器提取精细的服装语义特征,并引入轻量级姿态编码器以确保时空一致性,生成逼真的视频试穿效果。ViViD收集了迄今为止规模最大、服装类型最多样化、分辨率最高的视频虚拟试穿数据集。
一种基于图像到视频扩散模型的视频编辑技术
I2VEdit是一种创新的视频编辑技术,通过预训练的图像到视频模型,将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性,并有效处理全局编辑、局部编辑以及适度的形状变化,这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程:粗略运动提取和外观细化,通过粗粒度注意力匹配进行精确调整。此外,还引入了跳过间隔策略,以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明,I2VEdit在细粒度视频编辑方面的优越性能,证明了其能够产生高质量、时间一致的输出。
实时视频到视频翻译的扩散模型
StreamV2V是一个扩散模型,它通过用户提示实现了实时的视频到视频(V2V)翻译。与传统的批处理方法不同,StreamV2V采用流式处理方式,能够处理无限帧的视频。它的核心是维护一个特征库,该库存储了过去帧的信息。对于新进来的帧,StreamV2V通过扩展自注意力和直接特征融合技术,将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新,保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出,无需微调即可与图像扩散模型无缝集成。
基于扩散模型的文本到音频生成技术
Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术,由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本,优化了语义对齐和时间一致性,提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器,以改善变长音频生成的性能,并增强时间信息的提取。此外,通过使用LLMs将大量音频标签数据转换为音频文本数据集,解决了时间数据稀缺的问题。
一款基于扩散模型的服装试穿技术
TryOnDiffusion是一种创新的图像合成技术,它通过两个UNets(Parallel-UNet)的结合,实现了在单一网络中同时保持服装细节和适应显著的身体姿势及形状变化。这项技术在保持服装细节的同时,能够适应不同的身体姿势和形状,解决了以往方法在细节保持和姿势适应上的不足,达到了业界领先的性能。
扩散世界模型中训练的强化学习代理
DIAMOND(DIffusion As a Model Of eNvironment Dreams)是一个在扩散世界模型中训练的强化学习代理,用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练,可以快速安装并尝试预先训练的世界模型。
基于文本的视频编辑技术,使用时空切片。
Slicedit是一种零样本视频编辑技术,它利用文本到图像的扩散模型,并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动,同时符合目标文本描述。通过广泛的实验,证明了Slicedit在编辑真实世界视频方面具有明显优势。
从多视角图像创建3D场景
CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道,将生成的视图转化为可交互渲染的3D表示。整个处理时间(包括视图生成和3D重建)仅需一分钟。
© 2024 AIbase 备案号:闽ICP备08105208号-14