全能的创造者和编辑器,通过扩散变换遵循指令
ACE是一个基于扩散变换的全能创造者和编辑器,它能够通过统一的条件格式Long-context Condition Unit (LCU)输入,实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题,并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势,可以轻松构建响应任何图像创建请求的聊天系统,避免了视觉代理通常采用的繁琐流程。
逆向绘画技术,重现绘画过程
Inverse Painting 是一种基于扩散模型的方法,能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程,能够处理多种艺术风格,并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解,定义了一组绘画指令,并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格,还能为广泛的艺术风格和流派提供合理的结果。
集成空间编织注意力,提升扩散模型的高保真条件
HelloMeme是一个集成了空间编织注意力的扩散模型,旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征,并将其作为输入到HMControlModule,从而生成视频。通过进一步优化Animatediff模块,提高了生成视频的连续性和保真度。此外,HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情,以及基于SD1.5的Lora或Checkpoint,实现了框架的热插拔适配器,不会影响T2I模型的泛化能力。
使用扩散模型进行图像外延
Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术,它能够根据已有的图像内容,生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法,使得图像生成更加自然和逼真,为用户提供了一种创新的图像处理方式。
提升基于拖拽的图像编辑的交互性和速度
InstantDrag是一个优化自由的流程,它通过仅使用图像和拖拽指令作为输入,增强了交互性和速度。该技术由两个精心设计的网络组成:拖拽条件的光流生成器(FlowGen)和光流条件的扩散模型(FlowDiffusion)。InstantDrag通过将任务分解为运动生成和运动条件图像生成,学习了基于真实世界视频数据集的拖拽图像编辑的运动动态。它能够在不需要掩码或文本提示的情况下,快速执行逼真的编辑,这使得它成为交互式、实时应用的有前景的解决方案。
统一的图像生成框架,简化多任务图像生成。
OmniGen是一个创新的扩散框架,它将多种图像生成任务统一到单一模型中,无需特定任务的网络或微调。这一技术简化了图像生成流程,提高了效率,降低了开发和维护成本。
用于精确控制扩散模型中概念的低秩适配器
Concept Sliders 是一种用于精确控制扩散模型中概念的技术,它通过低秩适配器(LoRA)在预训练模型之上进行应用,允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下,对生成的图像进行细微调整,如眼睛大小、光线等,从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式,同时解决了生成模糊或扭曲图像的问题。
利用预训练的图像到视频扩散模型生成连贯中间帧
该产品是一个图像到视频的扩散模型,通过轻量级的微调技术,能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景,如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力,通过微调使其能够预测两个关键帧之间的视频,从而实现前向和后向的一致性。
高分辨率视频外延与内容生成技术
Follow-Your-Canvas 是一种基于扩散模型的视频外延技术,它能够生成高分辨率的视频内容。该技术通过分布式处理和空间窗口合并,解决了GPU内存限制问题,同时保持了视频的空间和时间一致性。它在大规模视频外延方面表现出色,能够将视频分辨率显著提升,如从512 X 512扩展到1152 X 2048,同时生成高质量和视觉上令人愉悦的结果。
利用扩散引导逆渲染技术实现逼真物体插入
DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法,它通过从单张图片中恢复场景照明,使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射,还能自动调整以适应不同的环境,提高图像的真实感。
神经模型驱动的实时游戏引擎
GameNGen是一个完全由神经模型驱动的游戏引擎,能够实现与复杂环境的实时互动,并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》,并且其下一帧预测的PSNR达到29.4,与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练:(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果,成为生成模型的训练数据;(2)一个扩散模型被训练来预测下一帧,条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。
高效训练高质量文本到图像扩散模型
ml-mdm是一个Python包,用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术,能够在1024x1024像素的分辨率上训练单一像素空间模型,展现出强大的零样本泛化能力。
3D纹理生成技术,根据文本描述合成3D纹理
TexGen是一个创新的多视角采样和重采样框架,用于根据任意文本描述合成3D纹理。它利用预训练的文本到图像的扩散模型,通过一致性视图采样和注意力引导的多视角采样策略,以及噪声重采样技术,显著提高了3D对象的纹理质量,具有高度的视角一致性和丰富的外观细节。
一款简单高效的虚拟试穿扩散模型。
CatVTON是一款基于扩散模型的虚拟试穿技术,具有轻量级网络(总共899.06M参数)、参数高效训练(49.57M可训练参数)和简化推理(1024X768分辨率下<8G VRAM)。它通过简化的网络结构和推理过程,实现了快速且高效的虚拟试穿效果,特别适合时尚行业和个性化推荐场景。
大规模参数扩散变换器模型
DiT-MoE是一个使用PyTorch实现的扩散变换器模型,能够扩展到160亿参数,与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术,具有重要的研究和应用价值。
使用扩散模型实现时间一致性的人像动画
TCAN是一种基于扩散模型的新型人像动画框架,它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块,如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图,来确保生成的视频既保持源图像的外观,又遵循驱动视频的姿态,同时保持背景的一致性。
高保真3D头像生成模型
RodinHD是一个基于扩散模型的高保真3D头像生成技术,由Bowen Zhang、Yiji Cheng等研究者开发,旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足,通过新颖的数据调度策略和权重整合正则化项,提高了解码器渲染锐利细节的能力。此外,通过多尺度特征表示和交叉注意力机制,优化了肖像图像的引导效果,生成的3D头像在细节上显著优于以往方法,并且能够泛化到野外肖像输入。
异步去噪并行化扩散模型
AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案,它通过将噪声预测模型分割成多个组件并分配到不同的设备上,实现了模型的并行处理。这种方法显著减少了推理延迟,同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型,包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。
© 2024 AIbase 备案号:闽ICP备08105208号-14