产品库

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

一款基于扩散模型的服装试穿技术

TryOnDiffusion是一种创新的图像合成技术，它通过两个UNets（Parallel-UNet）的结合，实现了在单一网络中同时保持服装细节和适应显著的身体姿势及形状变化。这项技术在保持服装细节的同时，能够适应不同的身体姿势和形状，解决了以往方法在细节保持和姿势适应上的不足，达到了业界领先的性能。

用于精确控制扩散模型中概念的低秩适配器

Concept Sliders 是一种用于精确控制扩散模型中概念的技术，它通过低秩适配器（LoRA）在预训练模型之上进行应用，允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下，对生成的图像进行细微调整，如眼睛大小、光线等，从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式，同时解决了生成模糊或扭曲图像的问题。

利用预训练的图像到视频扩散模型生成连贯中间帧

该产品是一个图像到视频的扩散模型，通过轻量级的微调技术，能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景，如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力，通过微调使其能够预测两个关键帧之间的视频，从而实现前向和后向的一致性。

高分辨率视频外延与内容生成技术

Follow-Your-Canvas 是一种基于扩散模型的视频外延技术，它能够生成高分辨率的视频内容。该技术通过分布式处理和空间窗口合并，解决了GPU内存限制问题，同时保持了视频的空间和时间一致性。它在大规模视频外延方面表现出色，能够将视频分辨率显著提升，如从512 X 512扩展到1152 X 2048，同时生成高质量和视觉上令人愉悦的结果。

神经模型驱动的实时游戏引擎

GameNGen是一个完全由神经模型驱动的游戏引擎，能够实现与复杂环境的实时互动，并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》，并且其下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练：(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果，成为生成模型的训练数据；(2)一个扩散模型被训练来预测下一帧，条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

3D纹理生成技术，根据文本描述合成3D纹理

TexGen是一个创新的多视角采样和重采样框架，用于根据任意文本描述合成3D纹理。它利用预训练的文本到图像的扩散模型，通过一致性视图采样和注意力引导的多视角采样策略，以及噪声重采样技术，显著提高了3D对象的纹理质量，具有高度的视角一致性和丰富的外观细节。

一款简单高效的虚拟试穿扩散模型。

CatVTON是一款基于扩散模型的虚拟试穿技术，具有轻量级网络（总共899.06M参数）、参数高效训练（49.57M可训练参数）和简化推理（1024X768分辨率下<8G VRAM）。它通过简化的网络结构和推理过程，实现了快速且高效的虚拟试穿效果，特别适合时尚行业和个性化推荐场景。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

高保真3D头像生成模型

RodinHD是一个基于扩散模型的高保真3D头像生成技术，由Bowen Zhang、Yiji Cheng等研究者开发，旨在从单一肖像图像生成细节丰富的3D头像。该技术解决了现有方法在捕捉发型等复杂细节时的不足，通过新颖的数据调度策略和权重整合正则化项，提高了解码器渲染锐利细节的能力。此外，通过多尺度特征表示和交叉注意力机制，优化了肖像图像的引导效果，生成的3D头像在细节上显著优于以往方法，并且能够泛化到野外肖像输入。

超高清图像合成技术的新高峰

UltraPixel是一种先进的超高清图像合成技术，旨在推动图像分辨率达到新的高度。这项技术由香港科技大学（广州）、华为诺亚方舟实验室、马克斯·普朗克信息学研究所等机构共同研发。它在图像合成、文本到图像的转换、个性化定制等方面具有显著优势，能够生成高达4096x4096分辨率的图像，满足专业图像处理和视觉艺术的需求。

异步去噪并行化扩散模型

AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案，它通过将噪声预测模型分割成多个组件并分配到不同的设备上，实现了模型的并行处理。这种方法显著减少了推理延迟，同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

快速生成高质量图像的扩散模型

Flash Diffusion 是一种高效的图像生成模型，通过少步骤生成高质量的图像，适用于多种图像处理任务，如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能，同时训练时间少，参数数量少。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

提升3D内容创造的合成数据框架

Bootstrap3D是一个用于改善3D内容创造的框架，通过合成数据生成技术，解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型，基于文本提示生成多视角图像，并使用3D感知的MV-LLaVA模型筛选高质量数据，重写不准确的标题。该框架已生成了100万张高质量合成多视角图像，具有密集的描述性标题，以解决高质量3D数据的短缺问题。此外，它还提出了一种训练时间步重排(TTR)策略，利用去噪过程学习多视角一致性，同时保持原始的2D扩散先验。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

视频虚拟试穿技术

ViViD是一个利用扩散模型进行视频虚拟试穿的新框架。它通过设计服装编码器提取精细的服装语义特征，并引入轻量级姿态编码器以确保时空一致性，生成逼真的视频试穿效果。ViViD收集了迄今为止规模最大、服装类型最多样化、分辨率最高的视频虚拟试穿数据集。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

AI 创建工具，打造令人惊叹的产品照片。

Jector是一个AI创作工具，专注于为产品摄影提供高质量的背景生成服务。它通过简化AI设置，提供独立的生成环境插槽，以及基于节点的图像生成历史记录，使得用户能够轻松创建和合成产品图像。Jector的主要优点包括无需复杂设置即可开始使用，提供简单但高度灵活的生成选项，自动产品合成，以及额外的清除和放大功能。此外，它还提供无限保存和下载功能，让用户可以轻松地为产品生成自己的心情历史。

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

基于文本的视频编辑技术，使用时空切片。

Slicedit是一种零样本视频编辑技术，它利用文本到图像的扩散模型，并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动，同时符合目标文本描述。通过广泛的实验，证明了Slicedit在编辑真实世界视频方面具有明显优势。

从多视角图像创建3D场景

CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道，将生成的视图转化为可交互渲染的3D表示。整个处理时间（包括视图生成和3D重建）仅需一分钟。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

一个统一的文本到任意模态生成框架

Lumina-T2X是一个先进的文本到任意模态生成框架，它能够将文本描述转换为生动的图像、动态视频、详细的多视图3D图像和合成语音。该框架采用基于流的大型扩散变换器（Flag-DiT），支持高达7亿参数，并能扩展序列长度至128,000个标记。Lumina-T2X集成了图像、视频、3D对象的多视图和语音频谱图到一个时空潜在标记空间中，可以生成任何分辨率、宽高比和时长的输出。