产品库

通过扩散模型实现单目视频的相机轨迹重定向。

TrajectoryCrafter 是一种先进的相机轨迹重定向工具，利用扩散模型技术，将单目视频中的相机运动重新设计，提升视频的表现力和视觉吸引力。该技术可广泛应用于影视制作和虚拟现实等领域，具备高效、便捷和创新的特点，旨在为用户提供更多创意自由和控制能力。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

视频运动编辑的轻量级得分引导扩散模型

MotionFollower是一个轻量级的得分引导扩散模型，用于视频运动编辑。它通过两个轻量级信号控制器，分别对姿势和外观进行控制，不涉及繁重的注意力计算。该模型设计了基于双分支架构的得分引导原则，包括重建和编辑分支，显著增强了对纹理细节和复杂背景的建模能力。实验表明，MotionFollower在GPU内存使用上比最先进的运动编辑模型MotionEditor减少了约80%，同时提供了更优越的运动编辑性能，并独家支持大范围的摄像机运动和动作。

基于扩散模型实现的图片编辑方案

DragonDiffusion 是一种基于扩散模型的精细化图片编辑方案，支持对象移动、对象调整大小、对象外观替换和内容拖拽等多种编辑模式。通过特征对应损失将编辑信号转化为梯度，修改扩散模型的中间表示。特征对应损失考虑了语义和几何对齐的多个尺度，并添加了跨分支自注意力机制以保持原始图像和编辑结果的一致性。

视频生成的时空扩散模型

Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时间超分辨率处理，这种方法本质上使得全局时间一致性难以实现。通过部署空间和（重要的是）时间的下采样和上采样，并利用预训练的文本到图像扩散模型，我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果，并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用，包括图像到视频、视频修补和风格化生成。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

大规模视频生成扩散模型

Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。

视频生成的轨迹导向扩散变换器

Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

利用预训练的图像到视频扩散模型生成连贯中间帧

该产品是一个图像到视频的扩散模型，通过轻量级的微调技术，能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景，如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力，通过微调使其能够预测两个关键帧之间的视频，从而实现前向和后向的一致性。

开源框架，加速大型视频扩散模型

FastVideo是一个开源框架，旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型，实现了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首个开放的视频DiT蒸馏配方，支持对最先进的开放视频DiT模型进行蒸馏、微调和推理，包括Mochi和Hunyuan。此外，FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练，以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中，技术高度实验性，未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

用于理解任意视频中的相机运动的工具。

CameraBench 是一个用于分析视频中相机运动的模型，旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较，该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源，适合研究人员和开发者使用，且后续将推出更多改进版本。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

SeedVR: 一种用于通用视频修复的扩散变换器模型

SeedVR 是一种创新的扩散变换器模型，专门用于处理真实世界中的视频修复任务。该模型通过其独特的移位窗口注意力机制，能够高效地处理任意长度和分辨率的视频序列。SeedVR 的设计使其在生成能力和采样效率方面都取得了显著的提升，相较于传统的扩散模型，它在合成和真实世界的基准测试中均表现出色。此外，SeedVR 还结合了因果视频自编码器、混合图像和视频训练以及渐进式训练等现代实践，进一步提高了其在视频修复领域的竞争力。作为一种前沿的视频修复技术，SeedVR 为视频内容创作者和后期制作人员提供了一种强大的工具，能够显著提升视频质量，尤其是在处理低质量或损坏的视频素材时。

AI相机应用

NeuralCam是一款智能相机应用，利用AI图像处理技术提供出色的相机功能。它能够在夜间拍摄高质量照片，具有AI增强的摄像功能，还能实时处理图像。

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

高清视频逆问题求解器，使用潜在扩散模型

VISION XL是一个利用潜在扩散模型解决高清视频逆问题的框架。它通过伪批量一致性采样策略和批量一致性反演方法，优化了视频处理的效率和时间，支持多种比例和高分辨率重建。该技术的主要优点包括支持多比例和高分辨率重建、内存和采样时间效率、使用开源潜在扩散模型SDXL。它通过集成SDXL，在各种时空逆问题上实现了最先进的视频重建，包括复杂的帧平均和各种空间退化的组合，如去模糊、超分辨率和修复。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

基于感知损失的扩散模型

该论文介绍了一种基于感知损失的扩散模型，通过将感知损失直接纳入扩散训练中来提高样本质量。对于有条件生成，该方法仅改善样本质量而不会影响条件输入，因此不会牺牲样本多样性。对于无条件生成，这种方法也能提高样本质量。论文详细介绍了方法的原理和实验结果。

On-device Sora 是一个基于扩散模型的移动设备端文本到视频生成项目。

On-device Sora 是一个开源项目，旨在通过线性比例跳跃（LPL）、时间维度标记合并（TDTM）和动态加载并发推理（CI-DL）等技术，实现在移动设备（如 iPhone 15 Pro）上高效的视频生成。该项目基于 Open-Sora 模型开发，能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景，如短视频创作、广告制作等。项目目前开源，用户可以免费使用。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

控制视频生成模型

传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径，从而将他们的想象变为现实。然而，创建计算机生成的视频是一个繁琐的手动过程，可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔，视频扩散模型难以控制，限制了用户应用自己的创造力，而不是放大它。为了解决这一挑战，我们提出了一种新颖的方法，将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此，我们的方法以动画化的低保真度渲染网格作为输入，并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段，以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法，其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。