产品库

ActAnywhere是一个主体感知视频背景生成模型。

ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景,同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量,并专门定制用于此任务。ActAnywhere以一系列前景主体分割作为输入,以描述所需场景的图像作为条件,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。该模型在大规模人机交互视频数据集上进行训练。大量评估表明该模型的性能明显优于基准,可以泛化到各种分布样本,包括非人类主体。

从手机拍摄的平移视频中生成全景视频

VidPanos 是一个创新的视频处理技术，它能够将用户随意拍摄的平移视频转换成全景视频。这项技术通过空间时间外推的方式，生成与原视频长度相同的全景视频。VidPanos 利用生成视频模型，解决了在移动物体存在时，静态全景图无法捕捉场景动态的问题。它能够处理包括人、车辆、流水以及静态背景在内的各种野外场景，展现出强大的实用性和创新性。

统一可控的视频生成方法

AnimateAnything是一个统一的可控视频生成方法，它支持在不同条件下进行精确和一致的视频操作，包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示，并将所有控制信息转换为逐帧光流，以此作为运动先导来指导视频生成。此外，为了减少大规模运动引起的闪烁问题，提出了基于频率的稳定模块，以确保视频在频域的一致性，增强时间连贯性。实验表明，AnimateAnything的方法优于现有的最先进方法。

高效分离图像前景与背景的模型

RMBG-2.0是由BRIA AI开发的背景移除模型，旨在有效分离图像中的前景和背景。该模型在包括通用库存图像、电子商务、游戏和广告内容的精选数据集上进行了训练，适合商业用例，能够大规模驱动企业内容创作。其准确性、效率和多功能性可与领先的开源模型相媲美。RMBG-2.0是作为源代码可用的模型，用于非商业用途。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

开源视频生成模型，支持10秒视频和更高分辨率。

CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型，是CogVideoX模型的升级版。该模型支持生成10秒视频，并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块，能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持，为视频内容创作者提供了一个强大的工具，尤其在教育、娱乐和商业领域有着广泛的应用前景。

用户视频的生成性视频摄像机控制

ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频，并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频，然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验，将近似的视频重新生成为时间上一致且美观的视频。

基于GIMM-VFI的ComfyUI帧插值工具

ComfyUI-GIMM-VFI是一个基于GIMM-VFI算法的帧插值工具，使用户能够在图像和视频处理中实现高质量的帧插值效果。该技术通过在连续帧之间插入新的帧来提高视频的帧率，从而使得动作看起来更加流畅。这对于视频游戏、电影后期制作和其他需要高帧率视频的应用场景尤为重要。产品背景信息显示，它是基于Python开发的，并且依赖于CuPy库，特别适用于需要进行高性能计算的场景。

高度表现力的肖像动画技术

字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术，它通过用户提供的静态肖像图像和驱动表演视频，能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型，隐式编码输入中的每一个微小表情，并通过大规模数据集进行训练。然后，该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情，包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情，并在生成的视频中实现高保真的情感传递。

ComfyUI中集成的最新视频生成模型

Mochi是Genmo最新推出的开源视频生成模型，它在ComfyUI中经过优化，即使使用消费级GPU也能实现。Mochi以其高保真度动作和卓越的提示遵循性而著称，为ComfyUI社区带来了最先进的视频生成能力。Mochi模型在Apache 2.0许可下发布，这意味着开发者和创作者可以自由使用、修改和集成Mochi，而不受限制性许可的阻碍。Mochi能够在消费级GPU上运行，如4090，且在ComfyUI中支持多种注意力后端，使其能够适应小于24GB的VRAM。

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样事件，实现了高质量、开放领域的视频生成。此外，它还提供了交互控制能力，能够根据当前视频片段预测和改变未来内容，从而实现游戏玩法模拟。为了实现这一愿景，我们首先从零开始收集并构建了一个开放世界视频游戏数据集（OGameData），这是第一个也是最大的开放世界游戏视频生成和控制数据集，包含超过150款游戏的100多万个多样化游戏视频片段，这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程，包括基础模型预训练和指令调优。首先，模型通过文本到视频生成和视频续集进行预训练，赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步，为了实现交互控制能力，我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示，首次在视频生成中统一角色交互和场景内容控制。在指令调优期间，只有InstructNet被更新，而预训练的基础模型被冻结，使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力，有效地将创造性生成与交互能力结合起来。

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。

首款实时生成式AI开放世界模型

Decart是一个高效的AI平台，提供了在训练和推理大型生成模型方面的数量级改进。利用这些先进的能力，Decart能够训练基础的生成交互模型，并使每个人都能在实时中访问。Decart的OASIS模型是一个实时生成的AI开放世界模型，代表了实时视频生成的未来。该平台还提供了对1000+ NVIDIA H100 Tensor Core GPU集群进行训练或推理的能力，为AI视频生成领域带来了突破性进展。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

Mochi视频生成器的ComfyUI包装节点

ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点，它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容，并且通过ComfyUI简化了操作流程。它是基于Python开发的，并且完全开源，允许开发者自由地使用和修改。目前该项目还处于积极开发中，已经有一些基本功能，但还没有正式发布版本。

Genmo 的视频生成模型，具有高保真运动和强提示遵循性。

这是一个先进的视频生成模型，采用 AsymmDiT 架构，可免费试用。它能生成高保真视频，缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

高精度视频唇形同步技术

Wav2Lip 是一个开源项目，旨在通过深度学习技术实现视频中人物的唇形与任意目标语音高度同步。该项目提供了完整的训练代码、推理代码和预训练模型，支持任何身份、声音和语言，包括CGI面孔和合成声音。Wav2Lip 背后的技术基于论文 'A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild'，该论文在ACM Multimedia 2020上发表。项目还提供了一个交互式演示和Google Colab笔记本，方便用户快速开始使用。此外，项目还提供了一些新的、可靠的评估基准和指标，以及如何在论文中计算这些指标的说明。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

视频眼神校正API，让视频中的眼神看起来始终注视着摄像头。

Sieve Eye Contact Correction API 是一个为开发者设计的快速且高质量的视频眼神校正API。该技术通过重定向眼神，确保视频中的人物即使没有直接看向摄像头，也能模拟出与摄像头进行眼神交流的效果。它支持多种自定义选项来微调眼神重定向，保留了原始的眨眼和头部动作，并通过随机的“看向别处”功能来避免眼神呆板。此外，还提供了分屏视图和可视化选项，以便于调试和分析。该API主要面向视频制作者、在线教育提供者和任何需要提升视频交流质量的用户。定价为每分钟视频0.10美元。

视频背景移除工具，一键去除视频背景。

Video Background Removal 是一个由 innova-ai 提供的 Hugging Face Space，专注于视频背景移除技术。该技术通过深度学习模型，能够自动识别并分离视频中的前景和背景，实现一键去除视频背景的功能。这项技术在视频制作、在线教育、远程会议等多个领域都有广泛的应用，尤其在需要抠图或更换视频背景的场景下，提供了极大的便利。产品背景信息显示，该技术是基于开源社区 Hugging Face 的 Spaces 平台开发的，继承了开源、共享的技术理念。目前，产品提供免费试用，具体价格信息需进一步查询。

高效视频生成建模的金字塔流匹配技术

Pyramid Flow 是一种高效的视频生成建模技术，它基于流匹配方法，通过自回归视频生成模型来实现。该技术主要优点是训练效率高，能够在开源数据集上以较低的GPU小时数进行训练，生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发，并且已经在多个平台上发布了相关的论文、代码和模型。

利用AI技术生成逼真的拥抱视频，让回忆温暖呈现。

AI Hug Video Generator是一个在线平台，使用先进的机器学习技术将静态照片转换成动态、逼真的拥抱视频。用户可以根据自己的珍贵照片创建个性化、充满情感的视频。该技术通过分析真实人类互动来创建真实感的数字拥抱，包括微妙的手势和情感。平台提供了用户友好的界面，无论是技术爱好者还是视频制作新手，都能轻松制作AI拥抱视频。此外，生成的视频是高清的，适合在任何平台上分享，确保在每个屏幕上都能呈现出色的效果。

重新定义视频创作

Hailuo AI Video Generator 是一款利用人工智能技术，根据文本提示自动生成视频内容的工具。它通过深度学习算法，将用户的文字描述转化为视觉图像，极大地简化了视频制作流程，提高了创作效率。该产品适用于需要快速生成视频内容的个人和企业，特别是在广告、社交媒体内容制作和电影预览等领域。

使用文本生成定制视频和声音

Meta Movie Gen 是一个先进的媒体基础AI模型，它允许用户通过简单的文本输入来生成定制的视频和声音，编辑现有视频或将个人图像转换成独特的视频。这项技术代表了AI在内容创造方面的最新突破，为内容创作者提供了前所未有的创作自由度和效率。

数字人模型，支持生成普通话视频

JoyHallo是一个数字人模型，专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频，创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格，包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入，并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系，提高了信息利用效率，并加快了推理速度14.3%。此外，JoyHallo在生成英语视频方面也表现出色，展现了卓越的跨语言生成能力。

下一代多模态智能模型

Emu3是一套最新的多模态模型，仅通过下一个token预测进行训练，能够处理图像、文本和视频。它在生成和感知任务上超越了多个特定任务的旗舰模型，并且不需要扩散或组合架构。Emu3通过将多模态序列统一到一个单一的transformer模型中，简化了复杂的多模态模型设计，展示了在训练和推理过程中扩展的巨大潜力。

集成空间编织注意力，提升扩散模型的高保真条件

HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。

为ComfyUI提供Luma AI API的自定义节点。

ComfyUI-LumaAI-API是一个为ComfyUI设计的插件，它允许用户直接在ComfyUI中使用Luma AI API。Luma AI API基于Dream Machine视频生成模型，由Luma开发。该插件通过提供多种节点，如文本到视频、图像到视频、视频预览等，极大地丰富了视频生成的可能性，为视频创作者和开发者提供了便捷的工具。