产品库

基于扩散模型的2D虚拟形象生成框架

Make-Your-Anchor是一个基于扩散模型的2D虚拟形象生成框架。它只需一段1分钟左右的视频素材就可以自动生成具有精确上身和手部动作的主播风格视频。该系统采用了一种结构引导的扩散模型来将3D网格状态渲染成人物外观。通过两阶段训练策略,有效地将运动与特定外观相绑定。为了生成任意长度的时序视频,将frame-wise扩散模型的2D U-Net扩展到3D形式,并提出简单有效的批重叠时序去噪模块,从而突破推理时的视频长度限制。最后,引入了一种基于特定身份的面部增强模块,提高输出视频中面部区域的视觉质量。实验表明,该系统在视觉质量、时序一致性和身份保真度方面均优于现有技术。

大规模视频生成扩散模型

Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

视频生成模型,支持无限长度高保真虚拟人视频生成

MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。

在线创建AI虚拟形象视频，实时互动。

HeyGen Interactive Avatar是一个在线AI视频生成器，专注于创建和优化虚拟形象视频，支持实时互动。它允许用户创建一个为连续流媒体优化的虚拟形象，同时提醒用户保持头部和手部的最小动作。HeyGen的背景信息包括与Baron David和Ryan Hoover等知名人士的合作，产品目前处于Beta测试阶段，提供免费试用。

视频生成的时空扩散模型

Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时间超分辨率处理，这种方法本质上使得全局时间一致性难以实现。通过部署空间和（重要的是）时间的下采样和上采样，并利用预训练的文本到图像扩散模型，我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果，并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用，包括图像到视频、视频修补和风格化生成。

控制视频生成模型

传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径，从而将他们的想象变为现实。然而，创建计算机生成的视频是一个繁琐的手动过程，可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔，视频扩散模型难以控制，限制了用户应用自己的创造力，而不是放大它。为了解决这一挑战，我们提出了一种新颖的方法，将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此，我们的方法以动画化的低保真度渲染网格作为输入，并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段，以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法，其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。

基于 AI 技术生成视频内容的智能服务。

清影 AI 视频生成服务是一个创新的人工智能平台，旨在通过智能算法生成高质量的视频内容。该服务适合各种行业用户，能够快速便捷地生成富有创意的视觉内容。无论是商业广告、教育课程还是娱乐视频，清影 AI 都能提供优质的解决方案。该产品依托于先进的 GLM 大模型，确保生成内容的准确性与丰富性，同时满足用户个性化需求。提供免费试用，鼓励用户探索 AI 视频创作的无限可能。

创新的AI视频生成器，快速实现创意视频。

Luma AI的Dream Machine是一款AI视频生成器，它利用先进的AI技术，将用户的想法转化为高质量、逼真的视频。它支持从文字描述或图片开始生成视频，具有高度的可扩展性、快速生成能力和实时访问功能。产品界面用户友好，适合专业人士和创意爱好者使用。Luma AI的Dream Machine不断更新，以保持技术领先，为用户提供持续改进的视频生成体验。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

Freepik AI 视频生成器，基于人工智能技术快速生成高质量视频内容。

Freepik AI 视频生成器是一款基于人工智能技术的在线工具，能够根据用户输入的初始图像或描述快速生成视频。该技术利用先进的 AI 算法，实现视频内容的自动化生成，极大地提高了视频创作的效率。产品定位为创意设计人员和视频制作者提供快速、高效的视频生成解决方案，帮助用户节省时间和精力。目前该工具处于 Beta 测试阶段，用户可以免费试用其功能。

利用AI技术快速生成视频内容

AI视频生成神器是一款利用人工智能技术，将图片或文字转换成视频内容的在线工具。它通过深度学习算法，能够理解图片和文字的含义，自动生成具有吸引力的视频内容。这种技术的应用，极大地降低了视频制作的成本和门槛，使得普通用户也能轻松制作出专业级别的视频。产品背景信息显示，随着社交媒体和视频平台的兴起，用户对视频内容的需求日益增长，而传统的视频制作方式成本高、耗时长，难以满足快速变化的市场需求。AI视频生成神器的出现，正好填补了这一市场空白，为用户提供了一种快速、低成本的视频制作解决方案。目前，该产品提供免费试用，具体价格需要在网站上查询。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

通过AI技术创建虚拟形象，快速生成视频内容。

Gan.AI Avatar利用先进的AI技术，允许用户通过简单的脚本输入快速生成个性化的视频内容。其核心功能是将文本转换为具有逼真表情和语音的虚拟形象视频，极大地提高了内容创作的效率和灵活性。该产品适用于多种商业场景，如房地产、医疗保健、消费品牌等，能够帮助企业提高客户参与度和转化率。Gan.AI提供免费试用，同时也有不同级别的付费计划以满足不同用户的需求。

On-device Sora 是一个基于扩散模型的移动设备端文本到视频生成项目。

On-device Sora 是一个开源项目，旨在通过线性比例跳跃（LPL）、时间维度标记合并（TDTM）和动态加载并发推理（CI-DL）等技术，实现在移动设备（如 iPhone 15 Pro）上高效的视频生成。该项目基于 Open-Sora 模型开发，能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景，如短视频创作、广告制作等。项目目前开源，用户可以免费使用。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

开源视频生成模型

Mochi 1 是 Genmo 公司推出的一款研究预览版本的开源视频生成模型，它致力于解决当前AI视频领域的基本问题。该模型以其无与伦比的运动质量、卓越的提示遵循能力和跨越恐怖谷的能力而著称，能够生成连贯、流畅的人类动作和表情。Mochi 1 的开发背景是响应对高质量视频内容生成的需求，特别是在游戏、电影和娱乐行业中。产品目前提供免费试用，具体定价信息未在页面中提供。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

AI人物形象视频生成

Spiritme是一款能够根据输入的文本生成具有真实外貌、声音和情感的视频的工具。它具有更高的逼真度和用户体验，比其他竞争产品更出色。Spiritme帮助您以AI人物形象与客户进行互动，使您能够更便捷地创建个人化视频内容，节省时间并提高效率。它是数字明星或博主的完美助手，能够为他们的在线形象提供更多内容，并解决人类因素所带来的问题。它还可用于提升沟通效果，吸引观众的注意力，并用于个性化视频广告、邮件列表和聊天机器人等场景。Spiritme的优势在于简单、透明的定价，您始终清楚自己要支付的费用。它可以在任何时间、任何场合为您快速、廉价地生成视频内容。

利用AI技术，将文字和图像转化为创意视频。

通义万相AI创意作画是一款利用人工智能技术，将用户的文字描述或图像转化为视频内容的产品。它通过先进的AI算法，能够理解用户的创意意图，自动生成具有艺术感的视频。该产品不仅能够提升内容创作的效率，还能激发用户的创造力，适用于广告、教育、娱乐等多个领域。

使用简单的提示和图像生成视频片段。

Adobe Firefly 是一款基于人工智能技术的视频生成工具。它能够根据用户提供的简单提示或图像快速生成高质量的视频片段。该技术利用先进的 AI 算法，通过对大量视频数据的学习和分析，实现自动化的视频创作。其主要优点包括操作简单、生成速度快、视频质量高。Adobe Firefly 面向创意工作者、视频制作者以及需要快速生成视频内容的用户，提供高效、便捷的视频创作解决方案。目前该产品处于 Beta 测试阶段，用户可以免费使用，未来可能会根据市场需求和产品发展进行定价和定位。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

在线视频制作平台，提供AI虚拟形象和视频制作服务。

Yepic Studio是一个在线视频制作平台，它通过使用人工智能技术，允许用户创建和编辑视频内容，包括制作会说话的照片视频、专业视频以及AI虚拟形象。该平台的主要优点在于能够快速生成高质量的视频内容，同时提供个性化的AI虚拟形象，满足不同商业需求。产品背景信息显示，Yepic Studio旨在为内容创作者和企业提供一个简单易用的在线视频制作工具，以提高内容生产的效率和质量。关于价格，页面显示用户为'Guest'且'Credits'为0，暗示可能有免费试用或基础免费服务，具体定价需进一步查看。

AI驱动的文本到视频生成

Emu Video是一种基于扩散模型的简单文本到视频生成方法，将生成过程分解为两个步骤：首先根据文本提示生成图像，然后根据提示和生成的图像生成视频。分解生成方式能够高效训练高质量的视频生成模型。与以往的方法相比，我们的方法只需使用两个扩散模型即可生成分辨率为512像素、播放速度为每秒16帧、时长为4秒的视频。

视频生成的轨迹导向扩散变换器

Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。