产品库

通用角色图像动画框架，支持多种角色类型动画生成。

Animate-X是一个基于LDM的通用动画框架，用于各种角色类型（统称为X），包括人物拟态角色。该框架通过引入姿势指示器来增强运动表示，可以更全面地从驱动视频中捕获运动模式。Animate-X的主要优点包括对运动的深入建模，能够理解驱动视频的运动模式，并将其灵活地应用到目标角色上。此外，Animate-X还引入了一个新的Animated Anthropomorphic Benchmark (A2Bench) 来评估其在通用和广泛适用的动画图像上的性能。

Animate Anyone 2 是一款高保真角色图像动画生成工具，支持环境适配。

Animate Anyone 2 是一种基于扩散模型的角色图像动画技术，能够生成与环境高度适配的动画。它通过提取环境表示作为条件输入，解决了传统方法中角色与环境缺乏合理关联的问题。该技术的主要优点包括高保真度、环境适配性强以及动态动作处理能力出色。它适用于需要高质量动画生成的场景，如影视制作、游戏开发等领域，能够帮助创作者快速生成具有环境交互的角色动画，节省时间和成本。

X-Dyna是一种基于扩散模型的零样本人类图像动画生成技术。

X-Dyna是一种创新的零样本人类图像动画生成技术，通过将驱动视频中的面部表情和身体动作迁移到单张人类图像上，生成逼真且富有表现力的动态效果。该技术基于扩散模型，通过Dynamics-Adapter模块，将参考外观上下文有效整合到扩散模型的空间注意力中，同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制，还能通过本地控制模块捕捉与身份无关的面部表情，实现精确的表情传递。X-Dyna在多种人类和场景视频的混合数据上进行训练，能够学习物理人体运动和自然场景动态，生成高度逼真和富有表现力的动画。

一种用于控制人类图像动画的方法

DisPose是一种用于控制人类图像动画的方法，它通过运动场引导和关键点对应来提高视频生成的质量。这项技术能够从参考图像和驱动视频中生成视频，同时保持运动对齐和身份信息的一致性。DisPose通过从稀疏的运动场和参考图像生成密集的运动场，提供区域级别的密集引导，同时保持稀疏姿态控制的泛化能力。此外，它还从参考图像中提取与姿态关键点对应的扩散特征，并将这些点特征转移到目标姿态，以提供独特的身份信息。DisPose的主要优点包括无需额外的密集输入即可提取更通用和有效的控制信号，以及通过即插即用的混合ControlNet提高生成视频的质量和一致性，而无需冻结现有模型参数。

大规模基础世界模型，生成多样的3D可操作环境

Genie 2是由Google DeepMind开发的一款大规模基础世界模型，能够基于单一提示图像生成无尽的、可操作的、可玩的3D环境，用于训练和评估具身智能体。Genie 2代表了深度学习和人工智能领域的一大进步，它通过模拟虚拟世界及其行动后果，展示了在大规模生成模型中的多种紧急能力，如物体交互、复杂角色动画、物理模拟等。Genie 2的研究推动了新的创意工作流程，用于原型化交互体验，并为未来更通用的AI系统和智能体的研究提供了新的可能性。

将图像和文本转换成短视频的AI驱动平台

img2video是一个利用先进AI技术将静态图像和文本转换成短视频的平台，特别适合社交媒体内容创作。它通过简化视频创作流程，使得用户能够轻松创建引人注目的视频内容，提升内容的吸引力和传播力。该产品背景信息显示，它适用于多种视频创作场景，如产品展示、舞蹈视频、旧照片动画等，并且提供了多种视频生成选项，满足不同用户的需求。价格方面，虽然页面上没有明确说明，但提到了'定价'页面，可能意味着有付费服务。

2.5D视差效果视频制作工具

DepthFlow是一个高度可定制的视差着色器，用于动画化您的图像。它是一个免费且开源的ImmersityAI替代品，能够将图像转换成具有2.5D视差效果的视频。该工具拥有快速的渲染能力，支持多种后处理效果，如晕影、景深、镜头畸变等。它支持多种参数调整，能够创建灵活的运动效果，并且内置了多种预设动画。此外，它还支持视频编码导出，包括H264、HEVC、AV1等格式，并且提供了无需水印的用户体验。

基于物理的角色动画研究项目

ProtoMotions是一个致力于创建交互式物理模拟虚拟代理的项目。它支持IsaacGym和IsaacSim，并且基于Hydra和OmegaConfig构建，使得配置组合变得简单。这个项目为研究者和开发者提供了一个平台，用于开发和测试基于物理的角色动画技术。它不仅能够用于学术研究，还能在游戏、电影和虚拟现实等领域中应用。

创建AI视频，拥有一致性的角色。

Eggnog是一个专注于视频制作的网站，它允许用户创建具有独特面孔和服装的角色，并利用这些角色生成动画视频。Eggnog结合了人工智能技术，使得视频制作流程更加简单和高效。它提供了一个用户友好的界面，让用户可以通过拖放的方式将角色放入故事板，并自动生成视频。这种技术的应用不仅提高了视频制作的效率，也降低了进入视频制作领域的门槛，使得更多非专业人士能够轻松创作视频内容。

从单张图片生成3D角色模型

CharacterGen是一个高效的3D角色生成框架，能够从单张输入图片生成具有高质量和一致外观的3D姿势统一的角色网格。它通过流线化的生成管道和图像条件多视图扩散模型，有效校准输入姿势到规范形式，同时保留输入图像的关键属性，解决了多样化姿势带来的挑战。它还采用了基于变换器的通用稀疏视图重建模型，以及纹理反投影策略，生成高质量的纹理图。

通过生成运动场适应实现单图像动画化

MOFA-Video是一种能够将单张图片通过各种控制信号动画化的方法。它采用了稀疏到密集(S2D)运动生成和基于流的运动适应技术，可以有效地使用轨迹、关键点序列及其组合等不同类型的控制信号来动画化单张图片。在训练阶段，通过稀疏运动采样生成稀疏控制信号，然后训练不同的MOFA-Adapters来通过预训练的SVD生成视频。在推理阶段，不同的MOFA-Adapters可以组合起来共同控制冻结的SVD。

4D重建模型，快速生成动画对象

L4GM是一个4D大型重建模型，能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集，包含多视图视频，这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画，从48个视角渲染，生成了12M个视频，总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建，该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示，然后将其上采样到更高的帧率以实现时间平滑。此外，L4GM还添加了时间自注意力层，以帮助学习时间上的一致性，并使用每个时间步的多视图渲染损失来训练模型。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

为角色动画提供直观且价格合理的动作捕捉工具。

Rokoko是一款基于传感器的动作捕捉系统，为3D数字创作者提供高质量的身体、手指和面部动画解决方案。它具有直观易用的界面和负担得起的价格，可帮助用户轻松实现逼真的角色动画。

通过简短提示制作开放领域区域图像动画

Follow-Your-Click是一款通过简短提示制作开放领域区域图像动画的工具。用户可以点击参与动画生成，并可观看和比较不同生成方法和效果。该工具展示了动画结果，并通过与其他最新的开源动画方法和商业工具进行比较，展示了动画生成的对比效果。同时，通过演示我们的运动力量控制和消融研究，用户可以了解我们的方法与其他方法的优劣。

基于视频扩散先验为开放域图像添加动画的工具

DynamiCrafter是一款由Jinbo Xing、Menghan Xia等人开发的图像动画工具。通过利用预训练的视频扩散先验，DynamiCrafter可以基于文本提示为开放域的静止图像添加动画效果。该工具支持高分辨率模型，提供更好的动态效果、更高的分辨率和更强的一致性。DynamiCrafter主要用于故事视频生成、循环视频生成和生成帧插值等场景。

零样本图像动画生成器

AnimateZero是一款零样本图像动画生成器，通过分离外观和运动生成视频，解决了黑盒、低效、不可控等问题。它可以通过零样本修改将预训练的T2V模型转换为I2V模型，从而实现零样本图像动画生成。AnimateZero还可以用于视频编辑、帧插值、循环视频生成和真实图像动画等场景，具有较高的主观质量和匹配度。

生成逼真、唇同步的说唱视频

VividTalk是一种一次性音频驱动的头像生成技术，基于3D混合先验。它能够生成具有表情丰富、自然头部姿态和唇同步的逼真说唱视频。该技术采用了两阶段通用框架，支持生成具有上述所有特性的高视觉质量的说唱视频。具体来说，在第一阶段，通过学习两种运动（非刚性表情运动和刚性头部运动），将音频映射到网格。对于表情运动，采用混合形状和顶点作为中间表示，以最大化模型的表征能力。对于自然头部运动，提出了一种新颖的可学习头部姿势码本，并采用两阶段训练机制。在第二阶段，提出了一个双分支运动VAE和一个生成器，将网格转换为密集运动，并逐帧合成高质量视频。大量实验证明，VividTalk能够生成具有唇同步和逼真增强的高视觉质量说唱视频，且在客观和主观比较中优于以往的最先进作品。该技术的代码将在发表后公开发布。

Temporally Consistent Human Image Animation

MagicAnimate 是一款使用扩散模型实现的时域一致的人体图像动画工具。它可以通过对人体图像进行扩散模型的运算，实现高质量、自然流畅的人体动画效果。MagicAnimate 具有高度的可控性和灵活性，可以通过微调参数来实现不同的动画效果。它适用于人体动画创作、虚拟角色设计等领域。

一致且可控的角色动画图像到视频合成

Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量，提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性，我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性，我们引入了一个高效的姿势指导器来指导角色的动作，并采用了一种有效的时间建模方法，以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据，我们的方法可以为任意角色制作动画，与其他图像到视频方法相比，在角色动画方面取得了出色的结果。此外，我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法，取得了最先进的结果。

从长文本中合成无限可控角色动画

Story-to-Motion是一个全新的任务，它接受一个故事（顶部绿色区域）并生成与文本描述相符的动作和轨迹。该系统利用现代大型语言模型作为文本驱动的运动调度器，从长文本中提取一系列（文本、位置）对。它还开发了一个文本驱动的运动检索方案，结合了经典运动匹配和运动语义以及轨迹约束。此外，它设计了一个渐进式掩蔽变换器，以解决过渡动作中常见的问题，如不自然的姿势和滑步。该系统在轨迹跟随、时间动作组合和动作混合等三个不同子任务的评估中表现优异，胜过以往的动作合成方法。

使用你的脸部特征为图像添加动画

Puppetry 是一款通过使用你的脸部特征为图像添加动画的工具。它能够帮助你快速而简单地为游戏角色、故事板角色或中间图像创建多个变化。无需绑定、头戴装备、化妆或漫长的拍摄过程，只需要你的摄像头和魔法！

AI动作捕捉工具

Movmi 是一款 AI 驱动的动作捕捉工具，通过 2D 媒体数据（图像、视频）捕捉人类身体动作，为开发人员提供高质量的人体动作捕捉解决方案。整个捕捉过程在云端完成，用户无需使用高端设备。Movmi 支持从各种摄像设备捕捉镜头，包括智能手机和专业摄像机，适用于各种生活场景，甚至支持多个人物的场景。Movmi 还提供一个全文本贴图角色库，用于各种动画项目。Movmi 的会员计划分为 Bronze、Silver 和 Gold，提供不同级别的功能和体验。用户可以在任何 3D 环境中使用输出的 FBX 文件。