通用角色图像动画框架,支持多种角色类型动画生成。
Animate-X是一个基于LDM的通用动画框架,用于各种角色类型(统称为X),包括人物拟态角色。该框架通过引入姿势指示器来增强运动表示,可以更全面地从驱动视频中捕获运动模式。Animate-X的主要优点包括对运动的深入建模,能够理解驱动视频的运动模式,并将其灵活地应用到目标角色上。此外,Animate-X还引入了一个新的Animated Anthropomorphic Benchmark (A2Bench) 来评估其在通用和广泛适用的动画图像上的性能。
基于物理的角色动画研究项目
ProtoMotions是一个致力于创建交互式物理模拟虚拟代理的项目。它支持IsaacGym和IsaacSim,并且基于Hydra和OmegaConfig构建,使得配置组合变得简单。这个项目为研究者和开发者提供了一个平台,用于开发和测试基于物理的角色动画技术。它不仅能够用于学术研究,还能在游戏、电影和虚拟现实等领域中应用。
为角色动画提供直观且价格合理的动作捕捉工具。
Rokoko是一款基于传感器的动作捕捉系统,为3D数字创作者提供高质量的身体、手指和面部动画解决方案。它具有直观易用的界面和负担得起的价格,可帮助用户轻松实现逼真的角色动画。
一致且可控的角色动画图像到视频合成
Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量,提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性,我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性,我们引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据,我们的方法可以为任意角色制作动画,与其他图像到视频方法相比,在角色动画方面取得了出色的结果。此外,我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法,取得了最先进的结果。
从长文本中合成无限可控角色动画
Story-to-Motion是一个全新的任务,它接受一个故事(顶部绿色区域)并生成与文本描述相符的动作和轨迹。该系统利用现代大型语言模型作为文本驱动的运动调度器,从长文本中提取一系列(文本、位置)对。它还开发了一个文本驱动的运动检索方案,结合了经典运动匹配和运动语义以及轨迹约束。此外,它设计了一个渐进式掩蔽变换器,以解决过渡动作中常见的问题,如不自然的姿势和滑步。该系统在轨迹跟随、时间动作组合和动作混合等三个不同子任务的评估中表现优异,胜过以往的动作合成方法。
© 2024 AIbase 备案号:闽ICP备08105208号-14