基于Transformer的实时开放世界AI模型
Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型,它是一个互动视频游戏,由Transformer端到端生成,基于逐帧生成。Oasis能够接收用户键盘和鼠标输入,实时生成游戏玩法,内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习,允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步,未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破,以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法,并结合了大型语言模型(LLMs)来训练一个自回归模型,该模型可以根据用户即时动作生成视频。此外,Decart AI还开发了专有的推理框架,以提供NVIDIA H100 Tensor Core GPU的峰值利用率,并支持Etched即将推出的Sohu芯片。
基于物理的图像到视频生成技术
PhysGen是一个创新的图像到视频生成方法,它能够将单张图片和输入条件(例如,对图片中物体施加的力和扭矩)转换成现实、物理上合理且时间上连贯的视频。该技术通过将基于模型的物理模拟与数据驱动的视频生成过程相结合,实现了在图像空间中的动态模拟。PhysGen的主要优点包括生成的视频在物理和外观上都显得逼真,并且可以精确控制,通过定量比较和全面的用户研究,展示了其在现有数据驱动的图像到视频生成工作中的优越性。
基于物理的角色动画研究项目
ProtoMotions是一个致力于创建交互式物理模拟虚拟代理的项目。它支持IsaacGym和IsaacSim,并且基于Hydra和OmegaConfig构建,使得配置组合变得简单。这个项目为研究者和开发者提供了一个平台,用于开发和测试基于物理的角色动画技术。它不仅能够用于学术研究,还能在游戏、电影和虚拟现实等领域中应用。
通过视频生成实现基于物理的3D对象交互
PhysDreamer是一个基于物理的方法,它通过利用视频生成模型学习到的对象动力学先验,为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下,模拟出对新颖交互(如外力或代理操作)的真实反应。PhysDreamer通过用户研究评估合成交互的真实性,推动了更吸引人和真实的虚拟体验的发展。
© 2024 AIbase 备案号:闽ICP备08105208号-14