产品库

为角色动画提供直观且价格合理的动作捕捉工具。

Rokoko是一款基于传感器的动作捕捉系统，为3D数字创作者提供高质量的身体、手指和面部动画解决方案。它具有直观易用的界面和负担得起的价格，可帮助用户轻松实现逼真的角色动画。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

AI动作捕捉工具

Movmi 是一款 AI 驱动的动作捕捉工具，通过 2D 媒体数据（图像、视频）捕捉人类身体动作，为开发人员提供高质量的人体动作捕捉解决方案。整个捕捉过程在云端完成，用户无需使用高端设备。Movmi 支持从各种摄像设备捕捉镜头，包括智能手机和专业摄像机，适用于各种生活场景，甚至支持多个人物的场景。Movmi 还提供一个全文本贴图角色库，用于各种动画项目。Movmi 的会员计划分为 Bronze、Silver 和 Gold，提供不同级别的功能和体验。用户可以在任何 3D 环境中使用输出的 FBX 文件。

开创性的实时、帧级控制的逼真世界模拟技术

The Matrix是一个先锋项目，旨在通过AI技术打造一个全沉浸式、交互式的数字宇宙，模糊现实与幻觉之间的界限。该项目通过提供帧级精度的用户交互、AAA级视觉效果以及无限的生成能力，突破了现有视频模型的局限，为用户带来无尽的探索体验。The Matrix由阿里巴巴集团、香港大学、滑铁卢大学和Vector Institute共同研发，代表了世界模拟技术的新高度。

通用角色图像动画框架，支持多种角色类型动画生成。

Animate-X是一个基于LDM的通用动画框架，用于各种角色类型（统称为X），包括人物拟态角色。该框架通过引入姿势指示器来增强运动表示，可以更全面地从驱动视频中捕获运动模式。Animate-X的主要优点包括对运动的深入建模，能够理解驱动视频的运动模式，并将其灵活地应用到目标角色上。此外，Animate-X还引入了一个新的Animated Anthropomorphic Benchmark (A2Bench) 来评估其在通用和广泛适用的动画图像上的性能。

共语手势视频重现技术

TANGO是一个基于层次化音频-运动嵌入和扩散插值的共语手势视频重现技术。它利用先进的人工智能算法，将语音信号转换成相应的手势动作，实现视频中人物手势的自然重现。这项技术在视频制作、虚拟现实、增强现实等领域具有广泛的应用前景，能够提升视频内容的互动性和真实感。TANGO由东京大学和CyberAgent AI Lab联合开发，代表了当前人工智能在手势识别和动作生成领域的前沿水平。

AI动画生成平台

Vmotionize是一个领先的AI动画和3D动画软件，它能够将视频、音乐、文本、图片等内容转换成令人惊叹的3D动画。该平台通过先进的AI动画和动作捕捉工具，使得高质量的3D内容和动态图形更加易于获取。Vmotionize通过创新的方式为独立创作者和全球品牌提供了一个全新的平台，让他们可以共同通过人工智能和人类想象力来实现创意、分享故事和构建虚拟世界。

基于物理的角色动画研究项目

ProtoMotions是一个致力于创建交互式物理模拟虚拟代理的项目。它支持IsaacGym和IsaacSim，并且基于Hydra和OmegaConfig构建，使得配置组合变得简单。这个项目为研究者和开发者提供了一个平台，用于开发和测试基于物理的角色动画技术。它不仅能够用于学术研究，还能在游戏、电影和虚拟现实等领域中应用。

Meta Quest 3S，混合现实体验新纪元。

Meta Quest 3S是一款混合现实头戴设备，提供沉浸式游戏体验、健身和娱乐功能，支持Facebook、Instagram和WhatsApp等应用且支持“Hey Meta”唤醒词来调用 Meta AI。它具有高分辨率显示、轻巧设计、创新的控制器设计和增强的触觉反馈。Meta Quest 3S旨在为用户带来前所未有的虚拟体验，同时保持舒适的佩戴体验和高性能的图形处理能力。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

高保真动态城市场景重建技术

OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。

AI让动作捕捉更简单

千面视频动捕是一款利用AI技术简化动作捕捉过程的产品。它通过自动化AI算法自动识别动画关键帧，生成流畅的动画效果，无需专业设备和场地，大幅提升制作效率，降低动画制作的门槛，让每个人都能成为动画师。产品支持多种主流动画软件格式，提供7天24小时在线服务，并通过V币系统进行计费，满足不同用户的需求。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

使用Apple Vision Pro实现人形机器人Unitree H1_2的遥控操作。

这是一个开源项目，用于实现人形机器人Unitree H1_2的遥控操作。它利用了Apple Vision Pro技术，允许用户通过虚拟现实环境来控制机器人。该项目在Ubuntu 20.04和Ubuntu 22.04上进行了测试，并且提供了详细的安装和配置指南。该技术的主要优点包括能够提供沉浸式的遥控体验，并且支持在模拟环境中进行测试，为机器人遥控领域提供了新的解决方案。

全身运动生成框架，支持多模态控制

ControlMM是一个全身运动生成框架，具有即插即用的多模态控制功能，能够在文本到运动(Text-to-Motion)、语音到手势(Speech-to-Gesture)和音乐到舞蹈(Music-to-Dance)等多个领域中生成稳健的运动。该模型在可控性、序列性和运动合理性方面具有明显优势，为人工智能领域提供了一种新的运动生成解决方案。

从文本描述生成全息3D全景世界

HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。

探索3D虚拟世界，体验梦想家宇宙。

Aiuni是一个提供3D虚拟世界体验的平台，用户可以在这里创建和探索个性化的3D模型，享受沉浸式的宇宙探索之旅。Aiuni以其创新的3D技术、丰富的互动性和高度的个性化定制，为用户提供了一个全新的虚拟体验空间。

3D场景重建与动态物体追踪技术

EgoGaussian是一项先进的3D场景重建与动态物体追踪技术，它能够仅通过RGB第一人称视角输入，同时重建3D场景并动态追踪物体的运动。这项技术利用高斯散射的独特离散特性，从背景中分割出动态交互，并通过片段级别的在线学习流程，利用人类活动的动态特性，以时间顺序重建场景的演变并追踪刚体物体的运动。EgoGaussian在野外视频的挑战中超越了先前的NeRF和动态高斯方法，并且在重建模型的质量上也表现出色。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

从单张图片生成高质量3D网格模型

Unique3D是由清华大学团队开发的一项技术，能够从单张图片中生成高保真度的纹理3D网格模型。这项技术在图像处理和3D建模领域具有重要意义，它使得用户能够快速将2D图像转化为3D模型，为游戏开发、动画制作、虚拟现实等领域提供了强大的技术支持。

Immerse是一款VR语言课程和AI辅助练习的虚拟现实产品，帮助成年人流利地学习新语言。

Immerse是一款由专家设计的虚拟现实语言沉浸式学习平台，通过提供语言课程和AI辅助练习，帮助成年人流利地学习新语言。它的主要优点包括：通过虚拟现实技术提供身临其境的语言学习体验；结合AI技术提供个性化的语言练习；专业教师指导和实时反馈等。Immerse的定位是帮助成年人实现流利地说新语言的目标。

通过视频生成实现基于物理的3D对象交互

PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。

3D场景创造革命，电影级效果

Lixel CyberColor（LCC），由XGRIDS公司研发的先进技术产品，为3D场景的创建带来革命性变化。LCC能自动生成电影级效果的无限大3D场景，使用Multi-SLAM和高斯溅射技术。其核心优势在于精确捕捉并复现真实细节，为虚拟现实、游戏开发、电影制作等领域带来真实性体验。 XGRIDS作为一套集成软硬件解决方案，展现出在微米到千米级别的高精度3D重建和智能空间计算方面的强大能力。采用Multi-SLAM算法和优化的3DGS技术，自动创建超逼真大型3D模型，沉浸式体验。优化算法实现逼真渲染效果，通过数据压缩技术将模型大小减小90%，LiDAR集成技术实现厘米级模型精度，提供AI驱动的动态物体去除算法。推出LCC插件和SDK，在Unity、UE、Web、移动平台使用，为3D内容提供强大支持。

Champ：一种用于生成 3D 物体形状的生成模型

Champ 是一种用于生成 3D 物体形状的生成模型，它结合了隐函数和卷积神经网络，以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状，包括动物、车辆和家具。

基于JST-1视频-3D基础模型的可控视频生成

VIGGLE是一款基于JST-1视频-3D基础模型的可控视频生成工具。它可以让任何角色按照您的要求移动。JST-1是第一个具有实际物理理解能力的视频-3D基础模型。VIGGLE的优势在于其强大的视频生成和控制能力,可以根据用户需求生成各种动作和情节的视频。它定位于视频创作者、动画师和内容创作者等专业人群,帮助他们更高效地制作视频内容。目前VIGGLE处于测试阶段,未来可能会推出付费订阅版本。

Captury无标记运动捕捉技术,让捕捉更高效

Captury提供先进的无标记运动捕捉解决方案,可精准可靠地跟踪多个演员同时进行的全身动作、手指移动和面部表情。我们的解决方案旨在提高运动捕捉的效率,同时降低所涉及的时间和成本。Captury可应用于3D游戏开发、虚拟效果/电影/广告领域、虚拟现实、实时虚拟/基于位置的娱乐、游戏内玩家跟踪以及生命科学等领域。主要产品包括实时处理CapturyLive、CapturyInGame、CapturyFace,以及后期处理CapturyStudio和CapturyDome等。

将2D RGB照片和视频转换为3D空间照片和视频

Depthify.ai是一个工具，可以将RGB图像转换为与Apple Vision Pro和Meta Quest兼容的各种空间格式。通过转换RGB图像为空间照片，可以为各种计算机视觉和3D建模应用提供支持。它可以生成深度图、立体图像和HEIC文件，可在Apple Vision Pro上使用。

单摄像头3D动画资产转换

Move API能够将包含人体动作的视频转换为3D动画资产，支持将视频文件转换为usdz、usdc和fbx文件格式，并提供预览视频。适用于集成到生产工作流程软件、增强应用动作捕捉能力或创造全新体验。

逼真可动的3D头像生成模型

UltrAvatar是一款逼真可动的3D头像生成模型，旨在缩小虚拟与现实世界体验之间的差距。它采用Score Distillation Sampling (SDS) loss和可微分渲染器以及文本条件来引导扩散模型生成3D头像。与现有作品相比，UltrAvatar通过增强几何保真度和优越的物理渲染纹理质量，提出了一种新颖的3D头像生成方法。它通过扩散色彩提取模型和真实性引导纹理扩散模型，去除不需要的光照效果，呈现真实的扩散颜色，使生成的头像能够在各种光照条件下呈现。我们在实验证明了该方法的有效性和鲁棒性，在实验中大幅优于现有最先进的方法。