产品库

Captury无标记运动捕捉技术,让捕捉更高效

Captury提供先进的无标记运动捕捉解决方案,可精准可靠地跟踪多个演员同时进行的全身动作、手指移动和面部表情。我们的解决方案旨在提高运动捕捉的效率,同时降低所涉及的时间和成本。Captury可应用于3D游戏开发、虚拟效果/电影/广告领域、虚拟现实、实时虚拟/基于位置的娱乐、游戏内玩家跟踪以及生命科学等领域。主要产品包括实时处理CapturyLive、CapturyInGame、CapturyFace,以及后期处理CapturyStudio和CapturyDome等。

开创性的实时、帧级控制的逼真世界模拟技术

The Matrix是一个先锋项目，旨在通过AI技术打造一个全沉浸式、交互式的数字宇宙，模糊现实与幻觉之间的界限。该项目通过提供帧级精度的用户交互、AAA级视觉效果以及无限的生成能力，突破了现有视频模型的局限，为用户带来无尽的探索体验。The Matrix由阿里巴巴集团、香港大学、滑铁卢大学和Vector Institute共同研发，代表了世界模拟技术的新高度。

共语手势视频重现技术

TANGO是一个基于层次化音频-运动嵌入和扩散插值的共语手势视频重现技术。它利用先进的人工智能算法，将语音信号转换成相应的手势动作，实现视频中人物手势的自然重现。这项技术在视频制作、虚拟现实、增强现实等领域具有广泛的应用前景，能够提升视频内容的互动性和真实感。TANGO由东京大学和CyberAgent AI Lab联合开发，代表了当前人工智能在手势识别和动作生成领域的前沿水平。

AI动画生成平台

Vmotionize是一个领先的AI动画和3D动画软件，它能够将视频、音乐、文本、图片等内容转换成令人惊叹的3D动画。该平台通过先进的AI动画和动作捕捉工具，使得高质量的3D内容和动态图形更加易于获取。Vmotionize通过创新的方式为独立创作者和全球品牌提供了一个全新的平台，让他们可以共同通过人工智能和人类想象力来实现创意、分享故事和构建虚拟世界。

Meta Quest 3S，混合现实体验新纪元。

Meta Quest 3S是一款混合现实头戴设备，提供沉浸式游戏体验、健身和娱乐功能，支持Facebook、Instagram和WhatsApp等应用且支持“Hey Meta”唤醒词来调用 Meta AI。它具有高分辨率显示、轻巧设计、创新的控制器设计和增强的触觉反馈。Meta Quest 3S旨在为用户带来前所未有的虚拟体验，同时保持舒适的佩戴体验和高性能的图形处理能力。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

从单一角色绘画生成3D动画。

DrawingSpinUp是一个创新的系统，它能够将单一角色绘画转换为3D动画。该技术通过去除视图依赖的轮廓线并重新渲染，以及基于骨架的细化变形算法，解决了业余角色绘画在外观和几何形状上的挑战。它不仅提高了角色绘画的视觉效果，还赋予了绘画以动态的生命力，使其能够自由旋转、跳跃甚至表演街舞。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

高保真动态城市场景重建技术

OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。

使用Apple Vision Pro实现人形机器人Unitree H1_2的遥控操作。

这是一个开源项目，用于实现人形机器人Unitree H1_2的遥控操作。它利用了Apple Vision Pro技术，允许用户通过虚拟现实环境来控制机器人。该项目在Ubuntu 20.04和Ubuntu 22.04上进行了测试，并且提供了详细的安装和配置指南。该技术的主要优点包括能够提供沉浸式的遥控体验，并且支持在模拟环境中进行测试，为机器人遥控领域提供了新的解决方案。

全身运动生成框架，支持多模态控制

ControlMM是一个全身运动生成框架，具有即插即用的多模态控制功能，能够在文本到运动(Text-to-Motion)、语音到手势(Speech-to-Gesture)和音乐到舞蹈(Music-to-Dance)等多个领域中生成稳健的运动。该模型在可控性、序列性和运动合理性方面具有明显优势，为人工智能领域提供了一种新的运动生成解决方案。

用于体育分析的计算机视觉工具集

roboflow/sports 是一个开源的计算机视觉工具集，专注于体育领域的应用。它利用先进的图像处理技术，如目标检测、图像分割、关键点检测等，来解决体育分析中的挑战。这个工具集由Roboflow开发，旨在推动计算机视觉技术在体育领域的应用，并通过社区贡献不断优化。

从文本描述生成全息3D全景世界

HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。

探索3D虚拟世界，体验梦想家宇宙。

Aiuni是一个提供3D虚拟世界体验的平台，用户可以在这里创建和探索个性化的3D模型，享受沉浸式的宇宙探索之旅。Aiuni以其创新的3D技术、丰富的互动性和高度的个性化定制，为用户提供了一个全新的虚拟体验空间。

3D模型动画生成

Animate3D是一个创新的框架，用于为任何静态3D模型生成动画。它的核心理念包括两个主要部分：1) 提出一种新的多视图视频扩散模型（MV-VDM），该模型基于静态3D对象的多视图渲染，并在我们提供的大规模多视图视频数据集（MV-Video）上进行训练。2) 基于MV-VDM，引入了一个结合重建和4D得分蒸馏采样（4D-SDS）的框架，利用多视图视频扩散先验来为3D对象生成动画。Animate3D通过设计新的时空注意力模块来增强空间和时间一致性，并通过多视图渲染来保持静态3D模型的身份。此外，Animate3D还提出了一个有效的两阶段流程来为3D模型生成动画：首先从生成的多视图视频中直接重建运动，然后通过引入的4D-SDS来细化外观和运动。

3D场景重建与动态物体追踪技术

EgoGaussian是一项先进的3D场景重建与动态物体追踪技术，它能够仅通过RGB第一人称视角输入，同时重建3D场景并动态追踪物体的运动。这项技术利用高斯散射的独特离散特性，从背景中分割出动态交互，并通过片段级别的在线学习流程，利用人类活动的动态特性，以时间顺序重建场景的演变并追踪刚体物体的运动。EgoGaussian在野外视频的挑战中超越了先前的NeRF和动态高斯方法，并且在重建模型的质量上也表现出色。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

从单张图片生成高质量3D网格模型

Unique3D是由清华大学团队开发的一项技术，能够从单张图片中生成高保真度的纹理3D网格模型。这项技术在图像处理和3D建模领域具有重要意义，它使得用户能够快速将2D图像转化为3D模型，为游戏开发、动画制作、虚拟现实等领域提供了强大的技术支持。

为角色动画提供直观且价格合理的动作捕捉工具。

Rokoko是一款基于传感器的动作捕捉系统，为3D数字创作者提供高质量的身体、手指和面部动画解决方案。它具有直观易用的界面和负担得起的价格，可帮助用户轻松实现逼真的角色动画。

Immerse是一款VR语言课程和AI辅助练习的虚拟现实产品，帮助成年人流利地学习新语言。

Immerse是一款由专家设计的虚拟现实语言沉浸式学习平台，通过提供语言课程和AI辅助练习，帮助成年人流利地学习新语言。它的主要优点包括：通过虚拟现实技术提供身临其境的语言学习体验；结合AI技术提供个性化的语言练习；专业教师指导和实时反馈等。Immerse的定位是帮助成年人实现流利地说新语言的目标。

通过视频生成实现基于物理的3D对象交互

PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。

用于编辑动态场景的稀疏控制高斯溅射技术

SC-GS是一种新型表示技术,将动态场景的运动和外观分别用稀疏控制点和密集高斯函数表示。它使用少量控制点学习紧凑的6自由度变换基,这些基可通过插值权重在局部插值,得到3D高斯函数的运动场。它采用变形MLP预测每个控制点的时变6自由度变换,降低学习复杂度,增强学习能力,实现时空连贯的运动模式。同时联合学习3D高斯函数、控制点的规范空间位置和变形MLP,重建3D场景的外观、几何和动态。在训练过程中,控制点的位置和数量会自适应调整以适应不同区域的运动复杂度,并采用尽可能刚性的损失函数强制运动的空间连续性和局部刚性。由于运动表示的显式稀疏性和外观分离,该方法实现了用户控制的运动编辑,同时保留高保真度外观。大量实验表明,该方法在新视图合成和高速渲染方面优于现有方法,并支持新的保留外观的运动编辑应用。

3D场景创造革命，电影级效果

Lixel CyberColor（LCC），由XGRIDS公司研发的先进技术产品，为3D场景的创建带来革命性变化。LCC能自动生成电影级效果的无限大3D场景，使用Multi-SLAM和高斯溅射技术。其核心优势在于精确捕捉并复现真实细节，为虚拟现实、游戏开发、电影制作等领域带来真实性体验。 XGRIDS作为一套集成软硬件解决方案，展现出在微米到千米级别的高精度3D重建和智能空间计算方面的强大能力。采用Multi-SLAM算法和优化的3DGS技术，自动创建超逼真大型3D模型，沉浸式体验。优化算法实现逼真渲染效果，通过数据压缩技术将模型大小减小90%，LiDAR集成技术实现厘米级模型精度，提供AI驱动的动态物体去除算法。推出LCC插件和SDK，在Unity、UE、Web、移动平台使用，为3D内容提供强大支持。

Champ：一种用于生成 3D 物体形状的生成模型

Champ 是一种用于生成 3D 物体形状的生成模型，它结合了隐函数和卷积神经网络，以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状，包括动物、车辆和家具。

基于JST-1视频-3D基础模型的可控视频生成

VIGGLE是一款基于JST-1视频-3D基础模型的可控视频生成工具。它可以让任何角色按照您的要求移动。JST-1是第一个具有实际物理理解能力的视频-3D基础模型。VIGGLE的优势在于其强大的视频生成和控制能力,可以根据用户需求生成各种动作和情节的视频。它定位于视频创作者、动画师和内容创作者等专业人群,帮助他们更高效地制作视频内容。目前VIGGLE处于测试阶段,未来可能会推出付费订阅版本。

文本转3D动画工具，轻松生成角色动作

Cartwheel是一个创新的文本转3D动画工具，用户通过输入文字提示即可生成适用于视频、游戏、电影、广告、社交或VR项目的3D动画角色。其灵活性和易用性让用户能够轻松生成各种动作，并支持导出到任何3D程序中进行编辑。目前处于测试阶段，用户需要排队等待使用。

可伸缩便携运动捕捉数据收集系统

DexCap是一种便携手部动作捕捉系统，结合了全息测距和电磁场技术，提供准确、抗遮挡的手腕和手指运动跟踪，并通过对环境的3D观测进行数据采集。DexIL算法利用逆运动学和基于点云的模仿学习，直接从人类手部动作数据中训练灵巧的机器手技能。系统支持选项的人机协同校正机制，利用这一丰富数据集，机器手能够复制人类动作，还能根据人类手动作进一步提高表现。

将2D RGB照片和视频转换为3D空间照片和视频

Depthify.ai是一个工具，可以将RGB图像转换为与Apple Vision Pro和Meta Quest兼容的各种空间格式。通过转换RGB图像为空间照片，可以为各种计算机视觉和3D建模应用提供支持。它可以生成深度图、立体图像和HEIC文件，可在Apple Vision Pro上使用。

单摄像头3D动画资产转换

Move API能够将包含人体动作的视频转换为3D动画资产，支持将视频文件转换为usdz、usdc和fbx文件格式，并提供预览视频。适用于集成到生产工作流程软件、增强应用动作捕捉能力或创造全新体验。