产品库

用手机相机快速生成逼真的全身3D头像

in3D能在一分钟内将人物转化为逼真的全身3D头像，只需使用手机相机。使用in3D头像SDK将其集成到您的产品中。

4D场景创建工具，使用多视图视频扩散模型

CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频，并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息，为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示，CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发，是一个前沿的科研成果转化为实际应用的案例。

共语手势视频重现技术

TANGO是一个基于层次化音频-运动嵌入和扩散插值的共语手势视频重现技术。它利用先进的人工智能算法，将语音信号转换成相应的手势动作，实现视频中人物手势的自然重现。这项技术在视频制作、虚拟现实、增强现实等领域具有广泛的应用前景，能够提升视频内容的互动性和真实感。TANGO由东京大学和CyberAgent AI Lab联合开发，代表了当前人工智能在手势识别和动作生成领域的前沿水平。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

360度全场景生成

ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估，并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果，并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。

创建AI头像，与其在增强现实中互动

Vara AI是一个能够创建AI头像并在增强现实中与其互动的平台。它使用先进的人工智能技术，让用户可以根据自己的喜好和需求创建自己的AI头像，并通过增强现实技术将其投射到现实世界中。用户可以与AI头像进行互动，进行对话、玩游戏等。Vara AI还提供丰富的定制选项和功能，让用户可以个性化自己的AI头像。定价方面，Vara AI提供多种套餐供用户选择，以满足不同需求。Vara AI主要定位于个人用户和AR爱好者，旨在提供一个创造和互动虚拟人物的平台。

一体化学习管理系统

Instancy是一款一体化学习管理系统，集成了电子学习内容制作、学习体验平台、移动应用、电子商务、增强现实/虚拟现实和聊天机器人等功能。它提供了可配置的学习平台，支持生成人工智能、聊天机器人、增强现实和虚拟现实的应用，帮助用户构建技能、提高生产力并推动业务增长。

加速AI应用开发

Scale AI是一个高质量的训练数据提供商，为自动驾驶汽车、增强现实/虚拟现实、机器人等AI应用提供高质量的训练数据。Scale AI受到世界一流公司的信任。

实时生成逼真的全身虚拟人头像。

TaoAvatar 是一种高保真、轻量级的 3D 高斯喷溅技术（3DGS）全身虚拟人头像，能够生成个性化的全身动态头像，广泛应用于增强现实等场景。它的主要优点是能够在各种移动设备上以 90 FPS 的高帧率实时渲染，适配 Apple Vision Pro 等高分辨率设备，为用户提供沉浸式体验。

Project Aria 是 Meta 推出的以第一人称视角进行机器感知和增强现实研究的项目。

Project Aria 是 Meta 推出的专注于第一人称视角研究的项目，旨在通过创新技术推动增强现实（AR）和人工智能（AI）的发展。该项目通过 Aria Gen 2 眼镜等设备，从用户视角收集信息，为机器感知和 AR 研究提供支持。其主要优点包括创新的硬件设计、丰富的开源数据集和挑战赛，以及与全球研究合作伙伴的紧密合作。该项目的背景是 Meta 对未来 AR 技术的长期投入，旨在通过开放研究推动行业进步。

Phantom 是一款基于跨模态对齐的主体一致性视频生成模型。

Phantom 是一种先进的视频生成技术，通过跨模态对齐实现主体一致性视频生成。它能够根据单张或多张参考图像生成生动的视频内容，同时严格保留主体的身份特征。该技术在内容创作、虚拟现实和广告等领域具有重要应用价值，能够为创作者提供高效且富有创意的视频生成解决方案。Phantom 的主要优点包括高度的主体一致性、丰富的视频细节以及强大的多模态交互能力。

Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。

Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型，能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入（如参数化模型或相机参数），即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构，具有广泛的应用前景，如虚拟现实、影视制作等。Pippo 的代码已开源，但不包含预训练权重，用户需要自行训练模型。

GameFactory 是一个基于预训练视频扩散模型的通用世界模型，可创建开放领域的游戏。

GameFactory 是一个创新的通用世界模型，专注于从少量的《我的世界》游戏视频数据中学习，并利用预训练视频扩散模型的先验知识来生成新的游戏内容。该技术的核心优势在于其开放领域的生成能力，能够根据用户输入的文本提示和操作指令生成多样化的游戏场景和互动体验。它不仅展示了强大的场景生成能力，还通过多阶段训练策略和可插拔的动作控制模块，实现了高质量的交互式视频生成。该技术在游戏开发、虚拟现实和创意内容生成等领域具有广阔的应用前景，目前尚未明确其价格和商业化定位。

创建个性化头像，可用于Notion个人资料照片

Notion Faces是Notion推出的一项功能，允许用户通过选择不同的面部特征和配饰来创建个性化的头像。这些头像可以作为Notion个人资料照片使用，也可以分享给他人。该功能的设计考虑了全球用户的文化和身份多样性，旨在为用户提供一个简单、有趣且个性化的方式来表达自己。Notion Faces是免费使用的，用户无需登录Notion即可访问和创建头像。

场景感知的语义导航与指令引导控制模型

SCENIC是一个文本条件的场景交互模型，能够适应具有不同地形的复杂场景，并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示，来导航3D场景。SCENIC利用层次化推理场景的方法，结合运动与文本之间的帧对齐，实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作，对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。

从单张图片生成可探索的360°3D世界

GenEx是一个AI模型，它能够从单张图片创建一个完全可探索的360°3D世界。用户可以互动地探索这个生成的世界。GenEx在想象空间中推进具身AI，并有潜力将这些能力扩展到现实世界的探索。

3D自主角色的沉浸式交互框架

SOLAMI是一个端到端的社交视觉-语言-动作(VLA)建模框架，用于与3D自主角色进行沉浸式交互。该框架通过综合三个主要方面构建3D自主角色：社交VLA架构、交互式多模态数据和沉浸式VR界面。SOLAMI的主要优点包括更精确和自然的字符响应（包括语音和动作），与用户期望一致，并且延迟更低。该技术的重要性在于它为3D自主角色提供了类似人类的社交智能，使其能够感知、理解和与人类进行交互，这是人工智能领域中的一个开放且基础的问题。

开创性的实时、帧级控制的逼真世界模拟技术

The Matrix是一个先锋项目，旨在通过AI技术打造一个全沉浸式、交互式的数字宇宙，模糊现实与幻觉之间的界限。该项目通过提供帧级精度的用户交互、AAA级视觉效果以及无限的生成能力，突破了现有视频模型的局限，为用户带来无尽的探索体验。The Matrix由阿里巴巴集团、香港大学、滑铁卢大学和Vector Institute共同研发，代表了世界模拟技术的新高度。

高精度单目深度估计模型

Depth Pro是一个用于单目深度估计的研究项目，它能够快速生成高精度的深度图。该模型利用多尺度视觉变换器进行密集预测，并结合真实与合成数据集进行训练，以实现高准确度和细节捕捉。它在标准GPU上生成2.25百万像素深度图仅需0.3秒，具有速度快、精度高的特点，对于机器视觉和增强现实等领域具有重要意义。

Meta Quest 3S，混合现实体验新纪元。

Meta Quest 3S是一款混合现实头戴设备，提供沉浸式游戏体验、健身和娱乐功能，支持Facebook、Instagram和WhatsApp等应用且支持“Hey Meta”唤醒词来调用 Meta AI。它具有高分辨率显示、轻巧设计、创新的控制器设计和增强的触觉反馈。Meta Quest 3S旨在为用户带来前所未有的虚拟体验，同时保持舒适的佩戴体验和高性能的图形处理能力。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

Snap Inc.推出的AR眼镜，增强现实体验。

Spectacles '24是Snap Inc.推出的一款AR眼镜，旨在通过增强现实技术将人们更紧密地联系在一起。这款眼镜配备了透明镜片，让你在保持与周围环境连接的同时，享受增强现实带来的新体验。它不仅是一款时尚的配饰，更是一个能够让你与朋友共享创意、一起玩耍、学习和工作的工具。Spectacles '24搭载了Snap OS操作系统，提供了一个自然的界面，用户无需学习即可轻松上手。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

高保真动态城市场景重建技术

OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。

AI技术驱动的虚拟试衣体验

Kolors Virtual Try-On 是一款结合了人工智能和增强现实技术的虚拟试衣应用，能够根据给定的模特图和选定衣服生成自然美观的试穿效果。该产品支持从模特素材图到模特短视频的全流程生成，满足电商模特素材生成需求。

使用Apple Vision Pro实现人形机器人Unitree H1_2的遥控操作。

这是一个开源项目，用于实现人形机器人Unitree H1_2的遥控操作。它利用了Apple Vision Pro技术，允许用户通过虚拟现实环境来控制机器人。该项目在Ubuntu 20.04和Ubuntu 22.04上进行了测试，并且提供了详细的安装和配置指南。该技术的主要优点包括能够提供沉浸式的遥控体验，并且支持在模拟环境中进行测试，为机器人遥控领域提供了新的解决方案。

全身运动生成框架，支持多模态控制

ControlMM是一个全身运动生成框架，具有即插即用的多模态控制功能，能够在文本到运动(Text-to-Motion)、语音到手势(Speech-to-Gesture)和音乐到舞蹈(Music-to-Dance)等多个领域中生成稳健的运动。该模型在可控性、序列性和运动合理性方面具有明显优势，为人工智能领域提供了一种新的运动生成解决方案。

从文本描述生成全息3D全景世界

HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。

探索3D虚拟世界，体验梦想家宇宙。

Aiuni是一个提供3D虚拟世界体验的平台，用户可以在这里创建和探索个性化的3D模型，享受沉浸式的宇宙探索之旅。Aiuni以其创新的3D技术、丰富的互动性和高度的个性化定制，为用户提供了一个全新的虚拟体验空间。

3D场景重建与动态物体追踪技术

EgoGaussian是一项先进的3D场景重建与动态物体追踪技术，它能够仅通过RGB第一人称视角输入，同时重建3D场景并动态追踪物体的运动。这项技术利用高斯散射的独特离散特性，从背景中分割出动态交互，并通过片段级别的在线学习流程，利用人类活动的动态特性，以时间顺序重建场景的演变并追踪刚体物体的运动。EgoGaussian在野外视频的挑战中超越了先前的NeRF和动态高斯方法，并且在重建模型的质量上也表现出色。