产品库

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

360度全场景生成

ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估，并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果，并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。

共语手势视频重现技术

TANGO是一个基于层次化音频-运动嵌入和扩散插值的共语手势视频重现技术。它利用先进的人工智能算法，将语音信号转换成相应的手势动作，实现视频中人物手势的自然重现。这项技术在视频制作、虚拟现实、增强现实等领域具有广泛的应用前景，能够提升视频内容的互动性和真实感。TANGO由东京大学和CyberAgent AI Lab联合开发，代表了当前人工智能在手势识别和动作生成领域的前沿水平。

一体化学习管理系统

Instancy是一款一体化学习管理系统，集成了电子学习内容制作、学习体验平台、移动应用、电子商务、增强现实/虚拟现实和聊天机器人等功能。它提供了可配置的学习平台，支持生成人工智能、聊天机器人、增强现实和虚拟现实的应用，帮助用户构建技能、提高生产力并推动业务增长。

用手机相机快速生成逼真的全身3D头像

in3D能在一分钟内将人物转化为逼真的全身3D头像，只需使用手机相机。使用in3D头像SDK将其集成到您的产品中。

加速AI应用开发

Scale AI是一个高质量的训练数据提供商，为自动驾驶汽车、增强现实/虚拟现实、机器人等AI应用提供高质量的训练数据。Scale AI受到世界一流公司的信任。

开创性的实时、帧级控制的逼真世界模拟技术

The Matrix是一个先锋项目，旨在通过AI技术打造一个全沉浸式、交互式的数字宇宙，模糊现实与幻觉之间的界限。该项目通过提供帧级精度的用户交互、AAA级视觉效果以及无限的生成能力，突破了现有视频模型的局限，为用户带来无尽的探索体验。The Matrix由阿里巴巴集团、香港大学、滑铁卢大学和Vector Institute共同研发，代表了世界模拟技术的新高度。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

自监督触觉表示，用于基于视觉的触觉传感。

Sparsh是一系列通过自监督算法（如MAE、DINO和JEPA）训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，并在TacBench提出的下游任务中大幅度超越端到端模型，同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。

快速生成个性化和富有表现力的3D会说话面部模型

MimicTalk是一种基于神经辐射场（NeRF）的个性化三维说话面部生成技术，它能够在几分钟内模仿特定身份的静态外观和动态说话风格。这项技术的主要优点包括高效率、高质量的视频生成以及对目标人物说话风格的精确模仿。MimicTalk通过一个通用的3D面部生成模型作为基础，并通过静态-动态混合适应流程来学习个性化的静态外观和面部动态，同时提出了一种上下文风格化的音频到运动（ICS-A2M）模型，以生成与目标人物说话风格相匹配的面部运动。MimicTalk的技术背景是基于深度学习和计算机视觉领域的最新进展，特别是在人脸合成和动画生成方面。目前，该技术是免费提供给研究和开发社区的。

高精度单目深度估计模型

Depth Pro是一个用于单目深度估计的研究项目，它能够快速生成高精度的深度图。该模型利用多尺度视觉变换器进行密集预测，并结合真实与合成数据集进行训练，以实现高准确度和细节捕捉。它在标准GPU上生成2.25百万像素深度图仅需0.3秒，具有速度快、精度高的特点，对于机器视觉和增强现实等领域具有重要意义。

Meta Quest 3S，混合现实体验新纪元。

Meta Quest 3S是一款混合现实头戴设备，提供沉浸式游戏体验、健身和娱乐功能，支持Facebook、Instagram和WhatsApp等应用且支持“Hey Meta”唤醒词来调用 Meta AI。它具有高分辨率显示、轻巧设计、创新的控制器设计和增强的触觉反馈。Meta Quest 3S旨在为用户带来前所未有的虚拟体验，同时保持舒适的佩戴体验和高性能的图形处理能力。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

Snap Inc.推出的AR眼镜，增强现实体验。

Spectacles '24是Snap Inc.推出的一款AR眼镜，旨在通过增强现实技术将人们更紧密地联系在一起。这款眼镜配备了透明镜片，让你在保持与周围环境连接的同时，享受增强现实带来的新体验。它不仅是一款时尚的配饰，更是一个能够让你与朋友共享创意、一起玩耍、学习和工作的工具。Spectacles '24搭载了Snap OS操作系统，提供了一个自然的界面，用户无需学习即可轻松上手。

为机器人提供虚拟模拟和评估的先进世界模型。

1X 世界模型是一种机器学习程序，能够模拟世界如何响应机器人的行为。它基于视频生成和自动驾驶汽车世界模型的技术进步，为机器人提供了一个虚拟模拟器，能够预测未来的场景并评估机器人策略。这个模型不仅能够处理复杂的对象交互，如刚体、掉落物体的影响、部分可观察性、可变形物体和铰接物体，还能够在不断变化的环境中进行评估，这对于机器人技术的发展至关重要。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

生成开放世界视频游戏的扩散变换模型

GameGen-O 是首个为生成开放世界视频游戏而定制的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样化事件，实现了高质量、开放领域的生成。此外，它还提供了交互式可控性，允许游戏玩法模拟。GameGen-O 的开发涉及从零开始的全面数据收集和处理工作，包括构建首个开放世界视频游戏数据集（OGameData），通过专有的数据管道进行高效的排序、评分、过滤和解耦标题。这个强大且广泛的 OGameData 构成了模型训练过程的基础。

高保真动态城市场景重建技术

OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。

内容风格合成在文本到图像生成中的应用

CSGO是一个基于内容风格合成的文本到图像生成模型，它通过一个数据构建管道生成并自动清洗风格化数据三元组，构建了首个大规模的风格迁移数据集IMAGStyle，包含210k图像三元组。CSGO模型采用端到端训练，明确解耦内容和风格特征，通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成，具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

AI技术驱动的虚拟试衣体验

Kolors Virtual Try-On 是一款结合了人工智能和增强现实技术的虚拟试衣应用，能够根据给定的模特图和选定衣服生成自然美观的试穿效果。该产品支持从模特素材图到模特短视频的全流程生成，满足电商模特素材生成需求。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

使用Apple Vision Pro实现人形机器人Unitree H1_2的遥控操作。

这是一个开源项目，用于实现人形机器人Unitree H1_2的遥控操作。它利用了Apple Vision Pro技术，允许用户通过虚拟现实环境来控制机器人。该项目在Ubuntu 20.04和Ubuntu 22.04上进行了测试，并且提供了详细的安装和配置指南。该技术的主要优点包括能够提供沉浸式的遥控体验，并且支持在模拟环境中进行测试，为机器人遥控领域提供了新的解决方案。

全身运动生成框架，支持多模态控制

ControlMM是一个全身运动生成框架，具有即插即用的多模态控制功能，能够在文本到运动(Text-to-Motion)、语音到手势(Speech-to-Gesture)和音乐到舞蹈(Music-to-Dance)等多个领域中生成稳健的运动。该模型在可控性、序列性和运动合理性方面具有明显优势，为人工智能领域提供了一种新的运动生成解决方案。

一万亿Token和34亿张图像的多模态数据集

MINT-1T是由Salesforce AI开源的多模态数据集，包含一万亿个文本标记和34亿张图像，规模是现有开源数据集的10倍。它不仅包含HTML文档，还包括PDF文档和ArXiv论文，丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤，确保了数据的高质量和多样性。

用于训练通用目标分割模型的视频数据集

SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集，包含51K个多样化视频和643K个时空分割掩模（masklets）。该数据集用于计算机视觉研究，允许在CC BY 4.0许可下使用。视频内容多样，包括地点、对象和场景等主题，掩模从建筑物等大规模对象到室内装饰等细节不等。

一种用于图像和视频的视觉分割基础模型。

Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型，它通过简单的变换器架构和流式内存设计，实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎，收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练，提供了在广泛任务和视觉领域中的强大性能。

从文本描述生成全息3D全景世界

HoloDreamer是一个文本驱动的3D场景生成框架，能够生成沉浸式且视角一致的全封闭3D场景。它由两个基本模块组成：风格化等矩形全景生成和增强两阶段全景重建。该框架首先生成高清晰度的全景图作为完整3D场景的整体初始化，然后利用3D高斯散射（3D-GS）技术快速重建3D场景，从而实现视角一致和完全封闭的3D场景生成。HoloDreamer的主要优点包括高视觉一致性、和谐性以及重建质量和渲染的鲁棒性。

探索3D虚拟世界，体验梦想家宇宙。

Aiuni是一个提供3D虚拟世界体验的平台，用户可以在这里创建和探索个性化的3D模型，享受沉浸式的宇宙探索之旅。Aiuni以其创新的3D技术、丰富的互动性和高度的个性化定制，为用户提供了一个全新的虚拟体验空间。