产品库

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。

Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型，能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入（如参数化模型或相机参数），即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构，具有广泛的应用前景，如虚拟现实、影视制作等。Pippo 的代码已开源，但不包含预训练权重，用户需要自行训练模型。

数据标注平台，助力AI项目高效管理数据标注项目。

Data Annotation Platform是一个端到端的数据标注平台，允许用户上传计算机视觉数据，选择标注类型，并下载结果，无需任何最低承诺。该平台支持多种数据标注类型，包括矩形、多边形、3D立方体、关键点、语义分割、实例分割和泛视觉分割等，服务于AI项目经理、机器学习工程师、AI初创公司和研究团队，解决他们在数据标注过程中遇到的挑战。平台以其无缝执行、成本计算器、指令生成器、免费任务、API接入和团队访问等特点，为用户提供了一个简单、高效、成本效益高的数据标注解决方案。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

开源计算机视觉库

OpenCV是一个跨平台的开源计算机视觉和机器学习软件库，它提供了一系列编程功能，包括但不限于图像处理、视频分析、特征检测、机器学习等。该库广泛应用于学术研究和商业项目中，因其强大的功能和灵活性而受到开发者的青睐。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

4D重建模型，快速生成动画对象

L4GM是一个4D大型重建模型，能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集，包含多视图视频，这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画，从48个视角渲染，生成了12M个视频，总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建，该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示，然后将其上采样到更高的帧率以实现时间平滑。此外，L4GM还添加了时间自注意力层，以帮助学习时间上的一致性，并使用每个时间步的多视图渲染损失来训练模型。

一种用于跨领域视频帧中对象匹配的通用模型。

MASA是一个用于视频帧中对象匹配的先进模型，它能够处理复杂场景中的多目标跟踪（MOT）。MASA不依赖于特定领域的标注视频数据集，而是通过Segment Anything Model（SAM）丰富的对象分割，学习实例级别的对应关系。MASA设计了一个通用适配器，可以与基础的分割或检测模型配合使用，实现零样本跟踪能力，即使在复杂领域中也能表现出色。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

为角色动画提供直观且价格合理的动作捕捉工具。

Rokoko是一款基于传感器的动作捕捉系统，为3D数字创作者提供高质量的身体、手指和面部动画解决方案。它具有直观易用的界面和负担得起的价格，可帮助用户轻松实现逼真的角色动画。

智能视频对象分割技术

SAM是一个先进的视频对象分割模型，它结合了光学流动和RGB信息，能够发现并分割视频中的移动对象。该模型在单对象和多对象基准测试中均取得了显著的性能提升，同时保持了对象的身份一致性。

为开源世界构建高质量视频数据集的计划

Open-Sora-Plan是一个开源项目,旨在为开源社区提供高质量的视频数据集。该项目已经爬取并处理了40258个来自开源网站的高质量视频,涵盖了60%的横屏视频。同时还提供了自动生成的密集字幕,供机器学习等应用使用。该项目免费开源,欢迎大家共同参与和支持。

学习网络中的三维动物

3D Fauna是一个通过学习 2D 网络图片来构建三维动物模的方法。它通过引入语义相关的模型集合来解决模型泛化的挑战，并提供了一个新的大规模数据集。在推理过程中，给定一张任意四足动物的图片，我们的模型可以在几秒内通过前馈方式重建出一个有关联的三维网格模型。

机器人图像渲染的新发展

Wild2Avatar是一个用于渲染被遮挡的野外单目视频中的人类外观的神经渲染方法。它可以在真实场景下渲染人类,即使障碍物可能会阻挡相机视野并导致部分遮挡。该方法通过将场景分解为三部分(遮挡物、人类和背景)来实现,并使用特定的目标函数强制分离人类与遮挡物和背景,以确保人类模型的完整性。

借助 AutoML Vision 从图像中发掘有价值的信息、利用预训练的 Vision API 模型，或使用 Vertex AI Vision 创建计算机视觉应用

Vision AI 提供了三种计算机视觉产品，包括 Vertex AI Vision、自定义机器学习模型和 Vision API。您可以使用这些产品从图像中提取有价值的信息，进行图像分类和搜索，并创建各种计算机视觉应用。Vision AI 提供简单易用的界面和功能强大的预训练模型，满足不同用户需求。

洞察管理平台

Manot洞察管理平台通过准确定位改进计算机视觉模型的表现。它为产品经理和工程师提供了可操作的见解,以便他们能够确定计算机视觉模型失败的原因。

实时优化的计算机视觉库

OpenCV是一个实时优化的计算机视觉库，提供了一套功能强大的工具和硬件支持。它还支持机器学习（ML）和人工智能（AI）模型的执行。OpenCV是开源的，免费商用。

AI研究论文记忆助手

PaperClip是AI研究者的第二大脑，用于机器学习、计算机视觉和自然语言处理论文的回顾和记忆。它可以帮助您记忆来自机器学习、计算机视觉和自然语言处理论文的详细信息，包括重要发现和论文细节。您可以从任何地方记忆，无论是AI研究论文、机器学习博客文章还是新闻报道。PaperClip的AI在本地运行，不会向任何服务器发送数据。它可以将您的记忆保存在本地，并提供简单的搜索功能，让您随时找回重要发现。PaperClip支持离线搜索，即使没有互联网连接也可以进行搜索。您还可以随时清理您的数据，一键重置保存的信息。PaperClip以Svelte和Hugo Duprez为基础开发。

开源数据标注工具

Label Studio是一款灵活的开源数据标注平台，适用于各种数据类型。它可以帮助用户准备计算机视觉、自然语言处理、语音、声音和视频模型的训练数据。Label Studio提供了多种标注类型，包括图像分类、对象检测、语义分割、音频分类、说话人分割、情感识别、文本分类和命名实体识别等。它支持快速启动和使用，适用于个人和团队使用。

为Firefox浏览器翻译功能优化的CPU加速神经机器翻译模型。

Firefox Translations Models 是由Mozilla开发的一组CPU优化的神经机器翻译模型，专为Firefox浏览器的翻译功能设计。该模型通过高效的CPU加速技术，提供快速且准确的翻译服务，支持多种语言对。其主要优点包括高性能、低延迟和对多种语言的支持。该模型是Firefox浏览器翻译功能的核心技术，为用户提供无缝的网页翻译体验。

一个高效的无边界3D城市生成框架，使用3D高斯绘制技术实现快速生成。

GaussianCity是一个专注于高效生成无边界3D城市的框架，基于3D高斯绘制技术。该技术通过紧凑的3D场景表示和空间感知的高斯属性解码器，解决了传统方法在生成大规模城市场景时面临的内存和计算瓶颈。其主要优点是能够在单次前向传递中快速生成大规模3D城市，显著优于现有技术。该产品由南洋理工大学S-Lab团队开发，相关论文发表于CVPR 2025，代码和模型已开源，适用于需要高效生成3D城市环境的研究人员和开发者。

基于 Gemini 的 Colab 数据科学助手，可自动生成完整的 Colab 笔记本代码。

Data Science Agent in Colab 是 Google 推出的一款基于 Gemini 的智能工具，旨在简化数据科学工作流程。它通过自然语言描述自动生成完整的 Colab 笔记本代码，涵盖数据导入、分析和可视化等任务。该工具的主要优点是节省时间、提高效率，并且生成的代码可修改和共享。它面向数据科学家、研究人员和开发者，尤其是那些希望快速从数据中获取洞察的用户。目前该工具免费提供给符合条件的用户。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

提供全球最便宜的GPU云服务，助力自托管AI/ML开发。

Thunder Compute是一个专注于AI/ML开发的GPU云服务平台，通过虚拟化技术，帮助用户以极低的成本使用高性能GPU资源。其主要优点是价格低廉，相比传统云服务提供商可节省高达80%的成本。该平台支持多种主流GPU型号，如NVIDIA Tesla T4、A100等，并提供7+ Gbps的网络连接，确保数据传输的高效性。Thunder Compute的目标是为AI开发者和企业降低硬件成本，加速模型训练和部署，推动AI技术的普及和应用。

olmOCR是一个用于将PDF线性化以用于LLM数据集训练的工具包。

olmOCR是由Allen Institute for Artificial Intelligence (AI2)开发的一个开源工具包，旨在将PDF文档线性化，以便用于大型语言模型（LLM）的训练。该工具包通过将PDF文档转换为适合LLM处理的格式，解决了传统PDF文档结构复杂、难以直接用于模型训练的问题。它支持多种功能，包括自然文本解析、多版本比较、语言过滤和SEO垃圾信息移除等。olmOCR的主要优点是能够高效处理大量PDF文档，并通过优化的提示策略和模型微调，提高文本解析的准确性和效率。该工具包适用于需要处理大量PDF数据的研究人员和开发者，尤其是在自然语言处理和机器学习领域。

TensorPool 是一个简化机器学习模型训练的云 GPU 平台。

TensorPool 是一个专注于简化机器学习模型训练的云 GPU 平台。它通过提供一个直观的命令行界面（CLI），帮助用户轻松描述任务并自动处理 GPU 的编排和执行。TensorPool 的核心技术包括智能的 Spot 节点恢复技术，能够在抢占式实例被中断时立即恢复作业，从而结合了抢占式实例的成本优势和按需实例的可靠性。此外，TensorPool 还通过实时多云分析选择最便宜的 GPU 选项，用户只需为实际执行时间付费，无需担心闲置机器带来的额外成本。TensorPool 的目标是让开发者无需花费大量时间配置云提供商，从而提高机器学习工程的速度和效率。它提供个人计划和企业计划，个人计划每周提供 $5 的免费信用额度，而企业计划则提供更高级的支持和功能。

MLGym是一个用于推进AI研究代理的新框架和基准。

MLGym是由Meta的GenAI团队和UCSB NLP团队开发的一个开源框架和基准，用于训练和评估AI研究代理。它通过提供多样化的AI研究任务，推动强化学习算法的发展，帮助研究人员在真实世界的研究场景中训练和评估模型。该框架支持多种任务，包括计算机视觉、自然语言处理和强化学习等领域，旨在为AI研究提供一个标准化的测试平台。

一个专注于超大规模系统设计和优化的工具，提供高效解决方案。

The Ultra-Scale Playbook 是一个基于 Hugging Face Spaces 提供的模型工具，专注于超大规模系统的优化和设计。它利用先进的技术框架，帮助开发者和企业高效地构建和管理大规模系统。该工具的主要优点包括高度的可扩展性、优化的性能和易于集成的特性。它适用于需要处理复杂数据和大规模计算任务的场景，如人工智能、机器学习和大数据处理。产品目前以开源的形式提供，适合各种规模的企业和开发者使用。

Phantom 是一款基于跨模态对齐的主体一致性视频生成模型。

Phantom 是一种先进的视频生成技术，通过跨模态对齐实现主体一致性视频生成。它能够根据单张或多张参考图像生成生动的视频内容，同时严格保留主体的身份特征。该技术在内容创作、虚拟现实和广告等领域具有重要应用价值，能够为创作者提供高效且富有创意的视频生成解决方案。Phantom 的主要优点包括高度的主体一致性、丰富的视频细节以及强大的多模态交互能力。