产品库

生成计算机视觉的合成数据集

Datagen是一个可通过平台或API访问的合成图像数据集，可根据需要生成逼真的全身人像和人与物体在不同环境中互动的场景。用户可以通过代码对单个参数进行完全控制，实现人类中心数据集的设计和生成。

从合成数据中学习视觉表示模型

该代码仓库包含从合成图像数据(主要是图片)进行学习的研究,包括StableRep、Scaling和SynCLR三个项目。这些项目研究了如何利用文本到图像模型生成的合成图像数据进行视觉表示模型的训练,并取得了非常好的效果。

基于Segment-Anything-2和Segment-Anything-1的自动全视频分割工具

AutoSeg-SAM2是一个基于Segment-Anything-2（SAM2）和Segment-Anything-1（SAM1）的自动全视频分割工具，它能够对视频中的每个对象进行追踪，并检测可能的新对象。该工具的重要性在于它能够提供静态分割结果，并利用SAM2对这些结果进行追踪，这对于视频内容分析、对象识别和视频编辑等领域具有重要意义。产品背景信息显示，它是由zrporz开发的，并且是基于Facebook Research的SAM2和zrporz自己的SAM1。价格方面，由于这是一个开源项目，因此它是免费的。

一站式OCR代理，快速从图像中生成洞见。

TurboLens是一个集OCR、计算机视觉和生成式AI于一体的全功能平台，它能够自动化地从非结构化图像中快速生成洞见，简化工作流程。产品背景信息显示，TurboLens旨在通过其创新的OCR技术和AI驱动的翻译及分析套件，从印刷和手写文档中提取定制化的洞见。此外，TurboLens还提供了数学公式和表格识别功能，将图像转换为可操作的数据，并将数学公式翻译成LaTeX格式，表格转换为Excel格式。产品价格方面，TurboLens提供免费和付费两种计划，满足不同用户的需求。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

使用先进计算机视觉算法进行自动、准确计数的应用。

CountAnything是一个前沿应用，利用先进的计算机视觉算法实现自动、准确的物体计数。它适用于多种场景，包括工业、养殖业、建筑、医药和零售等。该产品的主要优点在于其高精度和高效率，能够显著提升计数工作的准确性和速度。产品背景信息显示，CountAnything目前已开放给非中国大陆地区用户使用，并且提供免费试用。

利用NVIDIA AI构建视频搜索和摘要代理

NVIDIA AI Blueprint for Video Search and Summarization是一个基于NVIDIA NIM微服务和生成式AI模型的参考工作流程，用于构建能够理解自然语言提示并执行视觉问题回答的视觉AI代理。这些代理可以部署在工厂、仓库、零售店、机场、交通路口等多种场景中，帮助运营团队从自然交互中生成的丰富洞察中做出更好的决策。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

业界领先的开源大型混合专家模型

Tencent-Hunyuan-Large（混元大模型）是由腾讯推出的业界领先的开源大型混合专家（MoE）模型，拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展，特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源，旨在激发更多研究者的创新灵感，共同推动AI技术的进步和应用。

从单张图片或文本提示生成高质量3D资产

Flex3D是一个两阶段流程，能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展，可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持，并且团队成员在3D重建和计算机视觉领域有着深厚的背景。

去除镜面反射，揭示隐藏纹理

StableDelight是一个先进的模型，专注于从纹理表面去除镜面反射。它基于StableNormal的成功，后者专注于提高单目法线估计的稳定性。StableDelight通过应用这一概念来解决去除反射的挑战性任务。训练数据包括Hypersim、Lumos以及来自TSHRNet的各种镜面高光去除数据集。此外，我们在扩散训练过程中整合了多尺度SSIM损失和随机条件尺度技术，以提高一步扩散预测的清晰度。

一种在野外环境中分解图像为反射率和照明效果的技术。

Colorful Diffuse Intrinsic Image Decomposition 是一种图像处理技术，它能够将野外拍摄的照片分解为反照率、漫反射阴影和非漫反射残留部分。这项技术通过逐步移除单色照明和Lambertian世界假设，实现了对图像中多彩漫反射阴影的估计，包括多个照明和场景中的二次反射，同时模型了镜面反射和可见光源。这项技术对于图像编辑应用，如去除镜面反射和像素级白平衡，具有重要意义。

图像条件扩散模型的微调工具

diffusion-e2e-ft是一个开源的图像条件扩散模型微调工具，它通过微调预训练的扩散模型来提高特定任务的性能。该工具支持多种模型和任务，如深度估计和法线估计，并提供了详细的使用说明和模型检查点。它在图像处理和计算机视觉领域具有重要应用，能够显著提升模型在特定任务上的准确性和效率。

OpenCV的额外模块库，用于开发和测试新的图像处理功能。

opencv_contrib是OpenCV的额外模块库，用于开发和测试新的图像处理功能。这些模块通常在API稳定、经过充分测试并被广泛接受后，才会被整合到OpenCV的核心库中。该库允许开发者使用最新的图像处理技术，推动计算机视觉领域的创新。

开源计算机视觉库

OpenCV是一个跨平台的开源计算机视觉和机器学习软件库，它提供了一系列编程功能，包括但不限于图像处理、视频分析、特征检测、机器学习等。该库广泛应用于学术研究和商业项目中，因其强大的功能和灵活性而受到开发者的青睐。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

无需对象模板的人体与物体交互跟踪技术

InterTrack 是一种先进的跟踪技术，能够在单目RGB视频中跟踪人体与物体的交互，即使在遮挡和动态运动下也能保持跟踪的连贯性。该技术无需使用任何对象模板，仅通过合成数据训练即可在真实世界视频中实现良好的泛化。InterTrack 通过分解4D跟踪问题为每帧的姿态跟踪和规范形状优化，显著提高了跟踪的准确性和效率。

用于手术视频分割的先进模型

Segment Anything 2 for Surgical Video Segmentation 是一个基于Segment Anything Model 2的手术视频分割模型。它利用先进的计算机视觉技术，对手术视频进行自动分割，以识别和定位手术工具，提高手术视频分析的效率和准确性。该模型适用于内窥镜手术、耳蜗植入手术等多种手术场景，具有高精度和高鲁棒性的特点。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

用于训练通用目标分割模型的视频数据集

SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集，包含51K个多样化视频和643K个时空分割掩模（masklets）。该数据集用于计算机视觉研究，允许在CC BY 4.0许可下使用。视频内容多样，包括地点、对象和场景等主题，掩模从建筑物等大规模对象到室内装饰等细节不等。

下一代视频和图像实时对象分割模型。

Meta Segment Anything Model 2 (SAM 2)是Meta公司开发的下一代模型，用于视频和图像中的实时、可提示的对象分割。它实现了最先进的性能，并且支持零样本泛化，即无需定制适配即可应用于之前未见过的视觉内容。SAM 2的发布遵循开放科学的方法，代码和模型权重在Apache 2.0许可下共享，SA-V数据集也在CC BY 4.0许可下共享。

用于体育分析的计算机视觉工具集

roboflow/sports 是一个开源的计算机视觉工具集，专注于体育领域的应用。它利用先进的图像处理技术，如目标检测、图像分割、关键点检测等，来解决体育分析中的挑战。这个工具集由Roboflow开发，旨在推动计算机视觉技术在体育领域的应用，并通过社区贡献不断优化。

深度学习驱动的三维重建技术

VGGSfM是一种基于深度学习的三维重建技术，旨在从一组不受限制的2D图像中重建场景的相机姿态和3D结构。该技术通过完全可微分的深度学习框架，实现端到端的训练。它利用深度2D点跟踪技术提取可靠的像素级轨迹，同时基于图像和轨迹特征恢复所有相机，并通过可微分的捆绑调整层优化相机和三角化3D点。VGGSfM在CO3D、IMC Phototourism和ETH3D三个流行数据集上取得了最先进的性能。

3D图像匹配的先进模型

MASt3R是由Naver Corporation开发的一种用于3D图像匹配的先进模型，它专注于提升计算机视觉领域中的几何3D视觉任务。该模型利用了最新的深度学习技术，通过训练能够实现对图像之间精确的3D匹配，对于增强现实、自动驾驶以及机器人导航等领域具有重要意义。

3D生成建模的高精度和结构化辐射表示

GaussianCube是一种创新的3D辐射表示方法，它通过结构化和显式的表示方式，极大地促进了三维生成建模的发展。该技术通过使用一种新颖的密度约束高斯拟合算法和最优传输方法，将高斯函数重新排列到预定义的体素网格中，从而实现了高精度的拟合。与传统的隐式特征解码器或空间无结构的辐射表示相比，GaussianCube具有更少的参数和更高的质量，使得3D生成建模变得更加容易。

4D重建模型，快速生成动画对象

L4GM是一个4D大型重建模型，能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集，包含多视图视频，这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画，从48个视角渲染，生成了12M个视频，总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建，该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示，然后将其上采样到更高的帧率以实现时间平滑。此外，L4GM还添加了时间自注意力层，以帮助学习时间上的一致性，并使用每个时间步的多视图渲染损失来训练模型。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

提升3D内容创造的合成数据框架

Bootstrap3D是一个用于改善3D内容创造的框架，通过合成数据生成技术，解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型，基于文本提示生成多视角图像，并使用3D感知的MV-LLaVA模型筛选高质量数据，重写不准确的标题。该框架已生成了100万张高质量合成多视角图像，具有密集的描述性标题，以解决高质量3D数据的短缺问题。此外，它还提出了一种训练时间步重排(TTR)策略，利用去噪过程学习多视角一致性，同时保持原始的2D扩散先验。

一种用于跨领域视频帧中对象匹配的通用模型。

MASA是一个用于视频帧中对象匹配的先进模型，它能够处理复杂场景中的多目标跟踪（MOT）。MASA不依赖于特定领域的标注视频数据集，而是通过Segment Anything Model（SAM）丰富的对象分割，学习实例级别的对应关系。MASA设计了一个通用适配器，可以与基础的分割或检测模型配合使用，实现零样本跟踪能力，即使在复杂领域中也能表现出色。