产品库

Vast 3D Gaussians for Large Scene Reconstruction的非官方实现

VastGaussian是一个3D场景重建的开源项目，它通过使用3D高斯来模拟大型场景的几何和外观信息。这个项目是作者从零开始实现的，可能存在一些错误，但为3D场景重建领域提供了一种新的尝试。项目的主要优点包括对大型数据集的处理能力，以及对原始3DGS项目的改进，使其更易于理解和使用。

通过无光照纹理扩散模型任意绘制3D

Paint3D能够为无纹理的3D网格生成高分辨率、无光照效果、多样化的2K UV纹理图,同时基于文本或图像输入进行条件化生成。它通过预训练的考虑深度信息的2D扩散模型首先生成视角条件图像并进行多视角纹理融合来获得初始的粗糙纹理图。然后它使用专门的UV补全和UVHD纹理模型来去除光照效果和填补不完整区域。Paint3D可以生成语义一致、无光照的高质量2K UV纹理,从而显著提升无纹理3D物体的纹理生成水平。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

非刚体3D模型的文本生成和重建框架

AnimatableDreamer是一个从单眼视频中生成和重建可动画非刚体3D模型的框架。它能够生成不同类别的非刚体对象,同时遵循从视频中提取的对象运动。关键技术是提出的典范分数蒸馏方法,将生成维度从4D简化到3D,在视频中的不同帧进行降噪,同时在唯一的典范空间内进行蒸馏过程。这样可以保证时间一致的生成和不同姿态下的形态逼真性。借助可微分变形,AnimatableDreamer将3D生成器提升到4D,为非刚体3D模型的生成和重建提供了新视角。此外,与一致性扩散模型的归纳知识相结合,典范分数蒸馏可以从新视角对重建进行正则化,从而闭环增强生成过程。大量实验表明,该方法能够从单眼视频生成高灵活性的文本指导3D模型,同时重建性能优于典型的非刚体重建方法。

从单张图片或文本提示生成高质量3D资产

Flex3D是一个两阶段流程，能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展，可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持，并且团队成员在3D重建和计算机视觉领域有着深厚的背景。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

360°几何感知3D全头合成

PanoHead是一个360°几何感知3D全头合成方法,能够仅依靠野外非结构化图像进行训练,实现高质量视图一致的360°全头部图像合成,具有不同的外观和详细的几何形状。

3D重建房间的新视角声学合成

NVAS3d是一个用于估计包含多个未知声源的场景中任何位置的声音的项目，通过使用多个麦克风的音频录音和场景的3D几何和材料，实现了新视角声学合成。

快速高质量从单张图像生成3D内容

Repaint123可以在2分钟内从一张图片生成高质量、多视角一致的3D内容。它结合2D散射模型强大的图像生成能力和渐进重绘策略的纹理对齐能力,生成高质量、视角一致的多视角图像,并通过可视性感知的自适应重绘强度提升重绘过程中的图像质量。生成的高质量、多视角一致图像使得简单的均方误差损失函数就能实现快速的3D内容生成。

高保真可动画 3D 人类重建模型，快速生成动画角色。

LHM（大规模可动画人类重建模型）利用多模态变压器架构进行高保真 3D 头像重建，支持从单张图像生成可动画的 3D 人类形象。该模型能够详细保留服装几何和纹理，尤其是在面部身份和细节恢复方面表现优异，适合对 3D 重建精度有较高要求的应用场景。

从单张图片重建逼真的3D人体模型

PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。

SceneScript：通过Reality Labs研究实现3D场景重建

SceneScript是Reality Labs研究团队开发的一种新型3D场景重建技术。该技术利用AI来理解和重建复杂的3D场景，能够从单张图片中创建详细的3D模型。SceneScript通过结合多种先进的深度学习技术，如半监督学习、自监督学习和多模态学习，显著提高了3D重建的准确性和效率。

AI 生成定制 3D 模型

3D AI Studio 是一款基于人工智能技术的在线工具，可以轻松生成定制的 3D 模型。适用于设计师、开发者和创意人士，提供高质量的数字资产。用户可以通过AI生成器快速创建3D模型，并以FBX、GLB或USDZ格式导出。3D AI Studio具有高性能、用户友好的界面、自动生成真实纹理等特点，可大幅缩短建模时间和降低成本。

基于多视图生成重建先验的拖拽式3D编辑工具

MVDrag3D是一个创新的3D编辑框架，它通过利用多视图生成和重建先验来实现灵活且具有创造性的拖拽式3D编辑。该技术的核心是使用多视图扩散模型作为强大的生成先验，以在多个渲染视图中执行一致的拖拽编辑，随后通过重建模型重建编辑对象的3D高斯。MVDrag3D通过视图特定的变形网络调整高斯的位置以实现良好的视图对齐，并提出多视图评分函数以从多个视图中提取生成先验，进一步增强视图一致性和视觉质量。这项技术对于3D建模和设计领域具有重要意义，因为它支持更多样化的编辑效果，并适用于多种对象类别和3D表示。

3D场景重建与动态物体追踪技术

EgoGaussian是一项先进的3D场景重建与动态物体追踪技术，它能够仅通过RGB第一人称视角输入，同时重建3D场景并动态追踪物体的运动。这项技术利用高斯散射的独特离散特性，从背景中分割出动态交互，并通过片段级别的在线学习流程，利用人类活动的动态特性，以时间顺序重建场景的演变并追踪刚体物体的运动。EgoGaussian在野外视频的挑战中超越了先前的NeRF和动态高斯方法，并且在重建模型的质量上也表现出色。

3D图像匹配的先进模型

MASt3R是由Naver Corporation开发的一种用于3D图像匹配的先进模型，它专注于提升计算机视觉领域中的几何3D视觉任务。该模型利用了最新的深度学习技术，通过训练能够实现对图像之间精确的3D匹配，对于增强现实、自动驾驶以及机器人导航等领域具有重要意义。

计算机视觉AI平台

Robovision是一款计算机视觉AI平台，覆盖完整的AI生命周期。简化在不断变化的商业环境中开发、实施和调整AI的整个过程。

云端计算机视觉软件平台

LandingLens是一个云端计算机视觉软件平台，通过直观的界面和自然的提示交互，使您能够在几分钟内创建自定义的计算机视觉项目。其数据导向的人工智能技术确保即使在小型数据集的情况下，模型也能正常工作。LandingLens提供灵活的部署选项，包括云端和边缘设备，使其易于集成到现有环境中。无论是单个生产线还是全球运营，LandingLens都能轻松扩展项目。

AI与计算机视觉结合的摔跤耐力挑战

Wrestling Endurance Challenge是一个结合了人工智能和计算机视觉的摔跤耐力挑战应用。该应用通过AI分配任务，利用计算机视觉检测用户的持续时间。用户可通过扬声器或耳机接收指令，以参与耐力挑战。应用使用持续的机器学习在云端进行计算，并保证隐私安全，不会发送视频，仅导出关节坐标和轨迹数据。

文本引导的高保真3D场景合成

SceneWiz3D是一种新颖的方法，可以从文本中合成高保真的3D场景。它采用混合的3D表示，对对象采用显式表示，对场景采用隐式表示。用户可以通过传统的文本到3D方法或自行提供对象来生成对象。为了配置场景布局并自动放置对象，我们在优化过程中应用了粒子群优化技术。此外，在文本到场景的情况下，对于场景的某些部分（例如角落、遮挡），很难获得多视角监督，导致几何形状劣质。为了缓解这种监督缺失，我们引入了RGBD全景扩散模型作为额外先验，从而实现了高质量的几何形状。广泛的评估支持我们的方法实现了比以前的方法更高的质量，可以生成详细且视角一致的3D场景。

一种通过3D感知递归扩散生成3D模型的框架

Ouroboros3D是一个统一的3D生成框架，它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。该框架通过自条件机制联合训练这两个模块，使它们能够相互适应，以实现鲁棒的推理。在多视图去噪过程中，多视图扩散模型使用由重建模块在前一时间步渲染的3D感知图作为附加条件。递归扩散框架与3D感知反馈相结合，提高了整个过程的几何一致性。实验表明，Ouroboros3D框架在性能上优于将这两个阶段分开训练的方法，以及在推理阶段将它们结合起来的现有方法。

开源计算机视觉库

OpenCV是一个跨平台的开源计算机视觉和机器学习软件库，它提供了一系列编程功能，包括但不限于图像处理、视频分析、特征检测、机器学习等。该库广泛应用于学术研究和商业项目中，因其强大的功能和灵活性而受到开发者的青睐。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

使用多照明合成的扩散方法重新照明辐射场

这是一种通过利用从2D图像扩散模型提取的先验来创建可重新照明的辐射场的方法。该方法能够将单照明条件下捕获的多视图数据转换为具有多照明效果的数据集，并通过3D高斯splats表示可重新照明的辐射场。这种方法不依赖于精确的几何形状和表面法线，因此更适合处理具有复杂几何形状和反射BRDF的杂乱场景。

快速从单张图片生成3D模型。

Stable Fast 3D (SF3D) 是一个基于TripoSR的大型重建模型，能够从单张物体图片生成带有纹理的UV展开3D网格资产。该模型训练有素，能在不到一秒的时间内创建3D模型，具有较低的多边形计数，并且进行了UV展开和纹理处理，使得模型在下游应用如游戏引擎或渲染工作中更易于使用。此外，模型还能预测每个物体的材料参数（粗糙度、金属感），在渲染过程中增强反射行为。SF3D适用于需要快速3D建模的领域，如游戏开发、电影特效制作等。

轻松创建和利用3D内容

3D Creation是一个提供给用户轻松创建和利用3D内容的网站。它提供了多种功能，包括AI纹理、我的模型、API等。用户可以使用AI纹理功能将图片转换为纹理，也可以使用文本转3D功能将文字描述转换为3D模型。此外，用户还可以使用Sketch to 3D功能将手绘草图转换为3D模型。3D Creation适用于各种场景，如设计、图像处理、视频制作等。该产品定位于提供简单易用的3D内容创作工具，并提供合理的定价策略。

一种利用侧视图像重建3D服装虚拟人物的方法

SIFU是一个利用侧视图像重建高质量3D服装虚拟人物模型的方法。它的核心创新点是提出了一种新的基于侧视图像的隐式函数,可以增强特征提取和提高几何精度。此外,SIFU还引入了一种3D一致的纹理优化过程,可大大提升纹理质量,借助文本到图像的diffusion模型实现纹理编辑。SIFU擅长处理复杂姿势和宽松衣物,是实际应用中理想的解决方案。

Champ：一种用于生成 3D 物体形状的生成模型

Champ 是一种用于生成 3D 物体形状的生成模型，它结合了隐函数和卷积神经网络，以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状，包括动物、车辆和家具。

计算机视觉自动化和RPA工具

U-xer是一款基于计算机视觉的测试自动化和RPA工具，旨在自动化屏幕上看到的任何内容，包括Web和桌面应用程序。它具有易用和高级两种模式，可以满足非技术用户和高级用户的不同需求。U-xer能够识别屏幕，像人类一样解释屏幕内容，实现更自然、准确的自动化。它适用于各种应用场景，包括Web应用程序、桌面软件、移动设备等，并提供定制化解决方案。U-xer的定价和定位请查看官方网站。