产品库

用于高质量高效3D重建和生成的大型高斯重建模型

GRM是一种大规模的重建模型,能够在0.1秒内从稀疏视图图像中恢复3D资产,并且在8秒内实现生成。它是一种前馈的基于Transformer的模型,能够高效地融合多视图信息将输入像素转换为像素对齐的高斯分布,这些高斯分布可以反投影成为表示场景的密集3D高斯分布集合。我们的Transformer架构和使用3D高斯分布的方式解锁了一种可扩展、高效的重建框架。大量实验结果证明了我们的方法在重建质量和效率方面优于其他替代方案。我们还展示了GRM在生成任务(如文本到3D和图像到3D)中的潜力,通过与现有的多视图扩散模型相结合。

一种通过3D感知递归扩散生成3D模型的框架

Ouroboros3D是一个统一的3D生成框架，它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。该框架通过自条件机制联合训练这两个模块，使它们能够相互适应，以实现鲁棒的推理。在多视图去噪过程中，多视图扩散模型使用由重建模块在前一时间步渲染的3D感知图作为附加条件。递归扩散框架与3D感知反馈相结合，提高了整个过程的几何一致性。实验表明，Ouroboros3D框架在性能上优于将这两个阶段分开训练的方法，以及在推理阶段将它们结合起来的现有方法。

一个高效的无边界3D城市生成框架，使用3D高斯绘制技术实现快速生成。

GaussianCity是一个专注于高效生成无边界3D城市的框架，基于3D高斯绘制技术。该技术通过紧凑的3D场景表示和空间感知的高斯属性解码器，解决了传统方法在生成大规模城市场景时面临的内存和计算瓶颈。其主要优点是能够在单次前向传递中快速生成大规模3D城市，显著优于现有技术。该产品由南洋理工大学S-Lab团队开发，相关论文发表于CVPR 2025，代码和模型已开源，适用于需要高效生成3D城市环境的研究人员和开发者。

高分辨率、高精度的深度估计方法

Prompt Depth Anything是一种用于高分辨率和高精度度量深度估计的方法。该方法通过使用提示（prompting）技术，激发深度基础模型的潜力，利用iPhone LiDAR作为提示，引导模型产生高达4K分辨率的精确度量深度。此外，该方法还引入了可扩展的数据管道进行训练，并发布了更详细的ScanNet++数据集深度注释。该技术的主要优点包括高分辨率、高精度的深度估计，以及对下游应用如3D重建和通用机器人抓取的益处。

3D生成模型，实现高质量多样化的3D资产创建

TRELLIS是一个基于统一结构化潜在表示和修正流变换器的原生3D生成模型，能够实现多样化和高质量的3D资产创建。该模型通过整合稀疏的3D网格和从强大的视觉基础模型提取的密集多视图视觉特征，全面捕获结构（几何）和纹理（外观）信息，同时在解码过程中保持灵活性。TRELLIS模型能够处理高达20亿参数，并在包含50万个多样化对象的大型3D资产数据集上进行训练。该模型在文本或图像条件下生成高质量结果，显著超越现有方法，包括规模相似的最近方法。TRELLIS还展示了灵活的输出格式选择和局部3D编辑能力，这些是以前模型所没有提供的。代码、模型和数据将被发布。

从单张图片重建逼真的3D人体模型

PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。

AI系统从单张图片生成3D世界

这是一个能够从单张图片生成3D世界的AI系统，它允许用户进入任何图片并进行3D探索。这项技术改善了控制和一致性，将改变我们制作电影、游戏、模拟器以及其他数字表现形式的方式。它代表了空间智能的第一步，通过在浏览器中实时渲染生成的世界，用户可以体验不同的相机效果、3D效果，并深入探索经典画作。

4D场景创建工具，使用多视图视频扩散模型

CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频，并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息，为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示，CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发，是一个前沿的科研成果转化为实际应用的案例。

3D高斯生成技术，实现任意未摆姿势图像的3D重建

LucidFusion是一个灵活的端到端前馈框架，用于从未摆姿势、稀疏和任意数量的多视图图像中生成高分辨率3D高斯。该技术利用相对坐标图（RCM）来对齐不同视图间的几何特征，使其在3D生成方面具有高度适应性。LucidFusion能够与原始单图像到3D的流程无缝集成，生成512x512分辨率的详细3D高斯，适合广泛的应用场景。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

腾讯推出的3D生成框架，支持文本和图像到3D的生成。

Hunyuan3D-1是腾讯推出的一个统一框架，用于文本到3D和图像到3D的生成。该框架采用两阶段方法，第一阶段使用多视图扩散模型快速生成多视图RGB图像，第二阶段通过前馈重建模型快速重建3D资产。Hunyuan3D-1.0在速度和质量之间取得了令人印象深刻的平衡，显著减少了生成时间，同时保持了生成资产的质量和多样性。

首个同时支持文生和图生的3D开源模型

腾讯混元3D是一个开源的3D生成模型，旨在解决现有3D生成模型在生成速度和泛化能力上的不足。该模型采用两阶段生成方法，第一阶段使用多视角扩散模型快速生成多视角图像，第二阶段通过前馈重建模型快速重建3D资产。混元3D-1.0模型能够帮助3D创作者和艺术家自动化生产3D资产，支持快速单图生3D，10秒内完成端到端生成，包括mesh和texture提取。

高效3D高斯重建模型，实现大场景快速重建

Long-LRM是一个用于3D高斯重建的模型，能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像，并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块，通过高效的token合并和高斯修剪步骤，在保证质量的同时提高了效率。与传统的前馈模型相比，Long-LRM能够一次性重建整个场景，而不是仅重建场景的一小部分。在大规模场景数据集上，如DL3DV-140和Tanks and Temples，Long-LRM的性能可与基于优化的方法相媲美，同时效率提高了两个数量级。

从单目视频生成高质量4D对象的新型框架

DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。

从单张图片或文本提示生成高质量3D资产

Flex3D是一个两阶段流程，能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展，可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持，并且团队成员在3D重建和计算机视觉领域有着深厚的背景。

利用扩散变换器生成高质量的3D资产。

3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。

基于参考增强扩散的3D内容生成模型

Phidias是一个创新的生成模型，它利用扩散技术进行参考增强的3D生成。该模型通过图像、文本或3D条件生成高质素的3D资产，并且能够在几秒钟内完成。它通过整合三个关键组件：动态调节条件强度的Meta-ControlNet、动态参考路由以及自参考增强，显著提高了生成质量、泛化能力和可控性。Phidias为使用文本、图像和3D条件进行3D生成提供了统一框架，并具有多种应用场景。

高保真新视角合成的视频扩散模型

ViewCrafter 是一种新颖的方法，它利用视频扩散模型的生成能力以及基于点的表示提供的粗略3D线索，从单个或稀疏图像合成通用场景的高保真新视角。该方法通过迭代视图合成策略和相机轨迹规划算法，逐步扩展3D线索和新视角覆盖的区域，从而扩大新视角的生成范围。ViewCrafter 可以促进各种应用，例如通过优化3D-GS表示实现沉浸式体验和实时渲染，以及通过场景级文本到3D生成实现更富有想象力的内容创作。

高保真动态城市场景重建技术

OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。

生成新视角的图像，保持语义信息。

GenWarp是一个用于从单张图像生成新视角图像的模型，它通过语义保持的生成变形框架，使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性，通过条件化生成模型在源视图图像上，并纳入几何变形信号，提高了在不同领域场景下的性能。

3D生成模型的创新突破

VFusion3D是一种基于预训练的视频扩散模型构建的可扩展3D生成模型。它解决了3D数据获取困难和数量有限的问题，通过微调视频扩散模型生成大规模合成多视角数据集，训练出能够从单张图像快速生成3D资产的前馈3D生成模型。该模型在用户研究中表现出色，用户超过90%的时间更倾向于选择VFusion3D生成的结果。

通过交互式3D生成技术，实现高质量且可控的3D模型创建。

Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。

基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。

ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。

从单张图片生成高质量3D视图和新颖视角的3D生成技术

Stable Video 3D是Stability AI推出的新模型，它在3D技术领域取得了显著进步，与之前发布的Stable Zero123相比，提供了大幅改进的质量和多视角支持。该模型能够在没有相机条件的情况下，基于单张图片输入生成轨道视频，并且能够沿着指定的相机路径创建3D视频。

从单张图片快速生成3D对象

TripoSR是由Stability AI与Tripo AI合作开发的3D对象重建模型，能够从单张图片在不到一秒钟的时间内生成高质量的3D模型。该模型在低推理预算下运行，无需GPU，适用于广泛的用户和应用场景。模型权重和源代码已在MIT许可下发布，允许商业化、个人和研究使用。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

高分辨率3D内容生成的多视图高斯模型

LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。

ComfyUI 3D处理插件包

ComfyUI-3D-Pack是一个强大的3D处理插件集合,它为ComfyUI提供了处理3D模型(网格、纹理等)的能力,集成了各种前沿3D重建和渲染算法,如3D高斯采样、NeRF不同iable渲染等,可以实现单视角图像快速重建3D高斯模型,并可转换为三角网格模型,同时还提供了交互式3D可视化界面。

从图像或视频中执行多种推断

PRISMA是一个计算摄影管道,可以从任何图像或视频中执行多种推断。就像光线通过棱镜折射成不同的波长一样,这个管道将图像扩展成可用于3D重建或实时后期处理操作的数据。它结合了不同的算法和开源的预训练模型,比如单目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相机姿态(colmap)等。结果带存储在与输入文件同名的文件夹中,每个band以.png或.mp4文件的形式单独存储。对于视频,在最后一步,它会尝试执行稀疏重建,可用于NeRF(如NVidia的Instant-ngp)或高斯扩散训练。推断出的深度信息默认导出为可以使用LYGIA的heatmap GLSL/HLSL采样实时解码的热度图,而光流编码为HUE(角度)和饱和度,也可以使用LYGIA的光流GLSL/HLSL采样器实时解码。