产品库

用于高质量高效3D重建和生成的大型高斯重建模型

GRM是一种大规模的重建模型,能够在0.1秒内从稀疏视图图像中恢复3D资产,并且在8秒内实现生成。它是一种前馈的基于Transformer的模型,能够高效地融合多视图信息将输入像素转换为像素对齐的高斯分布,这些高斯分布可以反投影成为表示场景的密集3D高斯分布集合。我们的Transformer架构和使用3D高斯分布的方式解锁了一种可扩展、高效的重建框架。大量实验结果证明了我们的方法在重建质量和效率方面优于其他替代方案。我们还展示了GRM在生成任务(如文本到3D和图像到3D)中的潜力,通过与现有的多视图扩散模型相结合。

一种通过3D感知递归扩散生成3D模型的框架

Ouroboros3D是一个统一的3D生成框架，它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。该框架通过自条件机制联合训练这两个模块，使它们能够相互适应，以实现鲁棒的推理。在多视图去噪过程中，多视图扩散模型使用由重建模块在前一时间步渲染的3D感知图作为附加条件。递归扩散框架与3D感知反馈相结合，提高了整个过程的几何一致性。实验表明，Ouroboros3D框架在性能上优于将这两个阶段分开训练的方法，以及在推理阶段将它们结合起来的现有方法。

3D高斯生成技术，实现任意未摆姿势图像的3D重建

LucidFusion是一个灵活的端到端前馈框架，用于从未摆姿势、稀疏和任意数量的多视图图像中生成高分辨率3D高斯。该技术利用相对坐标图（RCM）来对齐不同视图间的几何特征，使其在3D生成方面具有高度适应性。LucidFusion能够与原始单图像到3D的流程无缝集成，生成512x512分辨率的详细3D高斯，适合广泛的应用场景。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

腾讯推出的3D生成框架，支持文本和图像到3D的生成。

Hunyuan3D-1是腾讯推出的一个统一框架，用于文本到3D和图像到3D的生成。该框架采用两阶段方法，第一阶段使用多视图扩散模型快速生成多视图RGB图像，第二阶段通过前馈重建模型快速重建3D资产。Hunyuan3D-1.0在速度和质量之间取得了令人印象深刻的平衡，显著减少了生成时间，同时保持了生成资产的质量和多样性。

首个同时支持文生和图生的3D开源模型

腾讯混元3D是一个开源的3D生成模型，旨在解决现有3D生成模型在生成速度和泛化能力上的不足。该模型采用两阶段生成方法，第一阶段使用多视角扩散模型快速生成多视角图像，第二阶段通过前馈重建模型快速重建3D资产。混元3D-1.0模型能够帮助3D创作者和艺术家自动化生产3D资产，支持快速单图生3D，10秒内完成端到端生成，包括mesh和texture提取。

高效3D高斯重建模型，实现大场景快速重建

Long-LRM是一个用于3D高斯重建的模型，能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像，并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块，通过高效的token合并和高斯修剪步骤，在保证质量的同时提高了效率。与传统的前馈模型相比，Long-LRM能够一次性重建整个场景，而不是仅重建场景的一小部分。在大规模场景数据集上，如DL3DV-140和Tanks and Temples，Long-LRM的性能可与基于优化的方法相媲美，同时效率提高了两个数量级。

从单目视频生成高质量4D对象的新型框架

DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。

从单张图片或文本提示生成高质量3D资产

Flex3D是一个两阶段流程，能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展，可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持，并且团队成员在3D重建和计算机视觉领域有着深厚的背景。

利用扩散变换器生成高质量的3D资产。

3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。

基于参考增强扩散的3D内容生成模型

Phidias是一个创新的生成模型，它利用扩散技术进行参考增强的3D生成。该模型通过图像、文本或3D条件生成高质素的3D资产，并且能够在几秒钟内完成。它通过整合三个关键组件：动态调节条件强度的Meta-ControlNet、动态参考路由以及自参考增强，显著提高了生成质量、泛化能力和可控性。Phidias为使用文本、图像和3D条件进行3D生成提供了统一框架，并具有多种应用场景。

高保真新视角合成的视频扩散模型

ViewCrafter 是一种新颖的方法，它利用视频扩散模型的生成能力以及基于点的表示提供的粗略3D线索，从单个或稀疏图像合成通用场景的高保真新视角。该方法通过迭代视图合成策略和相机轨迹规划算法，逐步扩展3D线索和新视角覆盖的区域，从而扩大新视角的生成范围。ViewCrafter 可以促进各种应用，例如通过优化3D-GS表示实现沉浸式体验和实时渲染，以及通过场景级文本到3D生成实现更富有想象力的内容创作。

高保真动态城市场景重建技术

OmniRe 是一种用于高效重建高保真动态城市场景的全面方法，它通过设备日志来实现。该技术通过构建基于高斯表示的动态神经场景图，以及构建多个局部规范空间来模拟包括车辆、行人和骑行者在内的各种动态行为者，从而实现了对场景中不同对象的全面重建。OmniRe 允许我们全面重建场景中存在的不同对象，并随后实现所有参与者实时参与的重建场景的模拟。在 Waymo 数据集上的广泛评估表明，OmniRe 在定量和定性方面都大幅超越了先前的最先进方法。

生成新视角的图像，保持语义信息。

GenWarp是一个用于从单张图像生成新视角图像的模型，它通过语义保持的生成变形框架，使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性，通过条件化生成模型在源视图图像上，并纳入几何变形信号，提高了在不同领域场景下的性能。

一种用于图像生成的模型。

IPAdapter-Instruct是Unity Technologies开发的一种图像生成模型，它通过在transformer模型上增加额外的文本嵌入条件，使得单一模型能够高效地执行多种图像生成任务。该模型主要优点在于能够通过'Instruct'提示，在同一工作流中灵活地切换不同的条件解释，例如风格转换、对象提取等，同时保持与特定任务模型相比的最小质量损失。

3D生成模型的创新突破

VFusion3D是一种基于预训练的视频扩散模型构建的可扩展3D生成模型。它解决了3D数据获取困难和数量有限的问题，通过微调视频扩散模型生成大规模合成多视角数据集，训练出能够从单张图像快速生成3D资产的前馈3D生成模型。该模型在用户研究中表现出色，用户超过90%的时间更倾向于选择VFusion3D生成的结果。

深入理解Transformer模型的可视化工具

Transformer Explainer是一个致力于帮助用户深入理解Transformer模型的在线可视化工具。它通过图形化的方式展示了Transformer模型的各个组件，包括自注意力机制、前馈网络等，让用户能够直观地看到数据在模型中的流动和处理过程。该工具对于教育和研究领域具有重要意义，可以帮助学生和研究人员更好地理解自然语言处理领域的先进技术。

基于Transformer的文本到音乐生成模型

MusiConGen是一个基于Transformer的文本到音乐生成模型，它通过时间条件增强对节奏和和弦的控制。该模型从预训练的MusicGen-melody框架中微调而来。它使用符号表示的和弦和节奏控制，并结合五种不同风格的文本描述来生成样本。生成样本的和弦通过BTC和弦识别模型进行估计，如论文中所述。

多模态和多任务模型训练框架

4M是一个用于训练多模态和多任务模型的框架，能够处理多种视觉任务，并且能够进行多模态条件生成。该模型通过实验分析展示了其在视觉任务上的通用性和可扩展性，为多模态学习在视觉和其他领域的进一步探索奠定了基础。

大型视频语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B-Base 是由 DAMO-NLP-SG 开发的大型视频语言模型，专注于视频内容的理解与生成。该模型在视觉问答和视频字幕生成方面展现出卓越的性能，通过先进的空间时间建模和音频理解能力，为用户提供了一种新的视频内容分析工具。它基于 Transformer 架构，能够处理多模态数据，结合文本和视觉信息，生成准确且富有洞察力的输出。

通过交互式3D生成技术，实现高质量且可控的3D模型创建。

Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。

基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。

ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。

从单张图片生成高质量3D视图和新颖视角的3D生成技术

Stable Video 3D是Stability AI推出的新模型，它在3D技术领域取得了显著进步，与之前发布的Stable Zero123相比，提供了大幅改进的质量和多视角支持。该模型能够在没有相机条件的情况下，基于单张图片输入生成轨道视频，并且能够沿着指定的相机路径创建3D视频。

从单张图片快速生成3D对象

TripoSR是由Stability AI与Tripo AI合作开发的3D对象重建模型，能够从单张图片在不到一秒钟的时间内生成高质量的3D模型。该模型在低推理预算下运行，无需GPU，适用于广泛的用户和应用场景。模型权重和源代码已在MIT许可下发布，允许商业化、个人和研究使用。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

高分辨率3D内容生成的多视图高斯模型

LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。

大型世界模型，理解视频与语言

Large World Models是一个利用RingAttention技术训练的神经网络，专注于处理长视频和语言序列，以理解人类知识和多模态世界。它通过大规模数据集训练，实现了前所未有的上下文大小，并开源了一系列70亿参数的模型，能够处理超过100万标记的文本和视频。

ComfyUI 3D处理插件包

ComfyUI-3D-Pack是一个强大的3D处理插件集合,它为ComfyUI提供了处理3D模型(网格、纹理等)的能力,集成了各种前沿3D重建和渲染算法,如3D高斯采样、NeRF不同iable渲染等,可以实现单视角图像快速重建3D高斯模型,并可转换为三角网格模型,同时还提供了交互式3D可视化界面。

从图像或视频中执行多种推断

PRISMA是一个计算摄影管道,可以从任何图像或视频中执行多种推断。就像光线通过棱镜折射成不同的波长一样,这个管道将图像扩展成可用于3D重建或实时后期处理操作的数据。它结合了不同的算法和开源的预训练模型,比如单目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相机姿态(colmap)等。结果带存储在与输入文件同名的文件夹中,每个band以.png或.mp4文件的形式单独存储。对于视频,在最后一步,它会尝试执行稀疏重建,可用于NeRF(如NVidia的Instant-ngp)或高斯扩散训练。推断出的深度信息默认导出为可以使用LYGIA的heatmap GLSL/HLSL采样实时解码的热度图,而光流编码为HUE(角度)和饱和度,也可以使用LYGIA的光流GLSL/HLSL采样器实时解码。