产品库

一个高效的无边界3D城市生成框架，使用3D高斯绘制技术实现快速生成。

GaussianCity是一个专注于高效生成无边界3D城市的框架，基于3D高斯绘制技术。该技术通过紧凑的3D场景表示和空间感知的高斯属性解码器，解决了传统方法在生成大规模城市场景时面临的内存和计算瓶颈。其主要优点是能够在单次前向传递中快速生成大规模3D城市，显著优于现有技术。该产品由南洋理工大学S-Lab团队开发，相关论文发表于CVPR 2025，代码和模型已开源，适用于需要高效生成3D城市环境的研究人员和开发者。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

Spell 是一个 AI 模型，可从图像生成 3D 世界，支持多种渲染技术。

Spell 是 Spline 推出的 AI 模型，能够从单张图像生成完整的 3D 场景。它基于扩散模型技术，通过结合真实数据和合成数据进行训练，能够在几分钟内生成具有多视图一致性的 3D 世界。该技术的主要优点是能够快速生成高质量的 3D 场景，并支持多种渲染技术如高斯绘制和神经辐射场等。Spell 的出现为 3D 设计领域带来了革命性的变化，使创作者能够更高效地生成和探索 3D 场景。目前，Spell 仍处于开发阶段，团队计划频繁更新模型以提升质量和一致性。

3D高斯生成技术，实现任意未摆姿势图像的3D重建

LucidFusion是一个灵活的端到端前馈框架，用于从未摆姿势、稀疏和任意数量的多视图图像中生成高分辨率3D高斯。该技术利用相对坐标图（RCM）来对齐不同视图间的几何特征，使其在3D生成方面具有高度适应性。LucidFusion能够与原始单图像到3D的流程无缝集成，生成512x512分辨率的详细3D高斯，适合广泛的应用场景。

3D头像重建与实时动画生成技术

GAGAvatar是一种基于高斯模型的3D头像重建与动画生成技术，它能够在单张图片的基础上快速生成3D头像，并实现实时的面部表情动画。这项技术的主要优点包括高保真度的3D模型生成、快速的渲染速度以及对未见身份的泛化能力。GAGAvatar通过创新的双提升方法捕捉身份和面部细节，利用全局图像特征和3D可变形模型来控制表情，为数字头像的研究和应用提供了新的基准。

高效3D高斯重建模型，实现大场景快速重建

Long-LRM是一个用于3D高斯重建的模型，能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像，并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块，通过高效的token合并和高斯修剪步骤，在保证质量的同时提高了效率。与传统的前馈模型相比，Long-LRM能够一次性重建整个场景，而不是仅重建场景的一小部分。在大规模场景数据集上，如DL3DV-140和Tanks and Temples，Long-LRM的性能可与基于优化的方法相媲美，同时效率提高了两个数量级。

从单目视频生成高质量4D对象的新型框架

DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。

3D场景重建与动态物体追踪技术

EgoGaussian是一项先进的3D场景重建与动态物体追踪技术，它能够仅通过RGB第一人称视角输入，同时重建3D场景并动态追踪物体的运动。这项技术利用高斯散射的独特离散特性，从背景中分割出动态交互，并通过片段级别的在线学习流程，利用人类活动的动态特性，以时间顺序重建场景的演变并追踪刚体物体的运动。EgoGaussian在野外视频的挑战中超越了先前的NeRF和动态高斯方法，并且在重建模型的质量上也表现出色。

高效渲染大规模场景的实时视图合成技术

Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术，它通过树状结构存储高斯基元，并通过渐进式训练策略从图像中端到端重建，有效克服局部最小值，实现实时渲染数百万平方千米的区域，是渲染大规模场景的重要进步。

用于编辑动态场景的稀疏控制高斯溅射技术

SC-GS是一种新型表示技术,将动态场景的运动和外观分别用稀疏控制点和密集高斯函数表示。它使用少量控制点学习紧凑的6自由度变换基,这些基可通过插值权重在局部插值,得到3D高斯函数的运动场。它采用变形MLP预测每个控制点的时变6自由度变换,降低学习复杂度,增强学习能力,实现时空连贯的运动模式。同时联合学习3D高斯函数、控制点的规范空间位置和变形MLP,重建3D场景的外观、几何和动态。在训练过程中,控制点的位置和数量会自适应调整以适应不同区域的运动复杂度,并采用尽可能刚性的损失函数强制运动的空间连续性和局部刚性。由于运动表示的显式稀疏性和外观分离,该方法实现了用户控制的运动编辑,同时保留高保真度外观。大量实验表明,该方法在新视图合成和高速渲染方面优于现有方法,并支持新的保留外观的运动编辑应用。

用于高质量高效3D重建和生成的大型高斯重建模型

GRM是一种大规模的重建模型,能够在0.1秒内从稀疏视图图像中恢复3D资产,并且在8秒内实现生成。它是一种前馈的基于Transformer的模型,能够高效地融合多视图信息将输入像素转换为像素对齐的高斯分布,这些高斯分布可以反投影成为表示场景的密集3D高斯分布集合。我们的Transformer架构和使用3D高斯分布的方式解锁了一种可扩展、高效的重建框架。大量实验结果证明了我们的方法在重建质量和效率方面优于其他替代方案。我们还展示了GRM在生成任务(如文本到3D和图像到3D)中的潜力,通过与现有的多视图扩散模型相结合。

免费创建和查看高斯3D模糊图像的工具

Polycam的高斯模糊创建工具可以让你免费将图像转换为沉浸式的3D模糊图像,你可以预览、分享和导出这些模糊图像。该工具支持20-200张PNG或JPG格式图像输入,输入图像需遵循影像测量最佳实践,保证图像清晰、均匀曝光和无运动模糊效果。生成的3D模糊可在Unity和Unreal等引擎中使用,插件不断更新以支持更多软件。该工具还提供Gallery功能用于浏览和分享社区创作。

ComfyUI 3D处理插件包

ComfyUI-3D-Pack是一个强大的3D处理插件集合,它为ComfyUI提供了处理3D模型(网格、纹理等)的能力,集成了各种前沿3D重建和渲染算法,如3D高斯采样、NeRF不同iable渲染等,可以实现单视角图像快速重建3D高斯模型,并可转换为三角网格模型,同时还提供了交互式3D可视化界面。

ComfyUI节点插件,支持3D处理

ComfyUI-3D-Pack是一个强大的3D处理节点插件包,它为ComfyUI提供了处理3D输入(网格、UV纹理等)的能力,使用了最前沿的算法,如3D高斯采样、神经辐射场等。这个项目可以让用户只用单张图片就可以快速生成3D高斯模型,并可以将高斯模型转换成网格,实现3D重建。它还支持多视图图像作为输入,允许在给定的3D网格上映射多视图渲染的纹理贴图。该插件包处于开发中,尚未正式发布到ComfyUI插件库,但已经支持诸如大型多视图高斯模型、三平面高斯变换器、3D高斯采样、深度网格三角剖分、3D文件加载保存等功能。它的目标是成为ComfyUI处理3D内容的强大工具。

文本到3D沉浸场景生成

Text2Immersion是一个优雅的从文本提示生成高质量3D沉浸场景的方法。我们提出的流水线首先使用预训练的2D扩散和深度估计模型逐步生成高斯云。接下来是对高斯云进行精炼,插值和精炼以增强生成场景的细节。与仅关注单个物体或室内场景,或采用缩小轨迹的主流方法不同,我们的方法可以生成包含各种物体的不同场景,甚至扩展到创造想象中的场景。因此,Text2Immersion可以对各种应用产生广泛的影响,如虚拟现实、游戏开发和自动内容创建。大量的评估证明我们的系统在渲染质量和多样性方面优于其他方法,并且继续推进面向文本的3D场景生成。

高效构建3D语言场

LangSplat通过将CLIP语言嵌入映射到一组3D高斯分布来构建3D语言场,实现了对3D场景进行开放词汇量查询。它避免了NeRF中的昂贵渲染过程,大大提高了效率。学习到的语言特征精确捕捉对象边界,提供了精确的3D语言场,没有需要后处理。LangSplat相比LERF提高了199倍的速度。

基于高斯点云的可驱动3D人体模型

D3GA是一个基于高斯点云的可驱动3D人体模型。它可以从多视角的视频中学习生成逼真的3D人体模型。模型使用3D高斯点云技术实时渲染,通过关节角度和关键点来驱动模型形变。与其他方法相比,在相同的训练和测试数据下,D3GA可以生成更高质量的结果。它适用于需要实时渲染和控制3D人体的应用。

快速从单视图训练高保真的人体3D高斯模型

Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。

3D高斯泼溅技术资源集合

3D高斯泼溅技术资源集合，涵盖生态系统与工具、研究论文、Unity高斯散射项目等内容。该技术在3D编辑、实时点云重照明、逆渲染、数据压缩、防锯齿等领域有广泛应用，对于对3D高斯泼溅技术感兴趣的人群具有很高的参考价值。

单文本/图像生成可导航3D场景

LucidDreamer是一种无域3D场景生成技术，通过充分利用现有大规模扩散生成模型的能力，可以从单个文本提示或单个图像生成可导航的3D场景。该方法具有梦境和对齐两个交替步骤，首先根据输入生成多视角一致的图像，然后将新生成的3D场景部分和谐地整合在一起。LucidDreamer生成的高度详细的高斯斑点与以往的3D场景生成方法相比没有目标场景域的限制。