用于高质量高效3D重建和生成的大型高斯重建模型
GRM是一种大规模的重建模型,能够在0.1秒内从稀疏视图图像中恢复3D资产,并且在8秒内实现生成。它是一种前馈的基于Transformer的模型,能够高效地融合多视图信息将输入像素转换为像素对齐的高斯分布,这些高斯分布可以反投影成为表示场景的密集3D高斯分布集合。我们的Transformer架构和使用3D高斯分布的方式解锁了一种可扩展、高效的重建框架。大量实验结果证明了我们的方法在重建质量和效率方面优于其他替代方案。我们还展示了GRM在生成任务(如文本到3D和图像到3D)中的潜力,通过与现有的多视图扩散模型相结合。
从单张图片生成高质量3D视图和新颖视角的3D生成技术
Stable Video 3D是Stability AI推出的新模型,它在3D技术领域取得了显著进步,与之前发布的Stable Zero123相比,提供了大幅改进的质量和多视角支持。该模型能够在没有相机条件的情况下,基于单张图片输入生成轨道视频,并且能够沿着指定的相机路径创建3D视频。
高分辨率3D内容生成的多视图高斯模型
LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。
稳定扩散:距离快速多样的文本生成3D仅一步之遥
HexaGen3D是一种用于从文本提示生成高质量3D资产的创新方法。它利用大型预训练的2D扩散模型,通过微调预训练的文本到图像模型来联合预测6个正交投影和相应的潜在三面体,然后解码这些潜在值以生成纹理网格。HexaGen3D不需要每个样本的优化,可在7秒内从文本提示中推断出高质量且多样化的对象,相较于现有方法,提供了更好的质量与延迟权衡。此外,HexaGen3D对于新对象或组合具有很强的泛化能力。
© 2024 AIbase 备案号:闽ICP备2023012347号-1