3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。
需求人群：
"3DTopia-XL 适合3D设计师、游戏开发者和视觉效果专家，因为它能够快速生成高质量的3D模型，并且可以轻松集成到现有的图形和渲染工作流程中。"
使用场景示例：
设计师使用3DTopia-XL从概念草图快速生成3D模型。
游戏开发者利用该技术生成游戏中的复杂3D环境。
视觉效果专家使用3DTopia-XL创建电影中的特效场景。
产品特色：
使用扩散变换器（DiT）进行3D资产生成。
基于PrimX的3D表示，将形状、纹理和材质编码到紧凑的张量中。
从文本或图像输入快速生成3D PBR资产。
支持将生成的3D资产无缝导入Blender进行渲染。
提供图像到3D的生成模型。
支持导出GLB格式的3D网格。
使用教程：
访问3DTopia-XL网站并了解产品概述。
根据需要选择文本或图像输入作为3D资产生成的依据。
使用扩散变换器（DiT）进行3D资产的生成。
在生成过程中，监控3D模型的质量和细节。
将生成的3D资产导出为GLB格式。
在Blender中打开并渲染3D模型。
根据需要调整3D模型的纹理和材质。
浏览量：12
最新流量情况
月访问量
1119
平均访问时长
00:00:00
每次访问页数
1.00
跳出率
100.00%
流量来源
直接访问
23.71%
自然搜索
0
邮件
0
外链引荐
11.61%
社交媒体
64.68%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
100.00%
利用扩散变换器生成高质量的3D资产。
3DTopia-XL 是一个基于扩散变换器（DiT）构建的高质量3D资产生成技术，使用一种新颖的3D表示方法 PrimX。该技术能够将3D形状、纹理和材质编码到一个紧凑的N x D张量中，每个标记是一个体积原语，锚定在形状表面上，用体素化载荷编码符号距离场（SDF）、RGB和材质。这一过程仅需5秒即可从文本/图像输入生成3D PBR资产，适用于图形管道。
从单目视频生成高质量4D对象的新型框架
DreamMesh4D是一个结合了网格表示与稀疏控制变形技术的新型框架，能够从单目视频中生成高质量的4D对象。该技术通过结合隐式神经辐射场（NeRF）或显式的高斯绘制作为底层表示，解决了传统方法在空间-时间一致性和表面纹理质量方面的挑战。DreamMesh4D利用现代3D动画流程的灵感，将高斯绘制绑定到三角网格表面，实现了纹理和网格顶点的可微优化。该框架开始于由单图像3D生成方法提供的粗糙网格，通过均匀采样稀疏点来构建变形图，以提高计算效率并提供额外的约束。通过两阶段学习，结合参考视图光度损失、得分蒸馏损失以及其他正则化损失，实现了静态表面高斯和网格顶点以及动态变形网络的学习。DreamMesh4D在渲染质量和空间-时间一致性方面优于以往的视频到4D生成方法，并且其基于网格的表示与现代几何流程兼容，展示了其在3D游戏和电影行业的潜力。
基于参考增强扩散的3D内容生成模型
Phidias是一个创新的生成模型，它利用扩散技术进行参考增强的3D生成。该模型通过图像、文本或3D条件生成高质素的3D资产，并且能够在几秒钟内完成。它通过整合三个关键组件：动态调节条件强度的Meta-ControlNet、动态参考路由以及自参考增强，显著提高了生成质量、泛化能力和可控性。Phidias为使用文本、图像和3D条件进行3D生成提供了统一框架，并具有多种应用场景。
Qihoo-T2X，一款针对文本到任意任务的高效扩散变换器模型。
Qihoo-T2X是由360CVGroup开发的一个开源项目，它代表了一种创新的文本到任意任务（Text-to-Any）的扩散变换器（DiT）架构范式。该项目旨在通过代理令牌技术，提高文本到任意任务的处理效率。Qihoo-T2X项目是一个正在进行中的项目，其团队承诺将持续优化和增强其功能。
3D生成模型的创新突破
VFusion3D是一种基于预训练的视频扩散模型构建的可扩展3D生成模型。它解决了3D数据获取困难和数量有限的问题，通过微调视频扩散模型生成大规模合成多视角数据集，训练出能够从单张图像快速生成3D资产的前馈3D生成模型。该模型在用户研究中表现出色，用户超过90%的时间更倾向于选择VFusion3D生成的结果。
视频生成的轨迹导向扩散变换器
Tora是一种基于扩散变换器（DiT）的视频生成模型，它通过集成文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性，允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色，为视频内容创作提供了新的可能性。
一种通过3D感知递归扩散生成3D模型的框架
Ouroboros3D是一个统一的3D生成框架，它将基于扩散的多视图图像生成和3D重建集成到一个递归扩散过程中。该框架通过自条件机制联合训练这两个模块，使它们能够相互适应，以实现鲁棒的推理。在多视图去噪过程中，多视图扩散模型使用由重建模块在前一时间步渲染的3D感知图作为附加条件。递归扩散框架与3D感知反馈相结合，提高了整个过程的几何一致性。实验表明，Ouroboros3D框架在性能上优于将这两个阶段分开训练的方法，以及在推理阶段将它们结合起来的现有方法。
通过交互式3D生成技术，实现高质量且可控的3D模型创建。
Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。
用于高质量高效3D重建和生成的大型高斯重建模型
GRM是一种大规模的重建模型,能够在0.1秒内从稀疏视图图像中恢复3D资产,并且在8秒内实现生成。它是一种前馈的基于Transformer的模型,能够高效地融合多视图信息将输入像素转换为像素对齐的高斯分布,这些高斯分布可以反投影成为表示场景的密集3D高斯分布集合。我们的Transformer架构和使用3D高斯分布的方式解锁了一种可扩展、高效的重建框架。大量实验结果证明了我们的方法在重建质量和效率方面优于其他替代方案。我们还展示了GRM在生成任务(如文本到3D和图像到3D)中的潜力,通过与现有的多视图扩散模型相结合。
从单张图片生成高质量3D视图和新颖视角的3D生成技术
Stable Video 3D是Stability AI推出的新模型，它在3D技术领域取得了显著进步，与之前发布的Stable Zero123相比，提供了大幅改进的质量和多视角支持。该模型能够在没有相机条件的情况下，基于单张图片输入生成轨道视频，并且能够沿着指定的相机路径创建3D视频。
PIXART-Σ是一个用于4K文本到图像生成的扩散变换器模型（Diffusion Transformer）
PIXART-Σ是一个直接生成4K分辨率图像的扩散变换器模型，相较于前身PixArt-α，它提供了更高的图像保真度和与文本提示更好的对齐。PIXART-Σ的关键特性包括高效的训练过程，它通过结合更高质量的数据，从“较弱”的基线模型进化到“更强”的模型，这一过程被称为“弱到强训练”。PIXART-Σ的改进包括使用更高质量的训练数据和高效的标记压缩。
高分辨率3D内容生成的多视图高斯模型
LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。
稳定扩散：距离快速多样的文本生成3D仅一步之遥
HexaGen3D是一种用于从文本提示生成高质量3D资产的创新方法。它利用大型预训练的2D扩散模型，通过微调预训练的文本到图像模型来联合预测6个正交投影和相应的潜在三面体，然后解码这些潜在值以生成纹理网格。HexaGen3D不需要每个样本的优化，可在7秒内从文本提示中推断出高质量且多样化的对象，相较于现有方法，提供了更好的质量与延迟权衡。此外，HexaGen3D对于新对象或组合具有很强的泛化能力。
© 2024 AIbase 备案号：闽ICP备08105208号-14