产品库

高质量3D数字化身生成模型

RODIN Diffusion是一款AI系统，可自动生成高度详细的3D数字化身。生成的数字化身可以以前所未有的质量自由地360度查看。该模型显著加速了传统复杂的3D建模过程，并为3D艺术家开辟了新的机会。 RODIN模型架构：该3D数字化身扩散模型经过训练，可以生成以神经辐射场表示的3D数字化身。我们基于最先进的生成技术（扩散模型）进行3D建模。我们使用三平面表示来分解数字化身的神经辐射场，可以通过扩散模型明确地对其进行建模，并通过体积渲染将其渲染为图像。所提出的3D感知卷积在保持3D扩散建模完整性的同时带来了所需的计算效率。整个生成过程是一个分层过程，使用级联扩散模型进行多尺度建模。一旦训练了生成模型，就可以根据来自输入图像、文本提示或随机噪声的潜在代码来控制数字化身生成。 RODIN Diffusion模型的可视化。请参阅论文Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion以获取更多详细信息。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

新一代骁龙X系列，搭载NPU，为创作者带来革新工具。

Snapdragon X Series是高通推出的新一代产品系列，通过搭载神经处理单元（NPU），为创作者提供了强大的AI算力。这一系列产品能够显著提升移动设备在图像处理、音频制作和3D建模等方面的性能，同时延长电池续航，为用户提供前所未有的移动创作体验。Snapdragon X Series的推出，标志着移动设备在创意工作领域的一次重大飞跃，使得专业级的创作工具可以随时随地被使用。

快速生成高质量的3D人头模型

GGHead是一种基于3D高斯散射表示的3D生成对抗网络（GAN），用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性，预测一组3D高斯属性，从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性，并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度，确保邻近渲染像素来自UV空间中相近的高斯。

设计你梦想中的家

Kanai是一个在线设计平台，允许用户通过3D扫描和模型创建来设计他们梦想中的家。用户可以导入房间和家具的3D模型，分享他们的设计愿景，并与他人协作。Kanai利用先进的3D技术，为用户提供了一个直观且互动性强的设计体验，帮助他们将想象变为现实。

使用多照明合成的扩散方法重新照明辐射场

这是一种通过利用从2D图像扩散模型提取的先验来创建可重新照明的辐射场的方法。该方法能够将单照明条件下捕获的多视图数据转换为具有多照明效果的数据集，并通过3D高斯splats表示可重新照明的辐射场。这种方法不依赖于精确的几何形状和表面法线，因此更适合处理具有复杂几何形状和反射BRDF的杂乱场景。

通过生成式AI激活人类潜能

Stability AI是一个专注于生成式人工智能技术的公司，提供多种AI模型，包括文本到图像、视频、音频、3D和语言模型。这些模型能够处理复杂提示，生成逼真的图像和视频，以及高质量的音乐和音效。公司提供灵活的许可选项，包括自托管许可和平台API，以满足不同用户的需求。Stability AI致力于通过开放模型，为全球每个人提供高质量的AI服务。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

构建协作AI系统，自动化工作流生成

GenAgent是一个框架，它通过创建工作流来构建协作AI系统，并将这些工作流转换为代码，以便大型语言模型（LLM）代理更好地理解。GenAgent能够从人类设计的工作中学习并创造新的工作流，生成的工作流可以被解释为协作系统，以完成复杂任务。

创意数字艺术作品展示平台

Render Artist 是一个展示数字艺术作品的平台，包括3D建模、动画、AI生成艺术等。它为艺术家提供了一个展示他们从草图到成品渲染作品的空间，同时也为观众提供了欣赏和学习数字艺术的机会。该平台强调创意和技术的结合，展示了数字艺术的多样性和创新性。

从单张图片创建逼真的3D头像

HeadGAP是一个先进的3D头像创建模型，它能够从少量甚至单张目标人物的图片中创建出逼真且可动画化的3D头像。该模型通过利用大规模多视角动态数据集来学习3D头部先验知识，并通过高斯Splatting基础的自解码网络实现动态建模。HeadGAP通过身份共享编码和个性化潜在代码来学习高斯原语的属性，实现了快速的头像个性化定制。

创建3D模型的在线平台

Prompt3D是一个在线平台，允许用户通过简单的文本提示来生成3D模型。这项技术结合了人工智能和3D建模，使得设计过程更加快速和直观。它适用于需要快速原型设计和3D可视化的专业人士和爱好者。

快速生成带纹理的3D模型

SF3D是一个基于深度学习的3D资产生成模型，它能够从单张图片中快速生成具有UV展开和材质参数的带纹理3D模型。与传统方法相比，SF3D特别针对网格生成进行了训练，集成了快速UV展开技术，能够迅速生成纹理而不是依赖顶点颜色。此外，该模型还能学习材质参数和法线贴图，以提高重建模型的视觉质量。SF3D还引入了一个去照明步骤，有效去除低频照明效果，确保重建的网格在新的照明条件下易于使用。

快速从单张图片生成3D模型。

Stable Fast 3D (SF3D) 是一个基于TripoSR的大型重建模型，能够从单张物体图片生成带有纹理的UV展开3D网格资产。该模型训练有素，能在不到一秒的时间内创建3D模型，具有较低的多边形计数，并且进行了UV展开和纹理处理，使得模型在下游应用如游戏引擎或渲染工作中更易于使用。此外，模型还能预测每个物体的材料参数（粗糙度、金属感），在渲染过程中增强反射行为。SF3D适用于需要快速3D建模的领域，如游戏开发、电影特效制作等。

大型多模态模型，处理多图像、视频和3D数据。

LLaVA-NeXT是一个大型多模态模型，它通过统一的交错数据格式处理多图像、视频、3D和单图像数据，展示了在不同视觉数据模态上的联合训练能力。该模型在多图像基准测试中取得了领先的结果，并在不同场景中通过适当的数据混合提高了之前单独任务的性能或保持了性能。

从单张图片生成3D角色模型

CharacterGen是一个高效的3D角色生成框架，能够从单张输入图片生成具有高质量和一致外观的3D姿势统一的角色网格。它通过流线化的生成管道和图像条件多视图扩散模型，有效校准输入姿势到规范形式，同时保留输入图像的关键属性，解决了多样化姿势带来的挑战。它还采用了基于变换器的通用稀疏视图重建模型，以及纹理反投影策略，生成高质量的纹理图。

3D生成建模的高精度和结构化辐射表示

GaussianCube是一种创新的3D辐射表示方法，它通过结构化和显式的表示方式，极大地促进了三维生成建模的发展。该技术通过使用一种新颖的密度约束高斯拟合算法和最优传输方法，将高斯函数重新排列到预定义的体素网格中，从而实现了高精度的拟合。与传统的隐式特征解码器或空间无结构的辐射表示相比，GaussianCube具有更少的参数和更高的质量，使得3D生成建模变得更加容易。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

从单张图片生成高质量3D网格模型

Unique3D是由清华大学团队开发的一项技术，能够从单张图片中生成高保真度的纹理3D网格模型。这项技术在图像处理和3D建模领域具有重要意义，它使得用户能够快速将2D图像转化为3D模型，为游戏开发、动画制作、虚拟现实等领域提供了强大的技术支持。

从多视角图像创建3D场景

CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道，将生成的视图转化为可交互渲染的3D表示。整个处理时间（包括视图生成和3D重建）仅需一分钟。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

高效3D网格生成框架

InstantMesh是一个基于LRM架构的前馈框架，用于从单张图像高效生成3D网格。它支持低内存GPU环境，并能生成具有纹理映射的3D网格模型。

在线VR看房与虚拟家装的技术提供者

123看房是国内主流看房技术方案的定义者，通过全景照片进行3D建模技术的始创者。提供在线VR看房与虚拟家装的技术，可以通过全景图生成3D模型。其技术创造了低成本、高效率、易操作的全景看房和虚拟家装方案。该产品适用于房地产行业，可以实现远程看房、720全景、商业空间等多种功能。

基于视觉观察自动估计人体及服装的物理参数的框架

PhysAvatar是一个结合逆向渲染和逆向物理的创新框架,可以从多视角视频数据中自动估计人体形状、外表以及服装的物理参数。它采用网格对齐的4D高斯时空网格跟踪技术和基于物理的逆向渲染器来估计内在的材料属性。PhysAvatar集成了物理模拟器,使用基于梯度的优化方法以原理性的方式估计服装的物理参数。这些创新能力使PhysAvatar能够在训练数据之外的运动和照明条件下,渲染出高质量的穿着宽松衣服的新视角头像。

CRM是一个高保真的单图像到3D纹理网格的卷积重建模型

CRM是一个高保真的单图像到3D纹理网格的生成模型，它通过整合几何先验到网络设计中，能够从单个输入图像生成六个正交视图图像，然后利用卷积U-Net创建高分辨率的三平面（triplane）。CRM进一步使用Flexicubes作为几何表示，便于在纹理网格上进行直接的端到端优化。整个模型能够在10秒内从图像生成高保真的纹理网格，无需测试时优化。

创意现实工作室，打造虚拟角色

D-ID Creative Reality Studio是一个在线平台，允许用户创建和定制虚拟角色。用户可以利用该平台的高级工具和功能，设计出独特的3D角色，用于游戏、动画、虚拟现实等应用。该平台提供了丰富的定制选项和高度的可扩展性，支持用户将创意变为现实。

非刚体3D模型的文本生成和重建框架

AnimatableDreamer是一个从单眼视频中生成和重建可动画非刚体3D模型的框架。它能够生成不同类别的非刚体对象,同时遵循从视频中提取的对象运动。关键技术是提出的典范分数蒸馏方法,将生成维度从4D简化到3D,在视频中的不同帧进行降噪,同时在唯一的典范空间内进行蒸馏过程。这样可以保证时间一致的生成和不同姿态下的形态逼真性。借助可微分变形,AnimatableDreamer将3D生成器提升到4D,为非刚体3D模型的生成和重建提供了新视角。此外,与一致性扩散模型的归纳知识相结合,典范分数蒸馏可以从新视角对重建进行正则化,从而闭环增强生成过程。大量实验表明,该方法能够从单眼视频生成高灵活性的文本指导3D模型,同时重建性能优于典型的非刚体重建方法。

通过AI生成3D模型

VoxCraft是一个通过AI生成3D模型的网站。它可以快速生成高质量的3D模型,无需用户具备3D建模经验。这些AI生成的模型可以无缝地导入流行的3D软件如Blender,非常方便地集成到用户的3D工作流程中。VoxCraft拥有简单易用的界面,用户仅需提供少量文本描述,就可以获得设计完美的3D模型。它大大提高了3D内容创作的效率。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

通过无光照纹理扩散模型任意绘制3D

Paint3D能够为无纹理的3D网格生成高分辨率、无光照效果、多样化的2K UV纹理图,同时基于文本或图像输入进行条件化生成。它通过预训练的考虑深度信息的2D扩散模型首先生成视角条件图像并进行多视角纹理融合来获得初始的粗糙纹理图。然后它使用专门的UV补全和UVHD纹理模型来去除光照效果和填补不完整区域。Paint3D可以生成语义一致、无光照的高质量2K UV纹理,从而显著提升无纹理3D物体的纹理生成水平。