产品库

高效渲染大规模场景的实时视图合成技术

Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术，它通过树状结构存储高斯基元，并通过渐进式训练策略从图像中端到端重建，有效克服局部最小值，实现实时渲染数百万平方千米的区域，是渲染大规模场景的重要进步。

场景感知的语义导航与指令引导控制模型

SCENIC是一个文本条件的场景交互模型，能够适应具有不同地形的复杂场景，并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示，来导航3D场景。SCENIC利用层次化推理场景的方法，结合运动与文本之间的帧对齐，实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作，对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。

创建可动的4D人像化身模型

CAP4D是一种利用可变形多视图扩散模型（Morphable Multi-View Diffusion Models）来创建4D人像化身的技术。它能够从任意数量的参考图像生成不同视角和表情的图像，并将其适配到一个4D化身上，该化身可以通过3DMM控制并实时渲染。这项技术的主要优点包括高度逼真的图像生成、多视角的适应性以及实时渲染的能力。CAP4D的技术背景是基于深度学习和图像生成领域的最新进展，尤其是在扩散模型和3D面部建模方面。由于其高质量的图像生成和实时渲染能力，CAP4D在娱乐、游戏开发、虚拟现实等领域具有广泛的应用前景。目前，该技术是免费提供代码的，但具体的商业化应用可能需要进一步的授权和定价。

高效处理分钟级体素视频数据的新技术

Long Volumetric Video是一种用于重建多视角RGB视频中的长体素视频的新技术。该技术通过Temporal Gaussian Hierarchy这种新颖的4D表示方法，紧凑地模拟长体素视频，解决了传统动态视图合成方法在处理长视频时内存占用大、渲染速度慢的问题。这项技术的主要优点包括训练成本低、渲染速度快和存储使用少，是首个能够高效处理分钟级体素视频数据同时保持高质量渲染的技术。

基于条件扩散模型的人类-物体交互合成技术

Controllable Human-Object Interaction Synthesis (CHOIS) 是一种先进的技术，它能够根据语言描述、初始物体和人类状态以及稀疏物体路径点来同时生成物体运动和人类运动。这项技术对于模拟真实的人类行为至关重要，尤其在需要精确手-物体接触和由地面支撑的适当接触的场景中。CHOIS通过引入物体几何损失作为额外的监督信息，以及在训练扩散模型的采样过程中设计指导项来强制执行接触约束，从而提高了生成物体运动与输入物体路径点之间的匹配度，并确保了交互的真实性。

音频驱动的高保真3D人头化身合成技术

GaussianSpeech是一种新颖的方法，它能够从语音信号中合成高保真度的动画序列，创建逼真、个性化的3D人头化身。该技术通过结合语音信号与3D高斯绘制技术，捕捉人类头部表情和细节动作，包括皮肤皱褶和更细微的面部运动。GaussianSpeech的主要优点包括实时渲染速度、自然的视觉动态效果，以及能够呈现多样化的面部表情和风格。该技术背后是大规模多视角音频-视觉序列数据集的创建，以及音频条件变换模型的开发，这些模型能够直接从音频输入中提取唇部和表情特征。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

从单张图片创建可控3D和4D场景的视频扩散模型

DimensionX是一个基于视频扩散模型的3D和4D场景生成技术，它能够从单张图片中创建出具有可控视角和动态变化的三维和四维场景。这项技术的主要优点包括高度的灵活性和逼真度，能够根据用户提供的提示词生成各种风格和主题的场景。DimensionX的背景信息显示，它是由一群研究人员共同开发的，旨在推动图像生成技术的发展。目前，该技术是免费提供给研究和开发社区使用的。

使用手机扫描创建逼真可重新照明的头像模型

URAvatar是一种新型的头像生成技术，它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同，URAvatar直接模拟学习辐射传递，将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型，并且能够实时驱动和重新照明。

文本驱动的3D头像生成与全身动画表达

DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。

快速生成高质量的3D人头模型

GGHead是一种基于3D高斯散射表示的3D生成对抗网络（GAN），用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性，预测一组3D高斯属性，从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性，并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度，确保邻近渲染像素来自UV空间中相近的高斯。

一种用于沉浸式以人为中心的体积视频的鲁棒双高斯表示方法

Robust Dual Gaussian Splatting (DualGS) 是一种新型的基于高斯的体积视频表示方法，它通过优化关节高斯和皮肤高斯来捕捉复杂的人体表演，并实现鲁棒的跟踪和高保真渲染。该技术在SIGGRAPH Asia 2024上展示，能够实现在低端移动设备和VR头显上的实时渲染，提供用户友好和互动的体验。DualGS通过混合压缩策略，实现了高达120倍的压缩比，使得体积视频的存储和传输更加高效。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

高效、表现力强、可编辑的数字头像生成

E3Gen是一种新型的数字头像生成方法，能够实时生成高保真度的头像，具有详细的衣物褶皱，并支持多种视角和全身姿势的全面控制，以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中，解决了3D高斯与当前生成流程不兼容的问题，并探索了在涉及多个主体的训练中3D高斯的表现力动画。

从单一图像或文本生成可探索的3D场景

VividDream是一项创新技术，能够从单一输入图像或文本提示生成具有环境动态的可探索4D场景。它首先将输入图像扩展为静态3D点云，然后使用视频扩散模型生成动画视频集合，并通过优化4D场景表示来实现一致性运动和沉浸式场景探索。这项技术为生成基于多样真实图像和文本提示的引人入胜的4D体验提供了可能。

一种用于实时渲染大型数据集的分层3D高斯表示方法

这项研究提出了一种新的分层3D高斯表示方法，用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案，可以高效渲染远处内容，并在不同层次之间实现平滑过渡。该技术能够适应可用资源，通过分而治之的方法训练大型场景，并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。

3D场景创造革命，电影级效果

Lixel CyberColor（LCC），由XGRIDS公司研发的先进技术产品，为3D场景的创建带来革命性变化。LCC能自动生成电影级效果的无限大3D场景，使用Multi-SLAM和高斯溅射技术。其核心优势在于精确捕捉并复现真实细节，为虚拟现实、游戏开发、电影制作等领域带来真实性体验。 XGRIDS作为一套集成软硬件解决方案，展现出在微米到千米级别的高精度3D重建和智能空间计算方面的强大能力。采用Multi-SLAM算法和优化的3DGS技术，自动创建超逼真大型3D模型，沉浸式体验。优化算法实现逼真渲染效果，通过数据压缩技术将模型大小减小90%，LiDAR集成技术实现厘米级模型精度，提供AI驱动的动态物体去除算法。推出LCC插件和SDK，在Unity、UE、Web、移动平台使用，为3D内容提供强大支持。

实时3D角色生成平台

Museclip是一个基于3D模型的实时人物设计平台,拥有智能编辑、魔法画笔和文字提示等功能,可以在几秒内将3D人物基础模型转换成逼真的角色形象,大幅提高人物设计的效率。它的主要优势有:实时渲染技术,快速定制化,智能简洁的设计流程,为用户提供极大的创作自由度。

扩展3D场景生成模型

BlockFusion是一种基于扩散的模型，可以生成3D场景，并无缝地将新的块整合到场景中。它通过对随机裁剪自完整3D场景网格的3D块数据集进行训练。通过逐块拟合，所有训练块都被转换为混合神经场：其中包含几何特征的三面体，然后是用于解码有符号距离值的多层感知器（MLP）。变分自动编码器用于将三面体压缩到潜在的三面体空间，对其进行去噪扩散处理。扩散应用于潜在表示，可以实现高质量和多样化的3D场景生成。在生成过程中扩展场景时，只需附加空块以与当前场景重叠，并外推现有的潜在三面体以填充新块。外推是通过在去噪迭代过程中使用来自重叠三面体的特征样本来调节生成过程完成的。潜在三面体外推产生语义和几何上有意义的过渡，与现有场景和谐地融合。使用2D布局调节机制来控制场景元素的放置和排列。实验结果表明，BlockFusion能够生成多样化、几何一致且质量高的室内外大型3D场景。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

使用单眼视频记录产生实时4D头像合成的神经网络方法

BakedAvatar是一种用于实时神经头像合成的全新表示，可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格，并计算可烘焙到静态纹理中的表情、姿势和视角相关外观，从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线，包括学习连续变形、流形和辐射场，提取分层网格和纹理，以及通过微分光栅化来微调纹理细节。实验结果表明，我们的表示产生了与其他最先进方法相当的综合结果，并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果，包括视图合成、面部重现、表情编辑和姿势编辑，所有这些都以交互式帧率进行。

快速从单视图训练高保真的人体3D高斯模型

Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。

无标记实时动作捕捉技术

Cyanpuppets是一个专注于2D视频生成3D动作模型的AI算法团队。他们的无标记动作捕捉系统通过2个RGB摄像头完成超过208个关键点的捕捉，支持UE5和UNITY 2021版本，延迟仅为0.1秒。Cyanpuppets支持大多数骨骼标准，其技术广泛应用于游戏、电影和其他娱乐领域。

Avataar是一个基于人工智能的可视化故事讲解平台

Avataar是一个利用生成式AI技术为用户提供沉浸式可视化内容创作能力的平台。它能够帮助用户无需代码快速制作3D空间场景、虚拟角色以及交互式视频。Avataar使创作者能够更高效地讲述故事,为消费者带来更好的可视化体验。该平台提供基于网页的零代码解决方案,用户可以使用Google、Apple或邮箱账号快速登录。Avataar拥有强大的AI生成能力,助力用户进行视觉化创作,大大提升工作效率。

编辑3D场景的指令式NeRF编辑器

Instruct-NeRF2NeRF是一款用于编辑NeRF场景的指令式编辑器。它使用图像条件扩散模型（InstructPix2Pix）逐步编辑输入图像，同时优化底层场景，从而得到一个优化的3D场景，该场景符合编辑指令。我们证明了我们的方法能够编辑大规模的现实世界场景，并且能够比之前的工作实现更真实、更有针对性的编辑。

3D建模无忧

Sloyd是一个快速生成3D模型的平台。选择一个生成器，进行微调，即可完成。可以通过实时预览来生成模型。Sloyd提供不断扩展的生成器库，快速定制模型，可用于实时渲染和多种级别的细节。生成的模型可以根据需要进行定制，并且已经进行了UV展开和优化，方便进行贴图和使用。Sloyd适用于各种风格的模型，提供无限的变化，并且支持实时生成。