产品库

高效处理分钟级体素视频数据的新技术

Long Volumetric Video是一种用于重建多视角RGB视频中的长体素视频的新技术。该技术通过Temporal Gaussian Hierarchy这种新颖的4D表示方法，紧凑地模拟长体素视频，解决了传统动态视图合成方法在处理长视频时内存占用大、渲染速度慢的问题。这项技术的主要优点包括训练成本低、渲染速度快和存储使用少，是首个能够高效处理分钟级体素视频数据同时保持高质量渲染的技术。

创建可动的4D人像化身模型

CAP4D是一种利用可变形多视图扩散模型（Morphable Multi-View Diffusion Models）来创建4D人像化身的技术。它能够从任意数量的参考图像生成不同视角和表情的图像，并将其适配到一个4D化身上，该化身可以通过3DMM控制并实时渲染。这项技术的主要优点包括高度逼真的图像生成、多视角的适应性以及实时渲染的能力。CAP4D的技术背景是基于深度学习和图像生成领域的最新进展，尤其是在扩散模型和3D面部建模方面。由于其高质量的图像生成和实时渲染能力，CAP4D在娱乐、游戏开发、虚拟现实等领域具有广泛的应用前景。目前，该技术是免费提供代码的，但具体的商业化应用可能需要进一步的授权和定价。

音频驱动的高保真3D人头化身合成技术

GaussianSpeech是一种新颖的方法，它能够从语音信号中合成高保真度的动画序列，创建逼真、个性化的3D人头化身。该技术通过结合语音信号与3D高斯绘制技术，捕捉人类头部表情和细节动作，包括皮肤皱褶和更细微的面部运动。GaussianSpeech的主要优点包括实时渲染速度、自然的视觉动态效果，以及能够呈现多样化的面部表情和风格。该技术背后是大规模多视角音频-视觉序列数据集的创建，以及音频条件变换模型的开发，这些模型能够直接从音频输入中提取唇部和表情特征。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

使用手机扫描创建逼真可重新照明的头像模型

URAvatar是一种新型的头像生成技术，它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同，URAvatar直接模拟学习辐射传递，将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型，并且能够实时驱动和重新照明。

文本驱动的3D头像生成与全身动画表达

DreamWaltz-G是一个创新的框架，用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中，提高了视角和人体姿势的一致性，从而生成高质量的头像，解决了多重面孔、额外肢体和模糊等问题。此外，混合3D高斯头像表示通过结合神经隐式场和参数化3D网格，实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效，无论是视觉质量还是动画表现力都超越了现有方法。此外，该框架还支持多种应用，包括人类视频重演和多主题场景组合。

快速生成高质量的3D人头模型

GGHead是一种基于3D高斯散射表示的3D生成对抗网络（GAN），用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性，预测一组3D高斯属性，从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性，并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度，确保邻近渲染像素来自UV空间中相近的高斯。

一种用于沉浸式以人为中心的体积视频的鲁棒双高斯表示方法

Robust Dual Gaussian Splatting (DualGS) 是一种新型的基于高斯的体积视频表示方法，它通过优化关节高斯和皮肤高斯来捕捉复杂的人体表演，并实现鲁棒的跟踪和高保真渲染。该技术在SIGGRAPH Asia 2024上展示，能够实现在低端移动设备和VR头显上的实时渲染，提供用户友好和互动的体验。DualGS通过混合压缩策略，实现了高达120倍的压缩比，使得体积视频的存储和传输更加高效。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

实时生成高细节表达性手势头像

XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建，并利用MANO姿势参数生成高细节的网格和渲染图，实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势，特别是在扩展现实和游戏领域，能够即时渲染出逼真的手部图像。

从单张图片生成交互式3D场景

WonderWorld是一个创新的3D场景扩展框架，允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法，显著减少了计算时间，生成几何一致的扩展，使3D场景的生成时间少于10秒，支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。

高效、表现力强、可编辑的数字头像生成

E3Gen是一种新型的数字头像生成方法，能够实时生成高保真度的头像，具有详细的衣物褶皱，并支持多种视角和全身姿势的全面控制，以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中，解决了3D高斯与当前生成流程不兼容的问题，并探索了在涉及多个主体的训练中3D高斯的表现力动画。

高效渲染大规模场景的实时视图合成技术

Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术，它通过树状结构存储高斯基元，并通过渐进式训练策略从图像中端到端重建，有效克服局部最小值，实现实时渲染数百万平方千米的区域，是渲染大规模场景的重要进步。

一种用于实时渲染大型数据集的分层3D高斯表示方法

这项研究提出了一种新的分层3D高斯表示方法，用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案，可以高效渲染远处内容，并在不同层次之间实现平滑过渡。该技术能够适应可用资源，通过分而治之的方法训练大型场景，并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。

实时3D角色生成平台

Museclip是一个基于3D模型的实时人物设计平台,拥有智能编辑、魔法画笔和文字提示等功能,可以在几秒内将3D人物基础模型转换成逼真的角色形象,大幅提高人物设计的效率。它的主要优势有:实时渲染技术,快速定制化,智能简洁的设计流程,为用户提供极大的创作自由度。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

使用单眼视频记录产生实时4D头像合成的神经网络方法

BakedAvatar是一种用于实时神经头像合成的全新表示，可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格，并计算可烘焙到静态纹理中的表情、姿势和视角相关外观，从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线，包括学习连续变形、流形和辐射场，提取分层网格和纹理，以及通过微分光栅化来微调纹理细节。实验结果表明，我们的表示产生了与其他最先进方法相当的综合结果，并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果，包括视图合成、面部重现、表情编辑和姿势编辑，所有这些都以交互式帧率进行。

快速从单视图训练高保真的人体3D高斯模型

Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。

无标记实时动作捕捉技术

Cyanpuppets是一个专注于2D视频生成3D动作模型的AI算法团队。他们的无标记动作捕捉系统通过2个RGB摄像头完成超过208个关键点的捕捉，支持UE5和UNITY 2021版本，延迟仅为0.1秒。Cyanpuppets支持大多数骨骼标准，其技术广泛应用于游戏、电影和其他娱乐领域。

3D建模无忧

Sloyd是一个快速生成3D模型的平台。选择一个生成器，进行微调，即可完成。可以通过实时预览来生成模型。Sloyd提供不断扩展的生成器库，快速定制模型，可用于实时渲染和多种级别的细节。生成的模型可以根据需要进行定制，并且已经进行了UV展开和优化，方便进行贴图和使用。Sloyd适用于各种风格的模型，提供无限的变化，并且支持实时生成。