使用手机扫描创建逼真可重新照明的头像模型
URAvatar是一种新型的头像生成技术,它能够通过手机扫描在未知光照条件下创建出逼真的、可重新照明的头部头像。与传统的通过逆向渲染估计参数反射率参数的方法不同,URAvatar直接模拟学习辐射传递,将全局光照传输有效地整合到实时渲染中。这项技术的重要性在于它能够从单一环境的手机扫描中重建出在多种环境中看起来都逼真的头部模型,并且能够实时驱动和重新照明。
文本驱动的3D头像生成与全身动画表达
DreamWaltz-G是一个创新的框架,用于从文本驱动生成3D头像和表达性的全身动画。它的核心是骨架引导的评分蒸馏和混合3D高斯头像表示。该框架通过整合3D人类模板的骨架控制到2D扩散模型中,提高了视角和人体姿势的一致性,从而生成高质量的头像,解决了多重面孔、额外肢体和模糊等问题。此外,混合3D高斯头像表示通过结合神经隐式场和参数化3D网格,实现了实时渲染、稳定的SDS优化和富有表现力的动画。DreamWaltz-G在生成和动画3D头像方面非常有效,无论是视觉质量还是动画表现力都超越了现有方法。此外,该框架还支持多种应用,包括人类视频重演和多主题场景组合。
快速生成高质量的3D人头模型
GGHead是一种基于3D高斯散射表示的3D生成对抗网络(GAN),用于从2D图像集合中学习3D头部先验。该技术通过利用模板头部网格的UV空间的规则性,预测一组3D高斯属性,从而简化了预测过程。GGHead的主要优点包括高效率、高分辨率生成、全3D一致性,并且能够实现实时渲染。它通过一种新颖的总变差损失来提高生成的3D头部的几何保真度,确保邻近渲染像素来自UV空间中相近的高斯。
一种用于沉浸式以人为中心的体积视频的鲁棒双高斯表示方法
Robust Dual Gaussian Splatting (DualGS) 是一种新型的基于高斯的体积视频表示方法,它通过优化关节高斯和皮肤高斯来捕捉复杂的人体表演,并实现鲁棒的跟踪和高保真渲染。该技术在SIGGRAPH Asia 2024上展示,能够实现在低端移动设备和VR头显上的实时渲染,提供用户友好和互动的体验。DualGS通过混合压缩策略,实现了高达120倍的压缩比,使得体积视频的存储和传输更加高效。
城市级NeRF实景三维大模型,沉浸式体验。
书生·天际LandMark是一个基于NeRF技术的实景三维大模型,它实现了100平方公里的4K高清训练,具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度,具有极高的训练和渲染效率,为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。
实时生成高细节表达性手势头像
XHand是由浙江大学开发的一个实时生成高细节表达性手势头像的模型。它通过多视角视频创建,并利用MANO姿势参数生成高细节的网格和渲染图,实现了在不同姿势下的实时渲染。XHand在图像真实感和渲染质量上具有显著优势,特别是在扩展现实和游戏领域,能够即时渲染出逼真的手部图像。
一种用于实时渲染大型数据集的分层3D高斯表示方法
这项研究提出了一种新的分层3D高斯表示方法,用于实时渲染非常大的数据集。该方法通过3D高斯splatting技术提供了优秀的视觉质量、快速的训练和实时渲染能力。通过分层结构和有效的细节层次(Level-of-Detail, LOD)解决方案,可以高效渲染远处内容,并在不同层次之间实现平滑过渡。该技术能够适应可用资源,通过分而治之的方法训练大型场景,并将其整合到一个可以进一步优化以提高高斯合并到中间节点时的视觉质量的层级结构中。
从单张图片生成交互式3D场景
WonderWorld是一个创新的3D场景扩展框架,允许用户基于单张输入图片和用户指定的文本探索和塑造虚拟环境。它通过快速高斯体素和引导扩散的深度估计方法,显著减少了计算时间,生成几何一致的扩展,使3D场景的生成时间少于10秒,支持实时用户交互和探索。这为虚拟现实、游戏和创意设计等领域提供了快速生成和导航沉浸式虚拟世界的可能性。
高效、表现力强、可编辑的数字头像生成
E3Gen是一种新型的数字头像生成方法,能够实时生成高保真度的头像,具有详细的衣物褶皱,并支持多种视角和全身姿势的全面控制,以及属性转移和局部编辑。它通过将3D高斯编码到结构化的2D UV空间中,解决了3D高斯与当前生成流程不兼容的问题,并探索了在涉及多个主体的训练中3D高斯的表现力动画。
高效渲染大规模场景的实时视图合成技术
Level of Gaussians (LoG) 是一种用于高效渲染三维场景的新技术,它通过树状结构存储高斯基元,并通过渐进式训练策略从图像中端到端重建,有效克服局部最小值,实现实时渲染数百万平方千米的区域,是渲染大规模场景的重要进步。
实时3D角色生成平台
Museclip是一个基于3D模型的实时人物设计平台,拥有智能编辑、魔法画笔和文字提示等功能,可以在几秒内将3D人物基础模型转换成逼真的角色形象,大幅提高人物设计的效率。它的主要优势有:实时渲染技术,快速定制化,智能简洁的设计流程,为用户提供极大的创作自由度。
GauHuman是一个3D人体模型,利用高斯扩散进行快速训练和实时渲染。
GauHuman是一个基于高斯扩散的3D人体模型,它能在短时间内(1-2分钟)完成训练,并提供实时渲染(最高达189 FPS),与现有基于NeRF的隐式表示建模框架相比,后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码,并利用线性混合皮肤(LBS)将3D高斯从规范空间转换到姿态空间,在此过程中设计了有效的姿态和LBS细化模块,以微不足道的计算成本学习3D人体的细节。此外,GauHuman还通过3D人体先验初始化和修剪3D高斯,并通过KL散度引导进行拆分/克隆,以及进一步加速的新型合并操作,从而实现快速优化。
使用单眼视频记录产生实时4D头像合成的神经网络方法
BakedAvatar是一种用于实时神经头像合成的全新表示,可部署在标准多边形光栅化流水线中。该方法从学习到的头部等值面提取可变形的多层网格,并计算可烘焙到静态纹理中的表情、姿势和视角相关外观,从而为实时4D头像合成提供支持。我们提出了一个三阶段的神经头像合成流水线,包括学习连续变形、流形和辐射场,提取分层网格和纹理,以及通过微分光栅化来微调纹理细节。实验结果表明,我们的表示产生了与其他最先进方法相当的综合结果,并显著减少了所需的推理时间。我们进一步展示了从单眼视频中产生的各种头像合成结果,包括视图合成、面部重现、表情编辑和姿势编辑,所有这些都以交互式帧率进行。
快速从单视图训练高保真的人体3D高斯模型
Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。
© 2024 AIbase 备案号:闽ICP备08105208号-14