快速生成个性化和富有表现力的3D会说话面部模型
MimicTalk是一种基于神经辐射场(NeRF)的个性化三维说话面部生成技术,它能够在几分钟内模仿特定身份的静态外观和动态说话风格。这项技术的主要优点包括高效率、高质量的视频生成以及对目标人物说话风格的精确模仿。MimicTalk通过一个通用的3D面部生成模型作为基础,并通过静态-动态混合适应流程来学习个性化的静态外观和面部动态,同时提出了一种上下文风格化的音频到运动(ICS-A2M)模型,以生成与目标人物说话风格相匹配的面部运动。MimicTalk的技术背景是基于深度学习和计算机视觉领域的最新进展,特别是在人脸合成和动画生成方面。目前,该技术是免费提供给研究和开发社区的。
城市级NeRF实景三维大模型,沉浸式体验。
书生·天际LandMark是一个基于NeRF技术的实景三维大模型,它实现了100平方公里的4K高清训练,具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度,具有极高的训练和渲染效率,为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。
3D重光照技术,无需逆向渲染
IllumiNeRF是一种3D重光照技术,它通过使用一系列在未知光照条件下拍摄的物体图像,恢复3D表示,以便在目标照明下从新视角渲染。该技术避免了基于逆向渲染的传统方法,这些方法通常涉及通过可微分的蒙特卡洛渲染进行优化,这不仅脆弱而且计算成本高昂。IllumiNeRF采用更简单的方法,首先使用图像扩散模型对每个输入图像进行重光照,然后使用这些重光照图像重建Neural Radiance Field (NeRF),从而在目标照明下渲染新视图。这种方法在多个重光照基准测试中取得了出人意料的竞争性能和最先进的结果。
Nerfstudio是一个模块化的神经辐射场开发框架
Nerfstudio是一个开源的神经辐射场(NeRF)开发框架,它提供了简单易用的API,支持模块化的NeRF构建和训练。Nerfstudio帮助用户更轻松地理解和探索NeRF技术,并提供了教程、文档和更多学习资源。欢迎用户贡献新的NeRF模型和数据集。Nerfstudio的主要功能包括模型训练、数据处理、可视化等。
SIGNeRF - 快速、可控的NeRF场景编辑和场景集成对象生成
SIGNeRF是一种用于快速和可控的NeRF场景编辑以及场景集成对象生成的新方法。它引入了一种新的生成更新策略,确保在编辑图像时保持3D一致性,而无需进行迭代优化。SIGNeRF利用了ControlNet的深度条件图像扩散模型的优势,通过几个简单的步骤在单个前向传递中编辑现有的NeRF场景。它可以生成新的对象到现有的NeRF场景中,也可以编辑已存在的对象,从而实现对场景的精确控制。
大规模实景数据集,用于深度学习三维视觉研究
DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。
© 2024 AIbase 备案号:闽ICP备08105208号-14