SyncAnimation 是一种基于 NeRF 的音频驱动实时生成说话头像和上半身动作的技术框架。
SyncAnimation 是一种创新的音频驱动技术,能够实时生成高度逼真的说话头像和上半身动作。它通过结合音频与姿态、表情的同步技术,解决了传统方法在实时性和细节表现上的不足。该技术主要面向需要高质量实时动画生成的应用场景,如虚拟主播、在线教育、远程会议等,具有重要的应用价值。目前尚未明确其价格和具体市场定位。
快速生成个性化和富有表现力的3D会说话面部模型
MimicTalk是一种基于神经辐射场(NeRF)的个性化三维说话面部生成技术,它能够在几分钟内模仿特定身份的静态外观和动态说话风格。这项技术的主要优点包括高效率、高质量的视频生成以及对目标人物说话风格的精确模仿。MimicTalk通过一个通用的3D面部生成模型作为基础,并通过静态-动态混合适应流程来学习个性化的静态外观和面部动态,同时提出了一种上下文风格化的音频到运动(ICS-A2M)模型,以生成与目标人物说话风格相匹配的面部运动。MimicTalk的技术背景是基于深度学习和计算机视觉领域的最新进展,特别是在人脸合成和动画生成方面。目前,该技术是免费提供给研究和开发社区的。
城市级NeRF实景三维大模型,沉浸式体验。
书生·天际LandMark是一个基于NeRF技术的实景三维大模型,它实现了100平方公里的4K高清训练,具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度,具有极高的训练和渲染效率,为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。
3D重光照技术,无需逆向渲染
IllumiNeRF是一种3D重光照技术,它通过使用一系列在未知光照条件下拍摄的物体图像,恢复3D表示,以便在目标照明下从新视角渲染。该技术避免了基于逆向渲染的传统方法,这些方法通常涉及通过可微分的蒙特卡洛渲染进行优化,这不仅脆弱而且计算成本高昂。IllumiNeRF采用更简单的方法,首先使用图像扩散模型对每个输入图像进行重光照,然后使用这些重光照图像重建Neural Radiance Field (NeRF),从而在目标照明下渲染新视图。这种方法在多个重光照基准测试中取得了出人意料的竞争性能和最先进的结果。
使用频域分解进行高保真、可迁移的NeRF编辑
Freditor是一种基于频域分解的NeRF编辑方法。它可以实现高保真的NeRF场景编辑,并且可迁移到其他场景。该方法将NeRF场景划分为高频和低频两部分,对低频部分进行风格迁移,并将高频细节重新集成,从而生成高保真的编辑结果。Freditor还支持在推理过程中对编辑强度进行控制。实验表明,该方法在保真度和可迁移性方面都优于现有的NeRF编辑方法。
Nerfstudio是一个模块化的神经辐射场开发框架
Nerfstudio是一个开源的神经辐射场(NeRF)开发框架,它提供了简单易用的API,支持模块化的NeRF构建和训练。Nerfstudio帮助用户更轻松地理解和探索NeRF技术,并提供了教程、文档和更多学习资源。欢迎用户贡献新的NeRF模型和数据集。Nerfstudio的主要功能包括模型训练、数据处理、可视化等。
SIGNeRF - 快速、可控的NeRF场景编辑和场景集成对象生成
SIGNeRF是一种用于快速和可控的NeRF场景编辑以及场景集成对象生成的新方法。它引入了一种新的生成更新策略,确保在编辑图像时保持3D一致性,而无需进行迭代优化。SIGNeRF利用了ControlNet的深度条件图像扩散模型的优势,通过几个简单的步骤在单个前向传递中编辑现有的NeRF场景。它可以生成新的对象到现有的NeRF场景中,也可以编辑已存在的对象,从而实现对场景的精确控制。
大规模实景数据集,用于深度学习三维视觉研究
DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。
360度全场景生成
ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估,并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果,并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。
利用动态NeRF进行大规模运动和视角变化的人体视频编辑
DynVideo-E是一款利用动态NeRF技术进行大规模运动和视角变化的人体视频编辑工具。该工具将视频表示为3D前景规范化的人体空间,结合变形场和3D背景静态空间。通过利用重建损失、2D个性化扩散先验、3D扩散先验和局部部分超分辨率等技术,在多视角多姿势配置下编辑可动的规范化人体空间。同时,通过特征空间的风格转换损失将参考风格转移到3D背景模型中。用户可以在编辑后的视频-NeRF模型中根据源视频相机姿态进行相应的渲染。DynVideo-E不仅能够处理短视频,还能够处理大规模运动和视角变化的人体视频,为用户提供了更多直接可控的编辑方式。该工具在两个具有挑战性的数据集上的实验证明,相比于现有方法,DynVideo-E在人类偏好方面取得了50% ~ 95%的显著优势。DynVideo-E的代码和数据将会向社区发布。
© 2025 AIbase 备案号:闽ICP备08105208号-14