从单张图片创建全身动态说话头像
One Shot, One Talk 是一种基于深度学习的图像生成技术,它能够从单张图片中重建出具有个性化细节的全身动态说话头像,并支持逼真的动画效果,包括生动的身体动作和自然的表情变化。这项技术的重要性在于它极大地降低了创建逼真、可动的虚拟形象的门槛,使得用户可以仅通过一张图片就能生成具有高度个性化和表现力的虚拟形象。产品背景信息显示,该技术由来自中国科学技术大学和香港理工大学的研究团队开发,结合了最新的图像到视频扩散模型和3DGS-mesh混合头像表示,通过关键的正则化技术来减少由不完美标签引起的不一致性。
人形机器人多功能神经全身控制器
HOVER是一个针对人形机器人的多功能神经全身控制器,它通过模仿全身运动来提供通用的运动技能,学习多种全身控制模式。HOVER通过多模式策略蒸馏框架将不同的控制模式整合到一个统一的策略中,实现了在不同控制模式之间的无缝切换,同时保留了每种模式的独特优势。这种控制器提高了人形机器人在多种模式下的控制效率和灵活性,为未来的机器人应用提供了一个健壮且可扩展的解决方案。
3D高斯全身动态表情模型
ExAvatar是一种新型的3D全身动态表情模型,它结合了SMPL-X的全身驱动能力和3DGS的强外观建模能力。通过简单的手机扫描即可创建,支持各种姿势和表情的动画渲染。ExAvatar的混合表示方法提高了面部表情的自然度,减少了新表情和姿势的伪影,并且使模型与SMPL-X的面部表情空间完全兼容。
实时交互流式数字人技术,实现音视频同步对话。
metahuman-stream是一个开源的实时交互数字人模型项目,它通过先进的技术实现数字人与用户的音视频同步对话,具有商业应用潜力。该项目支持多种数字人模型,包括ernerf、musetalk、wav2lip等,并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。
生成全身照片级人形化身的框架
Audio to Photoreal Embodiment是一个生成全身照片级人形化身的框架。它根据对话动态生成面部、身体和手部的多种姿势动作。其方法的关键在于通过将向量量化的样本多样性与扩散所获得的高频细节相结合,生成更具动态和表现力的动作。通过高度逼真的人形化身可视化生成的动作,能够表达出姿势中的重要细微差别(例如嘲笑和傲慢)。为了促进这一研究方向,我们引入了一种首次亮相的多视图对话数据集,可以进行照片级重建。实验证明,我们的模型生成了合适且多样化的动作,表现优于扩散和仅向量量化的方法。此外,我们的感知评估突出了在准确评估对话姿势中的微妙动作细节方面,照片级真实感(与网格)的重要性。代码和数据集可在线获取。
© 2025 AIbase 备案号:闽ICP备08105208号-14