Stable Video Portraits

Stable Video Portraits

Stable Video Portraits是一种创新的混合2D/3D生成方法,利用预训练的文本到图像模型(2D)和3D形态模型(3D)生成逼真的动态人脸视频。该技术通过人特定的微调,将一般2D稳定扩散模型提升到视频模型,通过提供时间序列的3D形态模型作为条件,并引入时间去噪过程,生成具有时间平滑性的人脸影像,可以编辑和变形为文本定义的名人形象,无需额外的测试时微调。该方法在定量和定性分析中均优于现有的单目头部化身方法。

需求人群:

"目标受众包括但不限于:计算机视觉研究人员、人工智能开发者、数字媒体艺术家、电影和游戏制作人员。Stable Video Portraits技术因其逼真的动态人脸生成能力,特别适合需要创建虚拟角色或进行面部动画的专业人士。"

使用场景示例:

电影制作中,用于生成逼真的虚拟角色。

游戏开发中,用于创建具有高度真实感的NPC面部动画。

数字艺术领域,艺术家利用该技术创作独特的艺术作品。

产品特色:

使用现成的3D面部重建方法、面部解析映射(FPM)模型和Mediapipe处理输入视频,提取每帧的3D面部重建(3DMM)、FPM和虹膜位置。

并行训练两个ControlNets,分别生成时间稳定的轮廓(第一阶段)和内部细节(第二阶段),生成逼真的个人化身。

个人化身可以通过文本进一步变形为名人,无需额外微调。

使用前一帧的预测,修改DDIM步骤t=τ的推理,以考虑前一帧,从而实现时间平滑输出。

面部变形功能,可以将个人化身变形为特定名人,如Scarlet Johansson或Emma Watson,并保持头部姿态一致性。

与当前单目头部化身方法的比较,展示其优越性。

通过消融研究,分析变形因子、输入控制和去噪过程变量对结果的影响。

使用教程:

1. 访问Stable Video Portraits的官方网站。

2. 阅读有关该技术的研究论文和方法概述。

3. 下载并安装所需的软件和库。

4. 准备输入视频,确保视频质量满足3D面部重建的要求。

5. 使用3D面部重建方法、FPM模型和Mediapipe提取视频中的3DMM、FPM和虹膜位置。

6. 训练ControlNets以生成轮廓和内部细节。

7. 利用时间去噪过程生成时间平滑的视频输出。

8. 如有需要,通过文本输入调整个人化身的面部特征,以匹配特定名人的形象。

浏览量:22

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图