Stable Video Portraits

简介:

生成逼真的动态人脸视频。

功能:

使用现成的3D面部重建方法、面部解析映射(FPM)模型和Mediapipe处理输入视频,提取每帧的3D面部重建(3DMM)、FPM和虹膜位置。

并行训练两个ControlNets,分别生成时间稳定的轮廓(第一阶段)和内部细节(第二阶段),生成逼真的个人化身。

个人化身可以通过文本进一步变形为名人,无需额外微调。

使用前一帧的预测,修改DDIM步骤t=τ的推理,以考虑前一帧,从而实现时间平滑输出。

面部变形功能,可以将个人化身变形为特定名人,如Scarlet Johansson或Emma Watson,并保持头部姿态一致性。

与当前单目头部化身方法的比较,展示其优越性。

通过消融研究,分析变形因子、输入控制和去噪过程变量对结果的影响。

需求人群:

"目标受众包括但不限于:计算机视觉研究人员、人工智能开发者、数字媒体艺术家、电影和游戏制作人员。Stable Video Portraits技术因其逼真的动态人脸生成能力,特别适合需要创建虚拟角色或进行面部动画的专业人士。"

浏览量:24

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图