VividTalk

VividTalk是一种一次性音频驱动的头像生成技术,基于3D混合先验。它能够生成具有表情丰富、自然头部姿态和唇同步的逼真说唱视频。该技术采用了两阶段通用框架,支持生成具有上述所有特性的高视觉质量的说唱视频。具体来说,在第一阶段,通过学习两种运动(非刚性表情运动和刚性头部运动),将音频映射到网格。对于表情运动,采用混合形状和顶点作为中间表示,以最大化模型的表征能力。对于自然头部运动,提出了一种新颖的可学习头部姿势码本,并采用两阶段训练机制。在第二阶段,提出了一个双分支运动VAE和一个生成器,将网格转换为密集运动,并逐帧合成高质量视频。大量实验证明,VividTalk能够生成具有唇同步和逼真增强的高视觉质量说唱视频,且在客观和主观比较中优于以往的最先进作品。该技术的代码将在发表后公开发布。

需求人群:

"VividTalk可用于创建逼真的说唱视频,支持不同风格的面部图像动画,适用于多种语言的说唱视频制作。"

使用场景示例:

1. 使用VividTalk生成逼真的说唱视频,用于虚拟主持人的制作。

2. 利用VividTalk制作卡通风格的音频驱动头像生成视频。

3. 使用VividTalk进行多语言音频驱动的头像生成视频制作。

产品特色:

生成逼真、唇同步的说唱视频

支持不同风格的面部图像动画,如人类、写实和卡通

根据不同的音频信号创建说唱视频

比较VividTalk与最先进的方法在唇同步、头部姿态自然性、身份保留和视频质量方面的差异

浏览量:305

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

63.61k

平均访问时长

00:00:18

每次访问页数

1.48

跳出率

47.80%

流量来源

直接访问

38.79%

自然搜索

40.31%

邮件

0.10%

外链引荐

13.66%

社交媒体

6.60%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

巴西

5.02%

中国

20.05%

印度

4.82%

土耳其

6.13%

美国

5.81%

类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图