Motion-I2V

Motion-I2V是一种全新的框架,用于实现一致且可控的图像到视频生成(I2V)。与以往直接学习复杂图像到视频映射的方法不同,Motion-I2V将I2V分解为两个阶段,并采用显式运动建模。在第一阶段,我们提出了基于扩散的运动场预测器,专注于推断参考图像像素的轨迹。在第二阶段,我们提出了增强的运动增强时间注意力,以增强视频潜在扩散模型中有限的一维时间注意力。该模块可以在第一阶段预测的轨迹的指导下,有效地将参考图像特征传播到合成帧。与现有方法相比,Motion-I2V即使在存在大运动和视角变化的情况下,也能生成更一致的视频。通过为第一阶段训练稀疏轨迹控制网络,Motion-I2V可以支持用户精确控制运动轨迹和运动区域,具有稀疏轨迹和区域注释的控制能力。这比仅依赖文本说明更可控。此外,Motion-I2V的第二阶段自然地支持零样本视频到视频转换。定性和定量比较表明,Motion-I2V在一致且可控的图像到视频生成方面优于先前的方法。

需求人群:

"Motion-I2V可用于生成一致且可控的图像到视频,支持用户精确控制运动轨迹和区域,并实现零样本视频到视频转换。"

使用场景示例:

一个摄影爱好者使用Motion-I2V生成一组连贯且可控的风景照片到视频作品。

一家广告公司利用Motion-I2V生成具有特定视觉效果的产品宣传视频。

一位艺术家使用Motion-I2V将静态艺术作品转化为具有动态效果的视频展示。

产品特色:

基于扩散的运动场预测

运动增强时间注意力

稀疏轨迹控制网络训练

浏览量:362

s1785318098921236

打开站点

s1785341518918206
网站流量情况

最新流量情况

月访问量

18813.05k

平均访问时长

00:04:59

每次访问页数

5.27

跳出率

48.24%

流量来源

直接访问

45.06%

自然搜索

28.67%

邮件

1.10%

外链引荐

14.34%

社交媒体

10.81%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

13.18%

美国

12.95%

印度

6.99%

俄罗斯

4.48%

日本

3.58%

类似产品

© 2024     AIbase    备案号:闽ICP备2023012347号-1

隐私政策

用户协议

意见反馈 网站地图