Motion-I2V

Motion-I2V是一种全新的框架,用于实现一致且可控的图像到视频生成(I2V)。与以往直接学习复杂图像到视频映射的方法不同,Motion-I2V将I2V分解为两个阶段,并采用显式运动建模。在第一阶段,我们提出了基于扩散的运动场预测器,专注于推断参考图像像素的轨迹。在第二阶段,我们提出了增强的运动增强时间注意力,以增强视频潜在扩散模型中有限的一维时间注意力。该模块可以在第一阶段预测的轨迹的指导下,有效地将参考图像特征传播到合成帧。与现有方法相比,Motion-I2V即使在存在大运动和视角变化的情况下,也能生成更一致的视频。通过为第一阶段训练稀疏轨迹控制网络,Motion-I2V可以支持用户精确控制运动轨迹和运动区域,具有稀疏轨迹和区域注释的控制能力。这比仅依赖文本说明更可控。此外,Motion-I2V的第二阶段自然地支持零样本视频到视频转换。定性和定量比较表明,Motion-I2V在一致且可控的图像到视频生成方面优于先前的方法。

需求人群:

"Motion-I2V可用于生成一致且可控的图像到视频,支持用户精确控制运动轨迹和区域,并实现零样本视频到视频转换。"

使用场景示例:

一个摄影爱好者使用Motion-I2V生成一组连贯且可控的风景照片到视频作品。

一家广告公司利用Motion-I2V生成具有特定视觉效果的产品宣传视频。

一位艺术家使用Motion-I2V将静态艺术作品转化为具有动态效果的视频展示。

产品特色:

基于扩散的运动场预测

运动增强时间注意力

稀疏轨迹控制网络训练

浏览量:495

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

1267

平均访问时长

00:00:25

每次访问页数

0.18

跳出率

18.48%

流量来源

直接访问

77.54%

自然搜索

21.12%

邮件

0

外链引荐

0

社交媒体

1.34%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

丹麦

48.74%

日本

22.76%

韩国

22.10%

类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图