CogVideoX-2B

CogVideoX-2B

优质新品

CogVideoX-2B是一个开源的视频生成模型,由清华大学团队开发。它支持使用英语提示语言生成视频,具有36GB的推理GPU内存需求,并且可以生成6秒长、每秒8帧、分辨率为720*480的视频。该模型使用正弦位置嵌入,目前不支持量化推理和多卡推理。它基于Hugging Face的diffusers库进行部署,能够根据文本提示生成视频,具有高度的创造性和应用潜力。

需求人群:

"该产品适合需要生成视频内容的创意专业人士,如视频编辑、动画制作者、游戏开发者等。它可以帮助用户快速将文本描述转化为视觉内容,提高创作效率,丰富创意表达。"

使用场景示例:

生成一个熊猫在竹林中弹吉他的视频

创造一个玩具船在地毯上航行的场景

制作一个街头艺术家在墙上喷涂彩色鸟的视频

产品特色:

支持英语提示生成视频

需要36GB GPU内存进行推理

生成6秒长的视频,每秒8帧

视频分辨率为720*480

使用正弦位置嵌入技术

基于Hugging Face diffusers库部署

使用教程:

安装必要的依赖项

导入torch和diffusers库

从预训练模型中加载CogVideoXPipeline

将文本提示编码为模型可以理解的嵌入

使用模型生成视频帧

将生成的视频帧导出为视频文件

浏览量:123

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

19075.32k

平均访问时长

00:05:32

每次访问页数

5.52

跳出率

45.07%

流量来源

直接访问

48.31%

自然搜索

36.36%

邮件

0.03%

外链引荐

12.17%

社交媒体

3.11%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

13.13%

印度

7.59%

日本

3.67%

俄罗斯

6.13%

美国

18.18%

类似产品

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性,如创新角色、动态环境、复杂动作和多样事件,实现了高质量、开放领域的视频生成。此外,它还提供了交互控制能力,能够根据当前视频片段预测和改变未来内容,从而实现游戏玩法模拟。为了实现这一愿景,我们首先从零开始收集并构建了一个开放世界视频游戏数据集(OGameData),这是第一个也是最大的开放世界游戏视频生成和控制数据集,包含超过150款游戏的100多万个多样化游戏视频片段,这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程,包括基础模型预训练和指令调优。首先,模型通过文本到视频生成和视频续集进行预训练,赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步,为了实现交互控制能力,我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示,首次在视频生成中统一角色交互和场景内容控制。在指令调优期间,只有InstructNet被更新,而预训练的基础模型被冻结,使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力,有效地将创造性生成与交互能力结合起来。

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图