产品库

高效率自回归视频生成模型

Pyramid Flow miniFLUX是一个基于流匹配的自回归视频生成方法，专注于训练效率和开源数据集的使用。该模型能够生成高质量的10秒768p分辨率、24帧每秒的视频，并自然支持图像到视频的生成。它是视频内容创作和研究领域的一个重要工具，尤其在需要生成连贯动态图像的场合。

海螺AI在线视频生成器，用文字创造视频。

Hailuo AI是由MiniMax开发的一款先进的人工智能生产力工具，旨在改变视频内容创作的方式。这一创新平台允许用户通过简单的文字提示生成高质量的视频，特别适合营销人员、教育工作者和内容创作者使用。Hailuo AI以其快速的处理时间和广泛的艺术风格而表现出色，结合文本和图像提示的功能可实现高度个性化的输出，因此对追求灵活性的创作者很有吸引力。

创意智能平台，用于构建魔法般的AI产品

Dream Machine API是一个创意智能平台，它提供了一系列先进的视频生成模型，通过直观的API和开源SDKs，用户可以构建和扩展创意AI产品。该平台拥有文本到视频、图像到视频、关键帧控制、扩展、循环和相机控制等功能，旨在通过创意智能与人类合作，帮助他们创造更好的内容。Dream Machine API的推出，旨在推动视觉探索和创造的丰富性，让更多的想法得以尝试，构建更好的叙事，并让那些以前无法做到的人讲述多样化的故事。

从长视频中生成引人入胜的YouTube短片

AI Youtube Shorts Generator 是一个利用GPT-4和Whisper技术的Python工具，它可以从长视频中提取最有趣的亮点，检测演讲者，并将内容垂直裁剪，以适应短片格式。这个工具目前处于0.1版本，可能存在一些bug。

AI革命性地改变了内容创作，利用先进的视频生成技术，将文本和图像转化为动态视频，实现视频到视频的创作。探索数字故事讲述的未来。

AI SORA TECH是一款革命性的内容创作工具，利用先进的视频生成技术，将文本和图像转化为动态视频，并支持视频到视频的创作。它可以根据输入的文本或图像生成整个视频或延长现有视频的长度，满足各种视频制作需求。AI SORA TECH的功能丰富，操作简便，适用于专业人士和初学者。

开源视频生成模型，支持10秒视频和更高分辨率。

CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型，是CogVideoX模型的升级版。该模型支持生成10秒视频，并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块，能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持，为视频内容创作者提供了一个强大的工具，尤其在教育、娱乐和商业领域有着广泛的应用前景。

高保真文本引导的音乐生成与编辑模型

MelodyFlow是一个基于文本控制的高保真音乐生成和编辑模型，它使用连续潜在表示序列，避免了离散表示的信息丢失问题。该模型基于扩散变换器架构，经过流匹配目标训练，能够生成和编辑多样化的高质量立体声样本，且具有文本描述的简单性。MelodyFlow还探索了一种新的正则化潜在反转方法，用于零样本测试时的文本引导编辑，并展示了其在多种音乐编辑提示中的优越性能。该模型在客观和主观指标上进行了评估，证明了其在标准文本到音乐基准测试中的质量与效率上与评估基线相当，并且在音乐编辑方面超越了以往的最先进技术。

使用AI快速创建病毒式视频

Viral Video是一个利用人工智能技术帮助用户快速创建病毒式视频的在线平台。它通过文本到视频的转换、文本到语音的转换、AI视频编辑和AI场景生成等功能，简化了视频制作流程，降低了成本，并提高了视频的吸引力和传播潜力。该平台特别适合内容创作者、营销人员和社交媒体运营者，帮助他们以更低的成本和更快的速度制作出高质量的视频内容，从而在社交媒体上获得更多的关注和互动。

开源视频生成模型

Mochi 1 是 Genmo 公司推出的一款研究预览版本的开源视频生成模型，它致力于解决当前AI视频领域的基本问题。该模型以其无与伦比的运动质量、卓越的提示遵循能力和跨越恐怖谷的能力而著称，能够生成连贯、流畅的人类动作和表情。Mochi 1 的开发背景是响应对高质量视频内容生成的需求，特别是在游戏、电影和娱乐行业中。产品目前提供免费试用，具体定价信息未在页面中提供。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

高效视频生成建模的金字塔流匹配技术

Pyramid Flow 是一种高效的视频生成建模技术，它基于流匹配方法，通过自回归视频生成模型来实现。该技术主要优点是训练效率高，能够在开源数据集上以较低的GPU小时数进行训练，生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发，并且已经在多个平台上发布了相关的论文、代码和模型。

基于物理的图像到视频生成技术

PhysGen是一个创新的图像到视频生成方法，它能够将单张图片和输入条件（例如，对图片中物体施加的力和扭矩）转换成现实、物理上合理且时间上连贯的视频。该技术通过将基于模型的物理模拟与数据驱动的视频生成过程相结合，实现了在图像空间中的动态模拟。PhysGen的主要优点包括生成的视频在物理和外观上都显得逼真，并且可以精确控制，通过定量比较和全面的用户研究，展示了其在现有数据驱动的图像到视频生成工作中的优越性。

由上海人工智能实验室开发的先进视频生成模型

Vchitect 2.0（筑梦2.0）是一款由上海人工智能实验室开发的高级视频生成模型，旨在赋予视频创作新的动力。它支持20秒视频生成，灵活的宽高比，生成空间时间增强，以及长视频评估。Vchitect 2.0通过其先进的技术，能够将静态图像转换为5-10秒的视频，使用户能够轻松地将照片或设计转换为引人入胜的视觉体验。此外，Vchitect 2.0还支持长视频生成模型的评估，通过VBench平台，提供全面且持续更新的评估排行榜，支持多种长视频模型，如Gen-3、Kling、OpenSora等。

利用预训练的图像到视频扩散模型生成连贯中间帧

该产品是一个图像到视频的扩散模型，通过轻量级的微调技术，能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景，如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力，通过微调使其能够预测两个关键帧之间的视频，从而实现前向和后向的一致性。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

生成视频的开源模型

CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。

将文字和图片转化为高质量视频的AI平台。

Dream Machine AI是一个利用尖端技术将文字和图片转化为高质量视频的AI平台。它由Luma AI驱动，使用先进的变换模型快速生成具有复杂时空运动的物理准确和一致的视频内容。主要优点包括生成速度快、运动逼真连贯、角色一致性高、相机运动自然。产品定位为视频创作者和内容制作者提供快速高效的视频生成解决方案。

视频处理工具，实现从图像到视频的转换。

ComfyUI-CogVideoXWrapper 是一个基于Python的视频处理模型，它通过使用T5模型进行视频内容的生成和转换。该模型支持从图像到视频的转换工作流程，并在实验阶段展现出有趣的效果。它主要针对需要进行视频内容创作和编辑的专业用户，尤其是在视频生成和转换方面有特殊需求的用户。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

文本到视频生成领域的先进模型架构

Open-Sora Plan v1.2是一个开源的视频生成模型，专注于文本到视频的转换任务。它采用3D全注意力架构，优化了视频的视觉表示，并提高了推理效率。该模型在视频生成领域具有创新性，能够更好地捕捉联合空间-时间特征，为视频内容的自动生成提供了新的技术路径。

异步去噪并行化扩散模型

AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案，它通过将噪声预测模型分割成多个组件并分配到不同的设备上，实现了模型的并行处理。这种方法显著减少了推理延迟，同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

文本到视频的革命性生成模型

Kling AI是由快手科技开发的文本到视频生成模型，能够根据文本提示生成高度逼真的视频。它具有高效的视频生成能力，长达2分钟的30帧每秒视频，以及3D时空联合注意机制和物理世界模拟等先进技术，使其在AI视频生成领域具有显著的竞争优势。

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

释放AI视频创造的力量，轻松生成惊人视频

Dream Machine是由Luma Labs开发的一款先进的人工智能模型，旨在快速从文本和图片生成高质量的、逼真的视频。这个高度可扩展且高效的变换模型直接在视频上训练，使其能够产生物理上准确、一致且充满事件的镜头。Dream Machine AI是朝着创建通用想象力引擎迈出的重要一步，使每个人都能轻松访问。它可以生成带有平滑动作、电影质量和戏剧元素的5秒视频片段，将静态快照转化为动态故事。该模型理解物理世界中人与人之间、动物和物体之间的互动，允许创建具有极佳角色一致性和准确物理的视频。此外，Dream Machine AI支持广泛的流畅、电影化和自然主义的摄像机运动，与场景的情感和内容相匹配。

训练无关的运动克隆，实现可控视频生成

MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

虚拟人物生成的图像到视频框架

MusePose是由腾讯音乐娱乐的Lyra Lab开发的一款图像到视频的生成框架，旨在通过姿势控制信号生成虚拟人物的视频。它是Muse开源系列的最后一个构建块，与MuseV和MuseTalk一起，旨在推动社区向生成具有全身运动和交互能力的虚拟人物的愿景迈进。MusePose基于扩散模型和姿势引导，能够生成参考图像中人物的舞蹈视频，并且结果质量超越了当前几乎所有同一主题的开源模型。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。