产品库

基于Kandinsky扩展和Deforum特性的文本到图像生成模型

Kandinsky Deforum是一种基于Kandinsky扩展和Deforum特性的文本到图像生成模型。该模型可以将文本转换为视频，具有高效、快速、准确的特点。其核心方法包括生成参考帧、对前一帧进行小变换、通过图像到图像方法对结果图像进行扩散处理。Kandinsky Deforum的优势在于可以生成高质量的视频，同时具有良好的可扩展性和灵活性。该产品的定位是为用户提供一种高效、快速、准确的文本到图像生成模型。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

高保真图像到视频生成框架

AtomoVideo是一个新颖的高保真图像到视频（I2V）生成框架，它从输入图像生成高保真视频，与现有工作相比，实现了更好的运动强度和一致性，并且无需特定调整即可与各种个性化T2I模型兼容。

基于HunyuanVideo的视频生成工具，支持图像到视频的转换

ComfyUI-HunyuanVideoWrapper-IP2V是一个基于HunyuanVideo的视频生成工具，它允许用户通过图像提示生成视频（IP2V），即利用图像作为生成视频的条件，提取图像的概念和风格。这项技术主要优点在于能够将图像的风格和内容融入视频生成过程中，而不仅仅是作为视频的第一帧。产品背景信息显示，该工具目前处于实验阶段，但已经可以工作，且对VRAM有较高要求，至少需要20GB。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

文本和语音驱动的人体视频生成，从单张人物输入图像生成视频。

VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1)一个随机的人类到3D运动扩散模型，以及2)一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成长度可变的高质量视频，并且通过对人类面部和身体的高级表达方式轻松可控。与以前的工作不同，我们的方法不需要为每个人训练，也不依赖于人脸检测和裁剪，生成完整的图像（而不仅仅是面部或嘴唇），并考虑到正确合成交流人类所需的广泛场景（例如可见的躯干或多样性主体身份）。

创新的AI视频生成器，快速实现创意视频。

Luma AI的Dream Machine是一款AI视频生成器，它利用先进的AI技术，将用户的想法转化为高质量、逼真的视频。它支持从文字描述或图片开始生成视频，具有高度的可扩展性、快速生成能力和实时访问功能。产品界面用户友好，适合专业人士和创意爱好者使用。Luma AI的Dream Machine不断更新，以保持技术领先，为用户提供持续改进的视频生成体验。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

文本到视频生成领域的先进模型架构

Open-Sora Plan v1.2是一个开源的视频生成模型，专注于文本到视频的转换任务。它采用3D全注意力架构，优化了视频的视觉表示，并提高了推理效率。该模型在视频生成领域具有创新性，能够更好地捕捉联合空间-时间特征，为视频内容的自动生成提供了新的技术路径。

Freepik AI 视频生成器，基于人工智能技术快速生成高质量视频内容。

Freepik AI 视频生成器是一款基于人工智能技术的在线工具，能够根据用户输入的初始图像或描述快速生成视频。该技术利用先进的 AI 算法，实现视频内容的自动化生成，极大地提高了视频创作的效率。产品定位为创意设计人员和视频制作者提供快速、高效的视频生成解决方案，帮助用户节省时间和精力。目前该工具处于 Beta 测试阶段，用户可以免费试用其功能。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

利用AI技术，将文字和图像转化为创意视频。

通义万相AI创意作画是一款利用人工智能技术，将用户的文字描述或图像转化为视频内容的产品。它通过先进的AI算法，能够理解用户的创意意图，自动生成具有艺术感的视频。该产品不仅能够提升内容创作的效率，还能激发用户的创造力，适用于广告、教育、娱乐等多个领域。

革命性视频生成，将静态图像或文本转化为视频

Stable Video Diffusion是一种AI视频生成技术，可以从静态图像或文本创建动态视频，代表了视频生成技术的新进展。它通过图像预训练、视频预训练、高质量视频微调和多视角3D先验等步骤，提供高质量的视频生成。主要功能包括将图像转化为视频、将文本转化为视频等。Stable Video Diffusion可以革新内容创作，从而自动生成创意广告、电影预告片、教育视频、游戏场景和独特的社交媒体内容。产品定位为提高视频内容创作的可访问性、效率和创造力。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

高效率自回归视频生成模型

Pyramid Flow miniFLUX是一个基于流匹配的自回归视频生成方法，专注于训练效率和开源数据集的使用。该模型能够生成高质量的10秒768p分辨率、24帧每秒的视频，并自然支持图像到视频的生成。它是视频内容创作和研究领域的一个重要工具，尤其在需要生成连贯动态图像的场合。

Magic 1-For-1 是一个高效的图像到视频生成模型，可在一分钟内生成一分钟的视频。

Magic 1-For-1 是一个专注于高效视频生成的模型，其核心功能是将文本和图像快速转换为视频。该模型通过将文本到视频的生成任务分解为文本到图像和图像到视频两个子任务，优化了内存使用并减少了推理延迟。其主要优点包括高效性、低延迟和可扩展性。该模型由北京大学 DA-Group 团队开发，旨在推动交互式基础视频生成领域的发展。目前该模型及相关代码已开源，用户可以免费使用，但需遵守开源许可协议。

AI革命性地改变了内容创作，利用先进的视频生成技术，将文本和图像转化为动态视频，实现视频到视频的创作。探索数字故事讲述的未来。

AI SORA TECH是一款革命性的内容创作工具，利用先进的视频生成技术，将文本和图像转化为动态视频，并支持视频到视频的创作。它可以根据输入的文本或图像生成整个视频或延长现有视频的长度，满足各种视频制作需求。AI SORA TECH的功能丰富，操作简便，适用于专业人士和初学者。

Wan2.1-T2V-14B 是一款高性能的文本到视频生成模型，支持多种视频生成任务。

Wan2.1-T2V-14B 是一款先进的文本到视频生成模型，基于扩散变换器架构，结合了创新的时空变分自编码器（VAE）和大规模数据训练。它能够在多种分辨率下生成高质量的视频内容，支持中文和英文文本输入，并在性能和效率上超越现有的开源和商业模型。该模型适用于需要高效视频生成的场景，如内容创作、广告制作和视频编辑等。目前该模型在 Hugging Face 平台上免费提供，旨在推动视频生成技术的发展和应用。

基于 AI 技术生成视频内容的智能服务。

清影 AI 视频生成服务是一个创新的人工智能平台，旨在通过智能算法生成高质量的视频内容。该服务适合各种行业用户，能够快速便捷地生成富有创意的视觉内容。无论是商业广告、教育课程还是娱乐视频，清影 AI 都能提供优质的解决方案。该产品依托于先进的 GLM 大模型，确保生成内容的准确性与丰富性，同时满足用户个性化需求。提供免费试用，鼓励用户探索 AI 视频创作的无限可能。

视频到音频生成模型

vta-ldm是一个专注于视频到音频生成的深度学习模型，能够根据视频内容生成语义和时间上与视频输入对齐的音频内容。它代表了视频生成领域的一个新突破，特别是在文本到视频生成技术取得显著进展之后。该模型由腾讯AI实验室的Manjie Xu等人开发，具有生成与视频内容高度一致的音频的能力，对于视频制作、音频后期处理等领域具有重要的应用价值。

一种可控的图像到视频生成框架

Motion-I2V是一种全新的框架，用于实现一致且可控的图像到视频生成（I2V）。与以往直接学习复杂图像到视频映射的方法不同，Motion-I2V将I2V分解为两个阶段，并采用显式运动建模。在第一阶段，我们提出了基于扩散的运动场预测器，专注于推断参考图像像素的轨迹。在第二阶段，我们提出了增强的运动增强时间注意力，以增强视频潜在扩散模型中有限的一维时间注意力。该模块可以在第一阶段预测的轨迹的指导下，有效地将参考图像特征传播到合成帧。与现有方法相比，Motion-I2V即使在存在大运动和视角变化的情况下，也能生成更一致的视频。通过为第一阶段训练稀疏轨迹控制网络，Motion-I2V可以支持用户精确控制运动轨迹和运动区域，具有稀疏轨迹和区域注释的控制能力。这比仅依赖文本说明更可控。此外，Motion-I2V的第二阶段自然地支持零样本视频到视频转换。定性和定量比较表明，Motion-I2V在一致且可控的图像到视频生成方面优于先前的方法。

多阶段高美感视频生成

MagicVideo-V2是一个集成了文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块的端到端视频生成管道。其架构设计使得MagicVideo-V2能够生成外观美观、高分辨率的视频，具有出色的保真度和平滑性。通过大规模用户评估，它展现出比Runway、Pika 1.0、Morph、Moon Valley和Stable Video Diffusion等领先的文本到视频系统更优越的性能。

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。