VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。
需求人群：
"VideoTetris主要面向需要生成高质量视频内容的专业人士和研究人员，例如视频制作者、广告创意人员、动画师以及从事人工智能和机器学习研究的学者。它特别适合于那些需要根据文本描述快速生成视频内容，或者在视频生成中需要精确控制对象和场景变化的用户。"
使用场景示例：
视频制作者使用VideoTetris根据剧本描述生成动画预告片。
广告创意团队利用该框架快速生成广告视频草图，以测试市场反应。
动画师使用VideoTetris将文本故事转化为动态视频，用于儿童教育内容。
产品特色：
空间时间组合扩散：通过操作和组合注意力图来精确遵循复杂的文本语义。
增强的视频数据预处理：增强训练数据，以更好地理解运动动态和提示。
参考帧注意力机制：提高自回归视频生成的一致性。
自回归生成：支持长视频生成，采用类似ControlNet的分支。
精确位置信息跟踪：确保视频生成中对象的位置准确性。
一致的场景转换：在视频生成过程中保持场景转换的连贯性。
多样化的子对象特征：支持不同子对象的多样化特征展示。
使用教程：
1. 访问VideoTetris的官方网站并了解其基本概念和功能。
2. 阅读文档和教程，了解如何使用框架进行视频生成。
3. 安装必要的软件和库，以确保可以运行VideoTetris。
4. 准备文本提示，描述希望生成的视频内容。
5. 使用VideoTetris的接口输入文本提示，并设置相关参数。
6. 启动视频生成过程，并等待结果。
7. 根据生成的视频反馈调整参数，优化视频生成效果。
浏览量：142
文本到视频生成的创新框架
VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。
一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。
Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。
开源图像到视频生成模型
Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。
快速因果视频生成器，实现即时视频生成。
CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。
文本图像到视频生成模型
Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。
视频生成模型Sora的存档库
SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。
基于DiT的视频生成模型，实时生成高质量视频。
LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。
视频生成评估基准测试
Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。
谷歌旗下领先的人工智能研究公司
Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。
生成视频的开源模型
CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。
文本到视频的生成模型
CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。
可控视频和图像生成技术
ControlNeXt是一个开源的图像和视频生成模型，它通过减少高达90%的可训练参数，实现了更快的收敛速度和卓越的效率。该项目支持多种控制信息形式，并且可以与LoRA技术结合使用，以改变风格并确保更稳定的生成效果。
提升视频理解和生成的AI模型。
ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。
训练无关的运动克隆，实现可控视频生成
MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。
文本到视频生成的创新模型，实现姿势引导的动画制作。
Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。
Morph Studio可以帮助用户通过文本提示创造出独特的视频
Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。
SkyReels-V1 是首个开源的人类中心视频基础模型，专注于高质量视频生成。
SkyReels-V1 是一个开源的人类中心视频基础模型，基于高质量影视片段微调，专注于生成高质量的视频内容。该模型在开源领域达到了顶尖水平，与商业模型相媲美。其主要优势包括：高质量的面部表情捕捉、电影级的光影效果以及高效的推理框架 SkyReelsInfer，支持多 GPU 并行处理。该模型适用于需要高质量视频生成的场景，如影视制作、广告创作等。
FlashVideo 是一个高效的高分辨率视频生成模型，专注于细节和保真度的流动。
FlashVideo 是一款专注于高效高分辨率视频生成的深度学习模型。它通过分阶段的生成策略，首先生成低分辨率视频，再通过增强模型提升至高分辨率，从而在保证细节的同时显著降低计算成本。该技术在视频生成领域具有重要意义，尤其是在需要高质量视觉内容的场景中。FlashVideo 适用于多种应用场景，包括内容创作、广告制作和视频编辑等。其开源性质使得研究人员和开发者可以灵活地进行定制和扩展。
Magic 1-For-1 是一个高效的图像到视频生成模型，可在一分钟内生成一分钟的视频。
Magic 1-For-1 是一个专注于高效视频生成的模型，其核心功能是将文本和图像快速转换为视频。该模型通过将文本到视频的生成任务分解为文本到图像和图像到视频两个子任务，优化了内存使用并减少了推理延迟。其主要优点包括高效性、低延迟和可扩展性。该模型由北京大学 DA-Group 团队开发，旨在推动交互式基础视频生成领域的发展。目前该模型及相关代码已开源，用户可以免费使用，但需遵守开源许可协议。
使用简单的提示和图像生成视频片段。
Adobe Firefly 是一款基于人工智能技术的视频生成工具。它能够根据用户提供的简单提示或图像快速生成高质量的视频片段。该技术利用先进的 AI 算法，通过对大量视频数据的学习和分析，实现自动化的视频创作。其主要优点包括操作简单、生成速度快、视频质量高。Adobe Firefly 面向创意工作者、视频制作者以及需要快速生成视频内容的用户，提供高效、便捷的视频创作解决方案。目前该产品处于 Beta 测试阶段，用户可以免费使用，未来可能会根据市场需求和产品发展进行定价和定位。
Lumina-Video 是一个用于视频生成的初步尝试项目，支持文本到视频的生成。
Lumina-Video 是 Alpha-VLLM 团队开发的一个视频生成模型，主要用于从文本生成高质量的视频内容。该模型基于深度学习技术，能够根据用户输入的文本提示生成对应的视频，具有高效性和灵活性。它在视频生成领域具有重要意义，为内容创作者提供了强大的工具，能够快速生成视频素材。目前该项目已开源，支持多种分辨率和帧率的视频生成，并提供了详细的安装和使用指南。
Goku 是一款基于流的视频生成基础模型，专注于高质量视频生成。
Goku 是一个专注于视频生成的人工智能模型，能够根据文本提示生成高质量的视频内容。该模型基于先进的流式生成技术，能够生成流畅且具有吸引力的视频，适用于多种场景，如广告、娱乐和创意内容制作。Goku 的主要优点在于其高效的生成能力和对复杂场景的出色表现能力，能够显著降低视频制作成本，同时提升内容的吸引力。该模型由香港大学和字节跳动的研究团队共同开发，旨在推动视频生成技术的发展。
VideoWorld是一个探索从无标签视频中学习知识的深度生成模型。
VideoWorld是一个专注于从纯视觉输入（无标签视频）中学习复杂知识的深度生成模型。它通过自回归视频生成技术，探索如何仅通过视觉信息学习任务规则、推理和规划能力。该模型的核心优势在于其创新的潜在动态模型（LDM），能够高效地表示多步视觉变化，从而显著提升学习效率和知识获取能力。VideoWorld在视频围棋和机器人控制任务中表现出色，展示了其强大的泛化能力和对复杂任务的学习能力。该模型的研究背景源于对生物体通过视觉而非语言学习知识的模仿，旨在为人工智能的知识获取开辟新的途径。
VideoJAM 是一种用于增强视频生成模型运动连贯性的框架。
VideoJAM 是一种创新的视频生成框架，旨在通过联合外观 - 运动表示来提升视频生成模型的运动连贯性和视觉质量。该技术通过引入内指导机制（Inner-Guidance），利用模型自身预测的运动信号动态引导视频生成，从而在生成复杂运动类型时表现出色。VideoJAM 的主要优点是能够显著提高视频生成的连贯性，同时保持高质量的视觉效果，且无需对训练数据或模型架构进行大规模修改，即可应用于任何视频生成模型。该技术在视频生成领域具有重要的应用前景，尤其是在需要高度运动连贯性的场景中。
OmniHuman-1 是一种基于单张人像和运动信号生成人类视频的多模态框架。
OmniHuman-1 是一个端到端的多模态条件人类视频生成框架，能够基于单张人像和运动信号（如音频、视频或其组合）生成人类视频。该技术通过混合训练策略克服了高质量数据稀缺的问题，支持任意宽高比的图像输入，生成逼真的人类视频。它在弱信号输入（尤其是音频）方面表现出色，适用于多种场景，如虚拟主播、视频制作等。
一种新颖的图像到视频采样技术，基于Hunyuan模型实现高质量视频生成。
leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法，将静态图像转换为动态视频，为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景，如广告制作、视频特效等领域。该模型目前以开源形式发布，供开发者和研究人员免费使用，未来有望通过社区贡献进一步提升其性能。
© 2025 AIbase 备案号：闽ICP备08105208号-14