产品库

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

文本到视频生成领域的先进模型架构

Open-Sora Plan v1.2是一个开源的视频生成模型，专注于文本到视频的转换任务。它采用3D全注意力架构，优化了视频的视觉表示，并提高了推理效率。该模型在视频生成领域具有创新性，能够更好地捕捉联合空间-时间特征，为视频内容的自动生成提供了新的技术路径。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

快速生成高质量视频的模型

FastHunyuan是由Hao AI Lab开发的加速版HunyuanVideo模型，能够在6次扩散步骤中生成高质量视频，相比原始HunyuanVideo模型的50步扩散，速度提升约8倍。该模型在MixKit数据集上进行一致性蒸馏训练，具有高效率和高质量的特点，适用于需要快速生成视频的场景。

开源AI模型，具有7B参数和3.1T训练令牌

RWKV-6 Finch 7B World 3是一个开源的人工智能模型，拥有7B个参数，并且经过3.1万亿个多语言令牌的训练。该模型以其环保的设计理念和高性能而著称，旨在为全球用户提供高质量的开源AI模型，无论国籍、语言或经济状况如何。RWKV架构旨在减少对环境的影响，每令牌消耗的功率固定，与上下文长度无关。

探索AI前沿，精选国内外AI产品与应用。

智趣AI甄选是一个专注于人工智能领域的综合性平台，旨在洞察行业发展前景，精选并展示国内外的AI产品与应用。平台提供丰富的学习资源，行业融合案例分析，助力用户洞悉AI发展趋势，与AI技术同行，共创未来。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

开源视频生成模型，支持10秒视频和更高分辨率。

CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型，是CogVideoX模型的升级版。该模型支持生成10秒视频，并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块，能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持，为视频内容创作者提供了一个强大的工具，尤其在教育、娱乐和商业领域有着广泛的应用前景。

Mochi视频生成器的ComfyUI包装节点

ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点，它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容，并且通过ComfyUI简化了操作流程。它是基于Python开发的，并且完全开源，允许开发者自由地使用和修改。目前该项目还处于积极开发中，已经有一些基本功能，但还没有正式发布版本。

Genmo 的视频生成模型，具有高保真运动和强提示遵循性。

这是一个先进的视频生成模型，采用 AsymmDiT 架构，可免费试用。它能生成高保真视频，缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

高效视频生成建模的金字塔流匹配技术

Pyramid Flow 是一种高效的视频生成建模技术，它基于流匹配方法，通过自回归视频生成模型来实现。该技术主要优点是训练效率高，能够在开源数据集上以较低的GPU小时数进行训练，生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发，并且已经在多个平台上发布了相关的论文、代码和模型。

无审查限制的AI模型平台

FreedomGPT是一个提供多种AI模型的平台，包括无审查限制的模型，用户可以在一个熟悉的界面中轻松切换开源和专有模型。它允许用户在浏览器或直接在计算机上运行这些模型，无需注册，无需技术专长。此外，它还支持离线使用，保证了用户隐私和数据安全。FreedomGPT还提供了一个开放源代码的AI平台，鼓励社区成员共同参与构建。

创意智能平台，用于构建魔法般的AI产品

Dream Machine API是一个创意智能平台，它提供了一系列先进的视频生成模型，通过直观的API和开源SDKs，用户可以构建和扩展创意AI产品。该平台拥有文本到视频、图像到视频、关键帧控制、扩展、循环和相机控制等功能，旨在通过创意智能与人类合作，帮助他们创造更好的内容。Dream Machine API的推出，旨在推动视觉探索和创造的丰富性，让更多的想法得以尝试，构建更好的叙事，并让那些以前无法做到的人讲述多样化的故事。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

生成视频的开源模型

CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

下一代开源AI模型，性能卓越。

Gemma 2是谷歌DeepMind推出的下一代开源AI模型，提供9亿和27亿参数版本，具有卓越的性能和推理效率，支持在不同硬件上以全精度高效运行，大幅降低部署成本。Gemma 2在27亿参数版本中，提供了两倍于其大小模型的竞争力，并且可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，显著降低部署成本。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

训练无关的运动克隆，实现可控视频生成

MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

多语言AI模型，支持101种语言。

Aya是由Cohere For AI领导的全球性倡议，涉及119个国家的3000多名独立研究人员。Aya是一个尖端模型和数据集，通过开放科学推进101种语言的多语言AI。Aya模型能够理解并按照101种语言的指令执行任务，是迄今为止最大的开放科学机器学习项目之一，重新定义了研究领域，通过与全球独立研究人员合作，实现了完全开源的数据集和模型。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

开放发布的Grok-1模型，拥有3140亿参数

Grok-1是由xAI从头开始训练的314亿参数的专家混合模型（Mixture-of-Experts）。该模型未经针对特定应用（如对话）的微调，是Grok-1预训练阶段的原始基础模型检查点。

文本和语音驱动的人体视频生成，从单张人物输入图像生成视频。

VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1)一个随机的人类到3D运动扩散模型，以及2)一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成长度可变的高质量视频，并且通过对人类面部和身体的高级表达方式轻松可控。与以前的工作不同，我们的方法不需要为每个人训练，也不依赖于人脸检测和裁剪，生成完整的图像（而不仅仅是面部或嘴唇），并考虑到正确合成交流人类所需的广泛场景（例如可见的躯干或多样性主体身份）。