产品库

用于视频生成的下一帧预测模型。

FramePack 是一个创新的视频生成模型，旨在通过压缩输入帧的上下文来提高视频生成的质量和效率。其主要优点在于解决了视频生成中的漂移问题，通过双向采样方法保持视频质量，适合需要生成长视频的用户。该技术背景来源于对现有模型的深入研究和实验，以改进视频生成的稳定性和连贯性。

Pusa 是一个新颖的视频扩散模型，支持多种视频生成任务。

Pusa 通过帧级噪声控制引入视频扩散建模的创新方法，能够实现高质量的视频生成，适用于多种视频生成任务（文本到视频、图像到视频等）。该模型以其卓越的运动保真度和高效的训练过程，提供了一个开源的解决方案，方便用户进行视频生成任务。

在视频扩散变换器中合成任何内容的框架。

SkyReels-A2 是一个基于视频扩散变换器的框架，允许用户合成和生成视频内容。该模型通过利用深度学习技术，提供了灵活的创作能力，适合多种视频生成应用，尤其是在动画和特效制作方面。该产品的优点在于其开源特性和高效的模型性能，适合研究人员和开发者使用，且目前不收取费用。

一种提升场景级视频生成能力的技术。

长上下文调优（LCT）旨在解决当前单次生成能力与现实叙事视频制作之间的差距。该技术通过数据驱动的方法直接学习场景级一致性，支持交互式多镜头开发和合成生成，适用于视频制作的各个方面。

使用简单的提示和图像生成视频片段。

Adobe Firefly 是一款基于人工智能技术的视频生成工具。它能够根据用户提供的简单提示或图像快速生成高质量的视频片段。该技术利用先进的 AI 算法，通过对大量视频数据的学习和分析，实现自动化的视频创作。其主要优点包括操作简单、生成速度快、视频质量高。Adobe Firefly 面向创意工作者、视频制作者以及需要快速生成视频内容的用户，提供高效、便捷的视频创作解决方案。目前该产品处于 Beta 测试阶段，用户可以免费使用，未来可能会根据市场需求和产品发展进行定价和定位。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

可控视频和图像生成技术

ControlNeXt是一个开源的图像和视频生成模型，它通过减少高达90%的可训练参数，实现了更快的收敛速度和卓越的效率。该项目支持多种控制信息形式，并且可以与LoRA技术结合使用，以改变风格并确保更稳定的生成效果。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

通用世界模型，支持自然语言动作和视频状态

Pandora是一个向通用世界模型迈进的模型，它能够通过生成视频来模拟世界状态，并允许使用自然语言在任何时间控制视频内容。Pandora与以往的文本到视频模型不同，它允许在视频生成过程中随时接受自由文本动作输入，从而实现视频的即时控制。这种即时控制能力实现了世界模型支持交互式内容生成和增强的健壮推理和规划的承诺。Pandora能够跨多个领域生成视频，如室内/室外、自然/城市、人类/机器人、2D/3D等场景。此外，Pandora还允许通过高质量的数据进行指令调整，使得模型能够在一个领域学习动作并在另一个未见过的领域中使用。Pandora模型还通过自回归模型生成更长的视频，其生成的视频长度可以超过训练视频的长度。尽管Pandora作为通用世界模型的初步步骤仍有限制，例如在生成一致性视频、模拟复杂场景、理解常识和物理法则以及遵循指令/动作方面可能会失败，但它在视频生成和自然语言控制方面展示了巨大的潜力。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

AI学习平台

Generative AI Courses是一家提供AI学习课程的在线平台。通过课程学习，用户可以掌握GenAI、AI、机器学习、深度学习、chatGPT、DALLE、图像生成、视频生成、文本生成等技术，并了解2024年AI领域的最新发展。

开源项目，复现OpenAI的Sora模型

Open-Sora-Plan是一个开源项目，旨在复现OpenAI的Sora（T2V模型），并构建关于Video-VQVAE（VideoGPT）+ DiT的知识。项目由北京大学-兔展AIGC联合实验室发起，目前资源有限，希望开源社区能够贡献力量。项目提供了训练代码，并欢迎Pull Request。

开源视频生成模型，支持多种生成任务。

Wan2.1-FLF2V-14B 是一个开源的大规模视频生成模型，旨在推动视频生成领域的进步。该模型在多项基准测试中表现优异，支持消费者级 GPU，能够高效生成 480P 和 720P 的视频。它在文本到视频、图像到视频等多个任务中表现出色，具有强大的视觉文本生成能力，适用于各种实际应用场景。

一个简单易用的语音克隆和语音模型训练工具。

EaseVoice Trainer 是一个后端项目，旨在简化和增强语音合成与转换训练过程。该项目基于 GPT-SoVITS 进行改进，注重用户体验和系统的可维护性。其设计理念不同于原始项目，旨在提供更模块化和定制化的解决方案，适用于从小规模实验到大规模生产的多种场景。该工具可以帮助开发者和研究人员更高效地进行语音合成和转换的研究与开发。

AI 驱动的智能求职解决方案，助力提升求职成功率。

Boli 职业助手是一个利用 AI 技术和大数据分析为求职者提供智能化求职服务的平台。它为用户提供简历优化、面试模拟、岗位匹配等服务，显著提高了求职成功率。该产品旨在帮助求职者更好地展示自己的能力和适应力，从而获得理想的职位。用户可以享受免费的试用体验，以便在决定后续使用前充分了解产品的价值。

通过生成推理扩大过程奖励模型的测试时间计算。

GenPRM 是一种新兴的过程奖励模型（PRM），通过生成推理来提高在测试时的计算效率。这项技术能够在处理复杂任务时提供更准确的奖励评估，适用于多种机器学习和人工智能领域的应用。其主要优点是能够在资源有限的情况下优化模型性能，并在实际应用中降低计算成本。

昆仑万维开源的高性能数学代码推理模型，性能卓越

Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能，突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型，分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重，还全面开放了训练数据集和完整训练代码，所有资源均已上传至GitHub和Huggingface平台，为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。

Dream 7B 是最强大的开放扩散大语言模型。

Dream 7B 是由香港大学 NLP 组和华为诺亚方舟实验室联合推出的最新扩散大语言模型。它在文本生成领域展现了优异的性能，特别是在复杂推理、长期规划和上下文连贯性等方面。该模型采用了先进的训练方法，具有强大的计划能力和灵活的推理能力，为各类 AI 应用提供了更为强大的支持。

一个帮助您快速原型应用的工具。

Firebase Studio 是一个强大的工具，可以帮助开发者快速原型化应用程序，支持使用 AI 技术来加速开发流程。它使得用户能够在短时间内构建出可交互的应用原型，从而更快地验证创意。Firebase Studio 的定位是提高开发效率，帮助团队更好地沟通和实现想法。

一款具有 17 亿参数的开源图像生成基础模型。

HiDream-I1 是一款新型的开源图像生成基础模型，拥有 170 亿个参数，能够在几秒内生成高质量图像。该模型适用于研究和开发，并在多个评测中表现优异，具有高效性和灵活性，适合用于各种创意设计和生成任务。

一个针对机器学习优化的多模态 OCR 管道。

该产品是一个专门设计的 OCR 系统，旨在从复杂的教育材料中提取结构化数据，支持多语言文本、数学公式、表格和图表，能够生成适用于机器学习训练的高质量数据集。该系统利用多种技术和 API，能够提供高精度的提取结果，适合学术研究和教育工作者使用。

OmniTalker 是一个实时文本驱动的生成谈话头框架。

OmniTalker 是由阿里巴巴 Tongyi 实验室提出的一种统一框架，旨在实时生成音频和视频，提升人机交互体验。其创新之处在于解决了传统文本到语音及语音驱动的视频生成方法中常见的音视频不同步、风格不一致及系统复杂性等问题。OmniTalker 采用双分支扩散变换器架构，能够在保持高效的同时实现高保真的音视频输出。其实时推理速度可达每秒 25 帧，适用于各种交互式视频聊天应用，提升了用户体验。

基于 DiT 的人类图像动画框架，实现精细控制与长效一致性。

DreamActor-M1 是一个基于扩散变换器 (DiT) 的人类动画框架，旨在实现细粒度的整体可控性、多尺度适应性和长期时间一致性。该模型通过混合引导，能够生成高表现力和真实感的人类视频，适用于从肖像到全身动画的多种场景。其主要优势在于高保真度和身份保留，为人类行为动画带来了新的可能性。