产品库

Genmo 的视频生成模型，具有高保真运动和强提示遵循性。

这是一个先进的视频生成模型，采用 AsymmDiT 架构，可免费试用。它能生成高保真视频，缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。

高保真图像到视频生成框架

AtomoVideo是一个新颖的高保真图像到视频（I2V）生成框架，它从输入图像生成高保真视频，与现有工作相比，实现了更好的运动强度和一致性，并且无需特定调整即可与各种个性化T2I模型兼容。

视频生成模型,支持无限长度高保真虚拟人视频生成

MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。

高保真、时间连贯的视频编辑

MagicEdit是一款高保真、时间连贯的视频编辑模型，通过明确分离外观和运动的学习，支持视频风格化、局部编辑、视频混合和视频外扩等多种编辑应用。MagicEdit还支持视频外扩任务，无需重新训练即可实现。

集成空间编织注意力，提升扩散模型的高保真条件

HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。

开创高保真、可控视频生成新领域。

Gen-3 Alpha 是 Runway 训练的一系列模型中的首个，它在新的基础设施上训练，专为大规模多模态训练而建。它在保真度、一致性和动作方面相较于 Gen-2 有重大改进，并朝着构建通用世界模型迈进了一步。该模型能够生成具有丰富动作、手势和情感的表达性人物角色，为叙事提供了新的机会。

创新的AI视频生成器，快速实现创意视频。

Luma AI的Dream Machine是一款AI视频生成器，它利用先进的AI技术，将用户的想法转化为高质量、逼真的视频。它支持从文字描述或图片开始生成视频，具有高度的可扩展性、快速生成能力和实时访问功能。产品界面用户友好，适合专业人士和创意爱好者使用。Luma AI的Dream Machine不断更新，以保持技术领先，为用户提供持续改进的视频生成体验。

Freepik AI 视频生成器，基于人工智能技术快速生成高质量视频内容。

Freepik AI 视频生成器是一款基于人工智能技术的在线工具，能够根据用户输入的初始图像或描述快速生成视频。该技术利用先进的 AI 算法，实现视频内容的自动化生成，极大地提高了视频创作的效率。产品定位为创意设计人员和视频制作者提供快速、高效的视频生成解决方案，帮助用户节省时间和精力。目前该工具处于 Beta 测试阶段，用户可以免费试用其功能。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

基于 AI 技术生成视频内容的智能服务。

清影 AI 视频生成服务是一个创新的人工智能平台，旨在通过智能算法生成高质量的视频内容。该服务适合各种行业用户，能够快速便捷地生成富有创意的视觉内容。无论是商业广告、教育课程还是娱乐视频，清影 AI 都能提供优质的解决方案。该产品依托于先进的 GLM 大模型，确保生成内容的准确性与丰富性，同时满足用户个性化需求。提供免费试用，鼓励用户探索 AI 视频创作的无限可能。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

利用AI技术快速生成视频内容

AI视频生成神器是一款利用人工智能技术，将图片或文字转换成视频内容的在线工具。它通过深度学习算法，能够理解图片和文字的含义，自动生成具有吸引力的视频内容。这种技术的应用，极大地降低了视频制作的成本和门槛，使得普通用户也能轻松制作出专业级别的视频。产品背景信息显示，随着社交媒体和视频平台的兴起，用户对视频内容的需求日益增长，而传统的视频制作方式成本高、耗时长，难以满足快速变化的市场需求。AI视频生成神器的出现，正好填补了这一市场空白，为用户提供了一种快速、低成本的视频制作解决方案。目前，该产品提供免费试用，具体价格需要在网站上查询。

高保真文本引导的音乐生成与编辑模型

MelodyFlow是一个基于文本控制的高保真音乐生成和编辑模型，它使用连续潜在表示序列，避免了离散表示的信息丢失问题。该模型基于扩散变换器架构，经过流匹配目标训练，能够生成和编辑多样化的高质量立体声样本，且具有文本描述的简单性。MelodyFlow还探索了一种新的正则化潜在反转方法，用于零样本测试时的文本引导编辑，并展示了其在多种音乐编辑提示中的优越性能。该模型在客观和主观指标上进行了评估，证明了其在标准文本到音乐基准测试中的质量与效率上与评估基线相当，并且在音乐编辑方面超越了以往的最先进技术。

开源视频生成模型

Mochi 1 是 Genmo 公司推出的一款研究预览版本的开源视频生成模型，它致力于解决当前AI视频领域的基本问题。该模型以其无与伦比的运动质量、卓越的提示遵循能力和跨越恐怖谷的能力而著称，能够生成连贯、流畅的人类动作和表情。Mochi 1 的开发背景是响应对高质量视频内容生成的需求，特别是在游戏、电影和娱乐行业中。产品目前提供免费试用，具体定价信息未在页面中提供。

开源视频生成和编辑工具箱

VideoCrafter是一个开源的视频生成和编辑工具箱，用于制作视频内容。它目前包括Text2Video和Image2Video模型。Text2Video模型用于生成通用的文本到视频的转换，Image2Video模型用于生成通用的图像到视频的转换。详情请访问官方网站。

Stability AI 高保真文本转语音模型

Stability AI 高保真文本转语音模型旨在提供对大规模数据集进行训练的语音合成模型的自然语言引导。它通过标注不同的说话者身份、风格和录音条件来进行自然语言引导。然后将此方法应用于45000小时的数据集，用于训练语音语言模型。此外，该模型提出了提高音频保真度的简单方法，尽管完全依赖于发现的数据，但在很大程度上表现出色。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

开源视频生成项目,助力高效视频制作

Open-Sora是一个开源项目,旨在高效生成高质量视频,并将模型、工具和内容开放给所有人使用。通过拥抱开源原则,Open-Sora不仅民主化了获取先进视频生成技术的途径,还提供了一个简化了视频制作复杂性的流畅、用户友好的平台。我们的目标是通过Open-Sora来激发创新、创意和内容创作的包容性。该项目目前处于早期阶段,正在积极开发中。Open-Sora支持完整的视频数据预处理、加速训练、推理等流程。提供的权重可在只经过3天训练后生成2秒512x512分辨率的视频。Open-Sora还通过改进训练策略实现了46%的成本降低。

高保真视频编码，适用于大运动场景的视频自编码器。

这是一个视频变分自编码器（VAE），旨在减少视频冗余并促进高效视频生成。该模型通过观察发现，将图像VAE直接扩展到3D VAE会引入运动模糊和细节失真，因此提出了时间感知的空间压缩以更好地编码和解码空间信息。此外，该模型还集成了一个轻量级的运动压缩模型以实现进一步的时间压缩。通过利用文本到视频数据集中固有的文本信息，并在模型中加入文本指导，显著提高了重建质量，特别是在细节保留和时间稳定性方面。该模型还通过在图像和视频上进行联合训练来提高其通用性，不仅提高了重建质量，还使模型能够执行图像和视频的自编码。广泛的评估表明，该方法的性能优于最近的强基线。

利用AI技术，将文字和图像转化为创意视频。

通义万相AI创意作画是一款利用人工智能技术，将用户的文字描述或图像转化为视频内容的产品。它通过先进的AI算法，能够理解用户的创意意图，自动生成具有艺术感的视频。该产品不仅能够提升内容创作的效率，还能激发用户的创造力，适用于广告、教育、娱乐等多个领域。

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

Lyria 2 是一款高保真音乐生成模型。

Lyria 2 是最新的音乐生成模型，能够创作多种风格的高保真音乐，适用于复杂的音乐作品。该模型不仅为音乐创作者提供了强大的工具，还推动了音乐生成技术的发展，提升了创作效率。Lyria 2 的目标是让音乐创作变得更加简单和可及，为专业音乐人和爱好者提供灵活的创作支持。

使用频域分解进行高保真、可迁移的NeRF编辑

Freditor是一种基于频域分解的NeRF编辑方法。它可以实现高保真的NeRF场景编辑,并且可迁移到其他场景。该方法将NeRF场景划分为高频和低频两部分,对低频部分进行风格迁移,并将高频细节重新集成,从而生成高保真的编辑结果。Freditor还支持在推理过程中对编辑强度进行控制。实验表明,该方法在保真度和可迁移性方面都优于现有的NeRF编辑方法。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

开源视频生成模型，支持多种生成任务。

Wan2.1-FLF2V-14B 是一个开源的大规模视频生成模型，旨在推动视频生成领域的进步。该模型在多项基准测试中表现优异，支持消费者级 GPU，能够高效生成 480P 和 720P 的视频。它在文本到视频、图像到视频等多个任务中表现出色，具有强大的视觉文本生成能力，适用于各种实际应用场景。

Animate Anyone 2 是一款高保真角色图像动画生成工具，支持环境适配。

Animate Anyone 2 是一种基于扩散模型的角色图像动画技术，能够生成与环境高度适配的动画。它通过提取环境表示作为条件输入，解决了传统方法中角色与环境缺乏合理关联的问题。该技术的主要优点包括高保真度、环境适配性强以及动态动作处理能力出色。它适用于需要高质量动画生成的场景，如影视制作、游戏开发等领域，能够帮助创作者快速生成具有环境交互的角色动画，节省时间和成本。

开源的 MidJourney 界面克隆，提供 AI 图像和视频生成。

Openjourney 是一个高保真的开源项目，旨在模拟 MidJourney 的界面，利用 Google 的 Gemini SDK 进行 AI 图像和视频生成。该项目支持使用 Imagen 4 生成高质量图像，以及使用 Veo 2 和 Veo 3 进行文本到视频和图像到视频的转换。它适合需要进行图像生成和视频制作的开发者和创作者，提供了用户友好的界面和实时生成体验，能够助力创意工作与项目开发。

高保真头部混合与色键技术

CHANGER是一个创新的工业级头部混合技术，通过色键技术实现高保真度的头部混合效果，特别适用于视觉效果(VFX)、数字人物创建和虚拟头像等领域。该技术通过分离背景集成和前景混合，利用色键生成无瑕疵的背景，并引入头部形状和长发增强(H^2增强)以及前景预测性注意力转换器(FPAT)模块，以提高对各种真实世界情况的泛化能力。CHANGER的主要优点包括高保真度、工业级结果、以及对真实世界案例的广泛适用性。

一个开源的视频生成模型，用于创造生动的视频内容。

CogVideoX-2B是一个开源的视频生成模型，由清华大学团队开发。它支持使用英语提示语言生成视频，具有36GB的推理GPU内存需求，并且可以生成6秒长、每秒8帧、分辨率为720*480的视频。该模型使用正弦位置嵌入，目前不支持量化推理和多卡推理。它基于Hugging Face的diffusers库进行部署，能够根据文本提示生成视频，具有高度的创造性和应用潜力。