产品库

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

虚拟人物生成的图像到视频框架

MusePose是由腾讯音乐娱乐的Lyra Lab开发的一款图像到视频的生成框架，旨在通过姿势控制信号生成虚拟人物的视频。它是Muse开源系列的最后一个构建块，与MuseV和MuseTalk一起，旨在推动社区向生成具有全身运动和交互能力的虚拟人物的愿景迈进。MusePose基于扩散模型和姿势引导，能够生成参考图像中人物的舞蹈视频，并且结果质量超越了当前几乎所有同一主题的开源模型。

视频重渲染：零样本文本引导的视频到视频翻译

RERENDER A VIDEO是一种新颖的零样本文本引导的视频到视频翻译框架，用于将图像模型应用于视频领域。该框架包括两个部分：关键帧翻译和完整视频翻译。第一部分使用适应性扩散模型生成关键帧，并应用分层跨帧约束来确保形状、纹理和颜色的一致性。第二部分通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。我们的框架以低成本实现了全局风格和局部纹理的时间一致性（无需重新训练或优化）。该适应性与现有的图像扩散技术兼容，使我们的框架能够利用它们，例如使用LoRA自定义特定主题，并使用ControlNet引入额外的空间引导。大量实验证明了我们提出的框架在呈现高质量和时间一致性视频方面的有效性。

AI革命性地改变了内容创作，利用先进的视频生成技术，将文本和图像转化为动态视频，实现视频到视频的创作。探索数字故事讲述的未来。

AI SORA TECH是一款革命性的内容创作工具，利用先进的视频生成技术，将文本和图像转化为动态视频，并支持视频到视频的创作。它可以根据输入的文本或图像生成整个视频或延长现有视频的长度，满足各种视频制作需求。AI SORA TECH的功能丰富，操作简便，适用于专业人士和初学者。

文本和语音驱动的人体视频生成，从单张人物输入图像生成视频。

VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1)一个随机的人类到3D运动扩散模型，以及2)一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成长度可变的高质量视频，并且通过对人类面部和身体的高级表达方式轻松可控。与以前的工作不同，我们的方法不需要为每个人训练，也不依赖于人脸检测和裁剪，生成完整的图像（而不仅仅是面部或嘴唇），并考虑到正确合成交流人类所需的广泛场景（例如可见的躯干或多样性主体身份）。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

AI视频,短视频,创作视频,多语言视频,AI视频创作视频,虚拟人物视频,口播视频

KreadoAI 是一款强大的 AI 视频生成工具，允许用户通过文本、图片、PPT等内容快速创建专业级视频。该平台提供 700 多种 AI 数字化身，支持 140 多种语言的 1600 多种 AI 语音，并集成了 DeepSeek AI，增强了内容创作的智能化体验。KreadoAI 致力于帮助企业、营销人员、教育机构和个人高效生成视频内容，同时提供简单易用的编辑工具，优化成本、时间和质量。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

为文本到视频扩散模型添加稀疏控制

SparseCtrl是为了增强对文本到视频生成的控制性而开发的，它能够灵活地结合稀疏信号进行结构控制，只需一个或少量输入。它包括一个额外的条件编码器来处理这些稀疏信号，同时不影响预训练的文本到视频模型。该方法兼容各种形式，包括素描、深度和RGB图像，为视频生成提供更实用的控制，并推动故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了SparseCtrl在原始和个性化文本到视频生成器上的泛化能力。

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

Snap视频:用于文本到视频合成的可扩展空间时间转换器

Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。

国内领先的AI数字人口播视频在线创作平台

闪剪是一款 AI 数字人视频生成工具，用户可以定制自己的数字人，只需输入文字即可生成口播视频。 闪剪具备形象、声音克隆；链接成片以及直播切片等功能，手机端和网页端通用。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

文本到视频的指导生成模型

InstructVideo 是一种通过人类反馈用奖励微调来指导文本到视频的扩散模型的方法。它通过编辑的方式进行奖励微调，减少了微调成本，同时提高了微调效率。它使用已建立的图像奖励模型，通过分段稀疏采样和时间衰减奖励的方式提供奖励信号，显著提高了生成视频的视觉质量。InstructVideo 不仅能够提高生成视频的视觉质量，还能保持较强的泛化能力。欲了解更多信息，请访问官方网站。

VideoPainter 是一款支持任意长度视频修复和编辑的工具，采用文本引导的插件式框架。

VideoPainter 是一款基于深度学习的视频修复和编辑工具，采用预训练的扩散变换器模型，结合轻量级背景上下文编码器和 ID 重采样技术，能够实现高质量的视频修复和编辑。该技术的重要性在于它突破了传统视频修复方法在长度和复杂度上的限制，为视频创作者提供了一种高效、灵活的工具。产品目前处于研究阶段，暂未明确价格，主要面向视频编辑领域的专业用户和研究人员。

全球技术领先的AI数字人创作平台，快速复刻形象和声音，高效创作视频。

飞影数字人是上海灵之宇技术有限公司开发的AI数字人创作平台。该平台利用先进的AI技术，能够快速复刻用户的形象和声音，并生成逼真的数字人视频。其主要优点包括操作简便、生成速度快、效果逼真。该产品适用于多种场景，如口播短视频、电商直播、自媒体、广告营销和品牌宣传等，能够显著降低制作成本和时间。目前平台提供免费试用，具体价格需咨询官方。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

国内领先的 AI 数字人视频在线创作平台。

闪剪是一款利用 AI 技术的数字人视频创作平台，支持用户快速生成个性化视频内容。通过输入关键词，AI 可以自动创作文案并一键生成数字人视频。该平台的优势在于提供了丰富的数字人视频模板和国际化配音，帮助企业团队实现高效的内容创作与营销。定位为助力企业的数字营销工具，闪剪通过降本增效来满足用户的需求。

Tavus构建了先进的AI模型，包括数字复制、唇同步、配音、文本转视频，通过API为开发者提供访问

Tavus提供了一系列的AI模型，特别是在生成高度逼真的说话头部视频方面，其Phoenix模型通过神经辐射场（NeRFs）技术，能够产生自然面部动作和表情，并与输入同步。开发者可以通过Tavus的API访问这些具有高度真实感和可定制性的视频生成服务。

文本生成视频人物

Polymorf是一款为内容创作者、营销人员和教育者提供的文本生成视频人物工具。通过输入文本，选择或上传自定义人物形象，即可在几分钟内生成AI视频。支持40多种语言，提供100多种语音选择，也可上传自己的声音。无论您需要制作YouTube或Tiktok上的视频，Polymorf都能满足您的需求。您可以选择现有的人物形象，也可以上传自己的图片。Polymorf适用于各种视频尺寸，包括竖屏、横屏和方形。现在免费注册试用吧！

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

文本到视频的革命性生成模型

Kling AI是由快手科技开发的文本到视频生成模型，能够根据文本提示生成高度逼真的视频。它具有高效的视频生成能力，长达2分钟的30帧每秒视频，以及3D时空联合注意机制和物理世界模拟等先进技术，使其在AI视频生成领域具有显著的竞争优势。

文本引导的无形状物体修复模型

Diffree是一个基于文本引导的图像修复模型，它能够通过文本描述来添加新对象到图像中，同时保持背景的一致性、空间适宜性和对象的相关性和质量。该模型通过训练在OABench数据集上，使用稳定扩散模型和额外的掩码预测模块，能够独特地预测新对象的位置，实现仅通过文本指导的对象添加。

文本到视频生成领域的先进模型架构

Open-Sora Plan v1.2是一个开源的视频生成模型，专注于文本到视频的转换任务。它采用3D全注意力架构，优化了视频的视觉表示，并提高了推理效率。该模型在视频生成领域具有创新性，能够更好地捕捉联合空间-时间特征，为视频内容的自动生成提供了新的技术路径。