产品库

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

零样本身份保持人类视频生成技术

ID-Animator是一种零样本人类视频生成方法，能够在不需要进一步训练的情况下，根据单个参考面部图像进行个性化视频生成。该技术继承了现有的基于扩散的视频生成框架，并加入了面部适配器以编码与身份相关的嵌入。通过这种方法，ID-Animator能够在视频生成过程中保持人物身份的细节，同时提高训练效率。

一种用于增强身份保留文本到图像生成的反馈学习框架

ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架，它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留，并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型，通过广泛的实验验证了其有效性。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

文本到图像生成中保持内容的样式迁移

InstantStyle-Plus 是一种先进的图像生成模型，专注于在文本到图像的生成过程中实现样式迁移，同时保持原始内容的完整性。它通过分解风格迁移任务为风格注入、空间结构保持和语义内容保持三个子任务，利用InstantStyle框架，以一种高效、轻量的方式实现风格注入。该模型通过反转内容潜在噪声和使用Tile ControlNet来保持空间构图，并通过全局语义适配器增强语义内容的保真度。此外，还使用风格提取器作为鉴别器，提供额外的风格指导。InstantStyle-Plus 的主要优点在于它能够在不牺牲内容完整性的前提下，实现风格与内容的和谐统一。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

Snap视频:用于文本到视频合成的可扩展空间时间转换器

Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

为文本到视频扩散模型添加稀疏控制

SparseCtrl是为了增强对文本到视频生成的控制性而开发的，它能够灵活地结合稀疏信号进行结构控制，只需一个或少量输入。它包括一个额外的条件编码器来处理这些稀疏信号，同时不影响预训练的文本到视频模型。该方法兼容各种形式，包括素描、深度和RGB图像，为视频生成提供更实用的控制，并推动故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了SparseCtrl在原始和个性化文本到视频生成器上的泛化能力。

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

文本到视频的指导生成模型

InstructVideo 是一种通过人类反馈用奖励微调来指导文本到视频的扩散模型的方法。它通过编辑的方式进行奖励微调，减少了微调成本，同时提高了微调效率。它使用已建立的图像奖励模型，通过分段稀疏采样和时间衰减奖励的方式提供奖励信号，显著提高了生成视频的视觉质量。InstructVideo 不仅能够提高生成视频的视觉质量，还能保持较强的泛化能力。欲了解更多信息，请访问官方网站。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

文本到视频的革命性生成模型

Kling AI是由快手科技开发的文本到视频生成模型，能够根据文本提示生成高度逼真的视频。它具有高效的视频生成能力，长达2分钟的30帧每秒视频，以及3D时空联合注意机制和物理世界模拟等先进技术，使其在AI视频生成领域具有显著的竞争优势。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

文本到视频生成领域的先进模型架构

Open-Sora Plan v1.2是一个开源的视频生成模型，专注于文本到视频的转换任务。它采用3D全注意力架构，优化了视频的视觉表示，并提高了推理效率。该模型在视频生成领域具有创新性，能够更好地捕捉联合空间-时间特征，为视频内容的自动生成提供了新的技术路径。

文本到视频的快速生成模型，性能是原版的十倍以上

ByteDance的AnimateDiff-Lightning项目通过特定的模型和设置，实现了比原始AnimateDiff快速十倍以上的文本到视频生成。

使用自然语言指令编辑图片，保持上下文和身份一致。

FLUX.1 Kontext是一款AI图像编辑工具，通过自然语言指令实现编辑，保持上下文和身份一致。其主要优点包括快速编辑、保持人物特征和身份一致、支持多种编辑模式，适用于各种创意需求。

保护您的身份和数据安全的身份认证解决方案

TrustAuthXkey是一种身份认证解决方案，提供多层级的安全保护，包括基于Github的登录、邮箱认证等功能。它可以帮助用户保护个人身份和敏感数据的安全，提供安全可靠的身份认证服务。TrustAuthXkey还具有简单易用的界面和灵活的定价策略。

轻量快速频率感知扩散声码器

FreGrad是一款轻量快速的频率感知扩散声码器，旨在生成逼真的音频。其框架包括离散小波变换、频率感知扩张卷积和一系列增强模型生成质量的技巧。在实验中，FreGrad相比基准模型，训练速度提升3.7倍，推理速度提升2.2倍，同时模型大小减少0.6倍（仅178万参数），而不牺牲输出质量。

AI革命性地改变了内容创作，利用先进的视频生成技术，将文本和图像转化为动态视频，实现视频到视频的创作。探索数字故事讲述的未来。

AI SORA TECH是一款革命性的内容创作工具，利用先进的视频生成技术，将文本和图像转化为动态视频，并支持视频到视频的创作。它可以根据输入的文本或图像生成整个视频或延长现有视频的长度，满足各种视频制作需求。AI SORA TECH的功能丰富，操作简便，适用于专业人士和初学者。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

文本和语音驱动的人体视频生成，从单张人物输入图像生成视频。

VLOGGER是一种从单张人物输入图像生成文本和音频驱动的讲话人类视频的方法，它建立在最近生成扩散模型的成功基础上。我们的方法包括1)一个随机的人类到3D运动扩散模型，以及2)一个新颖的基于扩散的架构，通过时间和空间控制增强文本到图像模型。这种方法能够生成长度可变的高质量视频，并且通过对人类面部和身体的高级表达方式轻松可控。与以前的工作不同，我们的方法不需要为每个人训练，也不依赖于人脸检测和裁剪，生成完整的图像（而不仅仅是面部或嘴唇），并考虑到正确合成交流人类所需的广泛场景（例如可见的躯干或多样性主体身份）。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

开源的文本到图像生成模型

OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本，移除了蒸馏过程，使其可以进行微调，并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像，并且只需1-4步即可完成。它是一个尝试去除蒸馏过程，创建一个可以微调的开源许可模型。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

AI文本到图像生成工具

NeutronField是一款AI文本到图像生成工具，通过输入文字描述，即可生成对应的图像。它具有稳定的扩散算法，能够生成高质量的图像作品。NeutronField的主要功能包括根据文本生成图像、展示AI文本到图像的作品、购买和出售AI文本到图像的作品等。它的优势在于能够快速生成多样化的图像作品，满足用户的个性化需求。NeutronField的定价根据作品的复杂程度和独特性而定，用户可以根据自己的需求选择合适的作品进行购买。NeutronField定位于为用户提供便捷、高效的AI文本到图像生成服务。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。