产品库

使用SVD技术进行关键帧插值的动画工具

Svd Keyframe Interpolation 是一个基于奇异值分解(SVD)技术的关键帧插值模型，用于在动画制作中自动生成中间帧，从而提高动画师的工作效率。该技术通过分析关键帧的特征，自动计算出中间帧的图像，使得动画更加流畅自然。它的优势在于能够减少动画师手动绘制中间帧的工作量，同时保持高质量的动画效果。

利用预训练的图像到视频扩散模型生成连贯中间帧

该产品是一个图像到视频的扩散模型，通过轻量级的微调技术，能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景，如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力，通过微调使其能够预测两个关键帧之间的视频，从而实现前向和后向的一致性。

基于GIMM-VFI的ComfyUI帧插值工具

ComfyUI-GIMM-VFI是一个基于GIMM-VFI算法的帧插值工具，使用户能够在图像和视频处理中实现高质量的帧插值效果。该技术通过在连续帧之间插入新的帧来提高视频的帧率，从而使得动作看起来更加流畅。这对于视频游戏、电影后期制作和其他需要高帧率视频的应用场景尤为重要。产品背景信息显示，它是基于Python开发的，并且依赖于CuPy库，特别适用于需要进行高性能计算的场景。

AI辅助关键帧动画软件

Cascadeur是一款独立的3D关键帧动画软件，可用于人形角色或其他角色的动画制作。通过其AI辅助工具，您可以快速创建关键姿势，即时看到物理效果并调整次要动作，同时保持完全控制。

这是一个基于HunyuanVideo模型的适配器，用于基于关键帧的视频生成。

HunyuanVideo Keyframe Control Lora 是一个针对HunyuanVideo T2V模型的适配器，专注于关键帧视频生成。它通过修改输入嵌入层以有效整合关键帧信息，并应用低秩适配（LoRA）技术优化线性层和卷积输入层，从而实现高效微调。该模型允许用户通过定义关键帧精确控制生成视频的起始和结束帧，确保生成内容与指定关键帧无缝衔接，增强视频连贯性和叙事性。它在视频生成领域具有重要应用价值，尤其在需要精确控制视频内容的场景中表现出色。

生成卡通插值研究论文

ToonCrafter是一个开源的研究项目，专注于使用预训练的图像到视频扩散先验来插值两张卡通图像。该项目旨在积极影响AI驱动的视频生成领域，为用户提供创造视频的自由，但要求用户遵守当地法律并负责任地使用。

视频生成、预测和插值的通用模型

MCVD是一种用于视频生成、预测和插值的通用模型，使用基于分数的扩散损失函数生成新颖的帧，通过将高斯噪声注入当前帧并对过去和/或未来帧进行条件去噪，通过随机屏蔽过去和/或未来帧进行训练，实现无条件生成、未来预测、过去重建和插值四种情况的处理。该模型使用2D卷积U-Net，通过串联或时空自适应归一化对过去和未来帧进行条件处理，产生高质量和多样化的视频样本，使用1-4个GPU进行训练，能够扩展到更多通道。MCVD是一种简单的非递归2D卷积架构，能够生成任意长度的视频样本，具有SOTA的结果。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

大场景动作的帧间插值模型

帧间插值（Frame Interpolation）是一种高质量的帧间插值神经网络模型。该模型采用统一的单网络方法，不需要额外的预训练网络，如光流或深度网络，但仍能实现最先进的效果。模型使用多尺度特征提取器，在不同尺度上共享相同的卷积权重。该模型仅通过帧三元组进行训练。

批量图像驱动视频创作节点

Steerable Motion是一个用于批量创意插值的ComfyUI节点。我们的目标是展示在图像作为视频模型演变时，如何以最佳方式驱动运动。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

视频生成的时空扩散模型

Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时间超分辨率处理，这种方法本质上使得全局时间一致性难以实现。通过部署空间和（重要的是）时间的下采样和上采样，并利用预训练的文本到图像扩散模型，我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果，并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用，包括图像到视频、视频修补和风格化生成。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

基于级联扩散的文本到图像生成系统

CogView3是一个基于级联扩散的文本到图像生成系统，使用中继扩散框架。该系统通过将高分辨率图像生成过程分解为多个阶段，并通过中继超分辨率过程，在低分辨率生成结果上添加高斯噪声，从而开始从这些带噪声的图像进行扩散过程。CogView3在生成图像方面超越了SDXL，具有更快的生成速度和更高的图像质量。

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。

零样本图像动画生成器

AnimateZero是一款零样本图像动画生成器，通过分离外观和运动生成视频，解决了黑盒、低效、不可控等问题。它可以通过零样本修改将预训练的T2V模型转换为I2V模型，从而实现零样本图像动画生成。AnimateZero还可以用于视频编辑、帧插值、循环视频生成和真实图像动画等场景，具有较高的主观质量和匹配度。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

升级扩散模型插件通用兼容性

X-Adapter是一个通用升级工具，可以使预训练的插件模块（例如ControlNet、LoRA）直接与升级的文本到图像扩散模型（例如SD-XL）配合使用，无需进一步重新训练。通过训练额外的网络来控制冻结的升级模型，X-Adapter保留旧模型的连接器，并添加可训练的映射层以连接不同版本模型的解码器进行特征重映射。重映射的特征将作为升级模型的引导。为了增强X-Adapter的引导能力，我们采用空文本训练策略。在训练后，我们还引入了两阶段去噪策略，以调整X-Adapter和升级模型的初始潜变量。X-Adapter展示了与各种插件的通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们进行了大量实验证明，X-Adapter可能在升级的基础扩散模型中有更广泛的应用。

异步去噪并行化扩散模型

AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案，它通过将噪声预测模型分割成多个组件并分配到不同的设备上，实现了模型的并行处理。这种方法显著减少了推理延迟，同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

视频处理工具，实现从图像到视频的转换。

ComfyUI-CogVideoXWrapper 是一个基于Python的视频处理模型，它通过使用T5模型进行视频内容的生成和转换。该模型支持从图像到视频的转换工作流程，并在实验阶段展现出有趣的效果。它主要针对需要进行视频内容创作和编辑的专业用户，尤其是在视频生成和转换方面有特殊需求的用户。

Show-1 将像素和潜在扩散模型结合起来，以实现高效的高质量文本到视频的生成

Show-1是一种高效的文本到视频生成模型,它结合了像素级和潜变量级的扩散模型,既能生成与文本高度相关的视频,也能以较低的计算资源要求生成高质量的视频。它首先用像素级模型生成低分辨率的初步视频,然后使用潜变量模型将其上采样到高分辨率,从而结合两种模型的优势。相比纯潜变量模型,Show-1生成的视频文本关联更准确;相比纯像素模型,它的运算成本也更低。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

文本到视频的指导生成模型

InstructVideo 是一种通过人类反馈用奖励微调来指导文本到视频的扩散模型的方法。它通过编辑的方式进行奖励微调，减少了微调成本，同时提高了微调效率。它使用已建立的图像奖励模型，通过分段稀疏采样和时间衰减奖励的方式提供奖励信号，显著提高了生成视频的视觉质量。InstructVideo 不仅能够提高生成视频的视觉质量，还能保持较强的泛化能力。欲了解更多信息，请访问官方网站。