产品库

视频处理工具，实现从图像到视频的转换。

ComfyUI-CogVideoXWrapper 是一个基于Python的视频处理模型，它通过使用T5模型进行视频内容的生成和转换。该模型支持从图像到视频的转换工作流程，并在实验阶段展现出有趣的效果。它主要针对需要进行视频内容创作和编辑的专业用户，尤其是在视频生成和转换方面有特殊需求的用户。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

用AI重新定义视频创作，从文字到视频，让创作变得简单。

海螺视频App是一款基于AI技术的视频创作工具，用户可以通过文字描述或上传图片快速生成视频。该产品利用AI技术降低了视频创作的门槛，使创作变得简单高效。适合创意表达、生活记录等多种场景，具有便捷性和高效性。产品目前主要面向移动端用户，提供App Store和安卓应用商店的下载选项。

基于Pile数据集训练的T5模型

Pile-T5是EleutherAI推出的一款自然语言处理模型，它在原有的T5模型基础上，采用了Pile数据集和LLAMA分词器进行训练，以改善对代码任务的理解能力。该模型经过了2万亿个token的训练，是原T5模型训练量的两倍。Pile-T5在多项下游任务中表现出色，尤其是在代码相关任务上。此外，EleutherAI还提供了中间检查点，以便研究人员研究模型随时间的演变。

预训练T5模型，采用段落破坏和替换标记检测

SpacTor是一种新的训练程序，包括（1）结合了段落破坏（SC）和标记替换检测（RTD）的混合目标，以及（2）一个两阶段课程，该课程在初始tau次迭代中优化混合目标，然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验，使用编码器-解码器架构（T5），SpacTor-T5在下游性能方面与标准的SC预训练相当，同时减少了50%的预训练迭代次数和40%的总FLOPs。另外，在相同的计算预算下，我们发现SpacTor能够显著提高下游基准性能。

一款能够生成电影级质量视频的图像到视频模型

Ruyi-Models是一个图像到视频的模型，能够生成高达768分辨率、每秒24帧的电影级视频，支持镜头控制和运动幅度控制。使用RTX 3090或RTX 4090显卡，可以无损生成512分辨率、120帧的视频。该模型以其高质量的视频生成能力和对细节的精确控制而受到关注，尤其在需要生成高质量视频内容的领域，如电影制作、游戏制作和虚拟现实体验中具有重要应用价值。

基于HunyuanVideo的视频生成工具，支持图像到视频的转换

ComfyUI-HunyuanVideoWrapper-IP2V是一个基于HunyuanVideo的视频生成工具，它允许用户通过图像提示生成视频（IP2V），即利用图像作为生成视频的条件，提取图像的概念和风格。这项技术主要优点在于能够将图像的风格和内容融入视频生成过程中，而不仅仅是作为视频的第一帧。产品背景信息显示，该工具目前处于实验阶段，但已经可以工作，且对VRAM有较高要求，至少需要20GB。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

利用预训练的图像到视频扩散模型生成连贯中间帧

该产品是一个图像到视频的扩散模型，通过轻量级的微调技术，能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景，如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力，通过微调使其能够预测两个关键帧之间的视频，从而实现前向和后向的一致性。

生成视频的开源模型

CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。

Wan2.1-T2V-14B 是一款高性能的文本到视频生成模型，支持多种视频生成任务。

Wan2.1-T2V-14B 是一款先进的文本到视频生成模型，基于扩散变换器架构，结合了创新的时空变分自编码器（VAE）和大规模数据训练。它能够在多种分辨率下生成高质量的视频内容，支持中文和英文文本输入，并在性能和效率上超越现有的开源和商业模型。该模型适用于需要高效视频生成的场景，如内容创作、广告制作和视频编辑等。目前该模型在 Hugging Face 平台上免费提供，旨在推动视频生成技术的发展和应用。

高保真图像到视频生成框架

AtomoVideo是一个新颖的高保真图像到视频（I2V）生成框架，它从输入图像生成高保真视频，与现有工作相比，实现了更好的运动强度和一致性，并且无需特定调整即可与各种个性化T2I模型兼容。

Magic 1-For-1 是一个高效的图像到视频生成模型，可在一分钟内生成一分钟的视频。

Magic 1-For-1 是一个专注于高效视频生成的模型，其核心功能是将文本和图像快速转换为视频。该模型通过将文本到视频的生成任务分解为文本到图像和图像到视频两个子任务，优化了内存使用并减少了推理延迟。其主要优点包括高效性、低延迟和可扩展性。该模型由北京大学 DA-Group 团队开发，旨在推动交互式基础视频生成领域的发展。目前该模型及相关代码已开源，用户可以免费使用，但需遵守开源许可协议。

视频到视频，图像增强和升级

GoEnhance AI 是一个视频到视频、图像增强和升级的平台。它可以将您的视频转换为多种不同风格的动画，包括像素和扁平动漫。通过 AI 技术，它能够将图像增强并升级到极致的细节。无论是个人创作还是商业应用，GoEnhance AI 都能为您提供强大的图像和视频编辑工具。

快速准确提取视频中的文字

AIbase视频提取文字工具是一个利用人工智能和机器学习技术，为用户提供快速、准确的视频文字转录服务。它优化了文字排版，使得转录内容易于理解且忠实于原视频。作为一项基础服务，该工具完全免费，无需安装、下载或付费订阅，极大地方便了创意人员的视频内容处理工作。

AI视频和图像处理工具

Cartoonify是一款提供AI视频和图像处理工具的网站，其中包括视频编辑、字幕生成、表情包制作、视频裁剪等功能。其中的Cartoonify项目是一个基于人工智能的图片转换为手绘卡通风格的实验项目，用户可以上传图片并获得卡通风格的输出。由于服务器成本上升，该项目于2023年停止运营，但很多功能已经整合到Cartoonify的主要产品中。

文本到视频生成的开源模型，性能卓越。

Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本，以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进，包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构，具有更强的性能和更高的推理效率。此外，它还保持了v1.0.0版本的极简设计和数据效率，并且与Sora基础模型的性能相似，表明其版本演进与Sora展示的扩展法则一致。

一键生成视频字幕

VAS 视频加字幕是一款强大且高效的工具，能够使用 AI 提取音频对话内容后翻译、生成字幕文件。它支持 ChatGPT 翻译、GPU 加速、多任务处理、VR 视频、字幕微调、超多语种、实时预览、断点续传等功能。用户只需上传视频，选择语言，即可一键生成字幕。VAS 视频加字幕适用于个人用户、视频制作人、教育机构、企业等多种场景。

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

AI驱动的视频生成工具，一键生成高质量营销视频

小视频宝（ClipTurbo）是一个AI驱动的视频生成工具，旨在帮助用户轻松创建高质量的营销视频。该工具利用AI技术处理文案、翻译、图标匹配和TTS语音合成，最终使用manim渲染视频，避免了纯生成式AI被平台限流的问题。小视频宝支持多种模板，用户可以根据需要选择分辨率、帧率、宽高比或屏幕方向，模板将自动适配。此外，它还支持多种语音服务，包括内置的EdgeTTS语音。目前，小视频宝仍处于早期开发阶段，仅提供给三花AI的注册用户。

使用简单的提示和图像生成视频片段。

Adobe Firefly 是一款基于人工智能技术的视频生成工具。它能够根据用户提供的简单提示或图像快速生成高质量的视频片段。该技术利用先进的 AI 算法，通过对大量视频数据的学习和分析，实现自动化的视频创作。其主要优点包括操作简单、生成速度快、视频质量高。Adobe Firefly 面向创意工作者、视频制作者以及需要快速生成视频内容的用户，提供高效、便捷的视频创作解决方案。目前该产品处于 Beta 测试阶段，用户可以免费使用，未来可能会根据市场需求和产品发展进行定价和定位。

统一文本到文本转换器

Google T5 是一个统一的文本到文本转换器，通过在大型文本语料库上进行预训练，可以实现在多个 NLP 任务上取得最先进的结果。它提供了加载、预处理、混合和评估数据集的代码，并且可以用于对已发布的预训练模型进行微调。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

AI革命性地改变了内容创作，利用先进的视频生成技术，将文本和图像转化为动态视频，实现视频到视频的创作。探索数字故事讲述的未来。

AI SORA TECH是一款革命性的内容创作工具，利用先进的视频生成技术，将文本和图像转化为动态视频，并支持视频到视频的创作。它可以根据输入的文本或图像生成整个视频或延长现有视频的长度，满足各种视频制作需求。AI SORA TECH的功能丰富，操作简便，适用于专业人士和初学者。

AI赋能的短视频生产平台，批量生成多样化视频内容。

Giga视频超级工厂是一款基于AI技术，融合多项智能能力的视频生产平台。它通过智能化技术和工业化生产线，实现短视频的批量生产，让创意快速变为现实。产品具备视频生视频、图文生视频、报纸生视频以及视频智能翻译等功能，适用于新闻报道、企业宣传、活动推广等多种场景，助力用户高效制作并传播视频内容。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。