产品库

视频超分辨率模型，细节丰富

VideoGigaGAN是一款基于大规模图像上采样器GigaGAN的视频超分辨率(VSR)模型。它能够生成具有高频细节和时间一致性的视频。该模型通过添加时间注意力层和特征传播模块，显著提高了视频的时间一致性，并使用反锯齿块减少锯齿效应。VideoGigaGAN在公共数据集上与最先进的VSR模型进行了比较，并展示了8倍超分辨率的视频结果。

GoEnhance AI是一款基于AI的图文增强工具

GoEnhance AI是一款基于人工智能的图像和视频增强工具。它可以实现视频到视频、图像增强和超分辨率scaling等功能。GoEnhance AI采用了最先进的深度学习算法,可以增强和上采样图像到极致的细节和高分辨率。它简单易用,功能强大,是创作者、设计师等用户释放创意的绝佳工具。

利用AI算法将SDR内容自动升级到HDR

Nvidia RTX显卡的RTX Video HDR功能利用AI算法自动将SDR内容转换为HDR质量,无需人工干预。支持RTX系列显卡,兼容HDR10显示器,可在微软Edge和谷歌Chrome浏览器中使用。可提升旧视频细节层次感,提高画面色彩表现力。搭配高端HDR显示器效果更佳。该功能与RTX Video超分辨率技术类似,都利用AI实现画质提升。无需付费,只需安装最新Nvidia驱动和RTX显卡即可使用。适用于需要提升旧视频画质的用户。

用于视频超分辨率和去模糊的深度学习模型

FMA-Net是一个用于视频超分辨率和去模糊的深度学习模型。它可以将低分辨率和模糊的视频恢复成高分辨率和清晰的视频。该模型通过流引导的动态过滤和多注意力的迭代特征精炼技术,可以有效处理视频中的大动作,实现视频的联合超分辨率和去模糊。该模型结构简单、效果显著,可以广泛应用于视频增强、编辑等领域。

一种优化扩散模型采样时间表的方法，以提高生成模型的输出质量。

Align Your Steps 是一种用于优化扩散模型（Diffusion Models, DMs）采样时间表的方法。这种方法利用随机微积分的方法，为不同的求解器、训练有素的DMs和数据集找到特定的最优采样时间表。它通过最小化KLUB项来优化时间离散化，即采样调度，从而在相同的计算预算下提高输出质量。该方法在图像、视频以及2D玩具数据合成基准测试中表现出色，优化的采样时间表在几乎所有实验中都优于之前手工制定的时间表。

大规模视频生成扩散模型

Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。

SVD 1.1 Image-to-Video 模型生成短视频

Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一个扩散模型，通过将静止图像作为条件帧，生成相应的视频。该模型是一个潜在扩散模型，经过训练，能够从图像生成短视频片段。在分辨率为 1024x576 的情况下，该模型训练生成 25 帧视频，其训练基于相同大小的上下文帧，并从 SVD Image-to-Video [25 frames] 进行了微调。微调时，固定了6FPS和Motion Bucket Id 127的条件，以提高输出的一致性，而无需调整超参数。

多模态引导的共语言面部动画生成

Media2Face是一款通过音频、文本和图像多模态引导的共语言面部动画生成工具。它首先利用通用神经参数化面部资产（GNPFA）将面部几何和图像映射到高度通用的表情潜在空间，然后从大量视频中提取高质量的表情和准确的头部姿态，构建了M2F-D数据集。最后，采用GNPFA潜在空间中的扩散模型进行共语言面部动画生成。该工具不仅在面部动画合成方面具有高保真度，还拓展了表现力和样式适应性。

ActAnywhere是一个主体感知视频背景生成模型。

ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景,同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量,并专门定制用于此任务。ActAnywhere以一系列前景主体分割作为输入,以描述所需场景的图像作为条件,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。该模型在大规模人机交互视频数据集上进行训练。大量评估表明该模型的性能明显优于基准,可以泛化到各种分布样本,包括非人类主体。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

快速并行化视频到视频的AI合成

Fairy是一个针对视频编辑应用的简约但强大的图像编辑扩散模型的适应。它的核心是基于锚的跨帧注意机制，这种机制隐式地在帧之间传播扩散特征，确保了更好的时间连贯性和高保真度合成。Fairy不仅解决了以前模型的内存和处理速度限制，还通过独特的数据增强策略改善了时间一致性。

文本到视频的指导生成模型

InstructVideo 是一种通过人类反馈用奖励微调来指导文本到视频的扩散模型的方法。它通过编辑的方式进行奖励微调，减少了微调成本，同时提高了微调效率。它使用已建立的图像奖励模型，通过分段稀疏采样和时间衰减奖励的方式提供奖励信号，显著提高了生成视频的视觉质量。InstructVideo 不仅能够提高生成视频的视觉质量，还能保持较强的泛化能力。欲了解更多信息，请访问官方网站。

一键生成高质量的跳舞视频

DreaMoving是一个基于扩散模型的可控制视频生成框架，用于生成高质量的定制人类舞蹈视频。通过给定目标身份和姿势序列，DreaMoving可以生成一个目标身份的视频，驱动姿势序列在任何地方跳舞。为此，我们提出了一个视频控制网络来进行运动控制，以及一个内容导引器来保留身份信息。该模型易于使用，并可适应大多数风格化扩散模型以生成多样化的结果。

使用扩散模型实现时域一致的人体图像动画

MagicAnimate是一款基于扩散模型的先进框架，用于人体图像动画。它能够从单张图像和动态视频生成动画视频，具有时域一致性，能够保持参考图像的特征，并显著提升动画的保真度。MagicAnimate支持使用来自各种来源的动作序列进行图像动画，包括跨身份的动画和未见过的领域，如油画和电影角色。它还与DALLE3等T2I扩散模型无缝集成，可以根据文本生成的图像赋予动态动作。MagicAnimate由新加坡国立大学Show Lab和Bytedance字节跳动共同开发。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

AI驱动的文本到视频生成

Emu Video是一种基于扩散模型的简单文本到视频生成方法，将生成过程分解为两个步骤：首先根据文本提示生成图像，然后根据提示和生成的图像生成视频。分解生成方式能够高效训练高质量的视频生成模型。与以往的方法相比，我们的方法只需使用两个扩散模型即可生成分辨率为512像素、播放速度为每秒16帧、时长为4秒的视频。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

Show-1 将像素和潜在扩散模型结合起来，以实现高效的高质量文本到视频的生成

Show-1是一种高效的文本到视频生成模型,它结合了像素级和潜变量级的扩散模型,既能生成与文本高度相关的视频,也能以较低的计算资源要求生成高质量的视频。它首先用像素级模型生成低分辨率的初步视频,然后使用潜变量模型将其上采样到高分辨率,从而结合两种模型的优势。相比纯潜变量模型,Show-1生成的视频文本关联更准确;相比纯像素模型,它的运算成本也更低。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

只有这个真正有效的AI产品照片生成器，使用AI为产品图片添加背景，秒速生成能卖出的AI产品图片

AI产品照片生成器是一个能够在几秒钟内生成增加销售的产品图片和照片的工具。它可以将产品图片转化为专业的产品照片，提高销售效果。使用这个工具，您可以添加AI背景，避免标签模糊或形状变化的问题。我们的AI照片生成器采用了全新的文本到图像扩散模型，专门为销售进行了训练和优化。您可以从Shopify中直接生成照片，并将其与我们的视频模板配合使用。生成的产品图片可以免费使用，并且您只需要为您真正喜欢的图片付费。

随时随地保存、管理和利用内容

SaveDay是一个智能工具，用于捕捉、组织和利用你的知识。它提供了快速的信息捕捉解决方案，支持保存文章、网站、图片、视频等，并且可以在移动设备上搜索、询问和总结内容。SaveDay注重数据安全和隐私保护，不与第三方共享用户内容。

将视频或音频内容快速转换成结构化网页摘要的多功能工具。

VideoToPage是一个高效的在线工具，它能够将视频或音频内容转换成结构化的网页摘要，支持多达96种语言，并具有98.5%的高准确率。用户无需订阅即可使用，特别适合需要将视频内容转换成文字资料、教程、博客文章、标准操作程序(SOP)等多种形式的个人和企业。产品提供快速的转录服务，支持长达5小时的视频，且5分钟以内的文件完全免费。此外，还提供内容的语义层次构建、内容类型定义、语义互连、富文本编辑、多语言理解等功能，使得内容的创建、编辑和发布变得简单快捷。

一键将长视频转换为社交媒体短视频的工具。

reap是一款基于人工智能的视频再利用工具，它能够将长视频内容一键转换成适合社交媒体的短视频。它通过先进的AI分析自动提取视频中最吸引人的片段，生成能够吸引观众的短片。reap支持多种语言，并提供了智能字幕生成、品牌模板定制等功能，帮助内容创作者提高内容的吸引力和可访问性，加速增长和变现。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

Google最先进的视频生成模型，提供高质量1080p视频生成。

Veo是Google最新推出的视频生成模型，能够生成高质量的1080p分辨率视频，支持多种电影和视觉风格。它通过先进的自然语言和视觉语义理解，能够精确捕捉用户创意愿景，生成与提示语调一致且细节丰富的视频内容。Veo模型提供前所未有的创意控制水平，理解电影术语如“延时摄影”或“航拍景观”，创造出连贯一致的画面，使人物、动物和物体在镜头中逼真地移动。

GPT-4o，一款能够实时处理音频、视觉和文本的旗舰模型。

GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。

开源、精准、方便的视频切片工具

FunClip是一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别，随后用户可以自由选择识别结果中的文本片段或说话人，点击裁剪按钮即可获取对应片段的视频。FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large，是当前识别效果最优的开源中文ASR模型之一，并且能够一体化的准确预测时间戳。

国内一站式AI文生电影制作平台

FilmAction 是一款一站式 AI 电影制作平台，通过 AI 技术革新创作流程，使艺术创作更简单。它提供脚本、分镜、视频和旁白的一键生成，支持模拟胶片风格，适用于奇幻片等不同类型的电影创作。FilmAction 还可以生成配乐和合成成片，方便创作者进行后期制作。它的优点是节省时间和精力，提供丰富的创作工具和资源，以及强大的 AI 技术支持。

将您的Youtube视频转化为SEO优化的内容，Twitter线程，摘要等，以获取更多流量或潜在客户

OKRA是一个内容转换工具，旨在增强YouTube内容的可发现性和优化。它专注于将YouTube视频转换为各种语言的SEO友好博客。除了博客创建外，它还辅助编写推文线程、摘要，并为即将推出的YouTube视频生成新的创意。它识别关键字并建议优化博客的策略。它还可以根据用户的个人写作风格和声音定制转换后的文本。