产品库

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

AI驱动的文本到视频生成

Emu Video是一种基于扩散模型的简单文本到视频生成方法，将生成过程分解为两个步骤：首先根据文本提示生成图像，然后根据提示和生成的图像生成视频。分解生成方式能够高效训练高质量的视频生成模型。与以往的方法相比，我们的方法只需使用两个扩散模型即可生成分辨率为512像素、播放速度为每秒16帧、时长为4秒的视频。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

Show-1 将像素和潜在扩散模型结合起来，以实现高效的高质量文本到视频的生成

Show-1是一种高效的文本到视频生成模型,它结合了像素级和潜变量级的扩散模型,既能生成与文本高度相关的视频,也能以较低的计算资源要求生成高质量的视频。它首先用像素级模型生成低分辨率的初步视频,然后使用潜变量模型将其上采样到高分辨率,从而结合两种模型的优势。相比纯潜变量模型,Show-1生成的视频文本关联更准确;相比纯像素模型,它的运算成本也更低。

提升文本到图像生成的可控性

ControlNet++是一种新型的文本到图像扩散模型，通过显式优化生成图像与条件控制之间的像素级循环一致性，显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件，并优化输入条件控制与提取条件之间的一致性损失。此外，ControlNet++引入了一种高效的奖励策略，通过向输入图像中添加噪声来扰动图像，然后使用单步去噪图像进行奖励微调，避免了与图像采样相关的大量时间和内存成本。

社交媒体管理平台

Social360是一个集合了人工智能的社交媒体管理平台，旨在提高用户的工作效率。它提供了一站式解决方案，包括文本到视频生成、社交媒体帖子创建和发布、内容调度等功能。Social360通过人工智能技术实现了自动化的社交媒体管理，帮助用户节省时间和精力。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

NoLang通过AI实时生成解释视频,让复杂概念变得简单易懂

NoLang是一款基于AI技术的解释视频生成工具。它可以根据用户输入的文本或文档内容,实时生成解释性的视频。主要功能包括:1.文本到视频的实时转换;2.PDF文件等资料的自动视频化汇总;3.可持续对话形式生成视频;4.通过浏览器扩展程序随时调用使用。NoLang的优势是让复杂概念的理解变得更加简单直观,解决信息获取效率低下的问题。主要面向需要获取信息、学习新知识的用户群体,免费使用。

文本到视频的快速生成模型，性能是原版的十倍以上

ByteDance的AnimateDiff-Lightning项目通过特定的模型和设置，实现了比原始AnimateDiff快速十倍以上的文本到视频生成。

Hotshot - ACT 1是一个先进的直接文本到视频合成系统，由Hotshot开发，旨在赋予世界通过视频分享他们的想象力的能力

ACT 1（Advanced Cinematic Transformer）是一个由Hotshot Research开发的直接文本到视频合成系统，它能够生成高清晰度的视频，具有多种宽高比且无水印，提供引人入胜的用户体验。该系统通过使用大规模高分辨率文本视频语料库进行训练，以实现高保真度的空间对齐、时间对齐和审美质量。

一键将长文本内容转换为短视频

CopyCopter AI是一个生成性AI文本到视频工具，能够将长篇文本内容（如博客、新闻通讯）快速转换为短视频。它通过一个简单的点击操作，帮助用户提高内容的分发效率，增加社交媒体的参与度，并扩大品牌影响力。

Morph Studio可以帮助用户通过文本提示创造出独特的视频

Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

使用 OpenAI Sora 创建令人惊叹的视频

Open AI Sora 是一个由 OPENAI 推出的 AI 模型，被称为文本到视频模型，能够根据文本命令生成生动而富有想象力的场景。它能够根据用户提供的文本提示创建复杂的场景，其中包含多个角色、动态环境和精确细节。它可以将用户的想法转化为引人入胜的视觉效果。

Sora AI-OpenAI 模型的最全面的视频样本和指南

Sora AI-OpenAI 是由OpenAI开发的AI模型，可以根据文本指令生成逼真和富有想象力的视频。它是一个文本到视频模型，可以生成长达一分钟的视频，同时保持视觉质量和对用户提示的遵循。Sora旨在理解和模拟运动中的物理世界，以培训帮助人们解决需要与真实世界互动的问题的模型。

更好的文本到视频生成评价工具

该产品是一种用于评价文本到视频生成质量的工具。它引入了一种新的评价指标，即文本到视频评分（T2VScore）。该评分整合了两个关键标准：（1）文本-视频对齐，用于审查视频在呈现给定文本描述方面的忠实度；（2）视频质量，评估视频的整体制作水平。此外，为了评估提出的指标并促进未来对其的改进，该产品提供了TVGE数据集，收集了对2,543个文本到视频生成视频在这两个标准上的人类判断。对TVGE数据集的实验表明，提出的T2VScore在为文本到视频生成提供更好的评价指标方面表现出优越性。

多阶段高美感视频生成

MagicVideo-V2是一个集成了文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块的端到端视频生成管道。其架构设计使得MagicVideo-V2能够生成外观美观、高分辨率的视频，具有出色的保真度和平滑性。通过大规模用户评估，它展现出比Runway、Pika 1.0、Morph、Moon Valley和Stable Video Diffusion等领先的文本到视频系统更优越的性能。

视频生成的大型语言模型

VideoPoet 是一个大型语言模型，可将任何自回归语言模型转换为高质量视频生成器。它可以根据输入的文本描述生成视频，无需任何视觉或音频指导。VideoPoet 能够生成各种类型的视频，包括文本到视频、图像到视频、视频编辑、风格化和修复等。它可以用于电影制作、动画片、广告制作、虚拟现实等领域。VideoPoet 具有高质量的视频生成能力，并且可以灵活应用于不同的场景。

为文本到视频扩散模型添加稀疏控制

SparseCtrl是为了增强对文本到视频生成的控制性而开发的，它能够灵活地结合稀疏信号进行结构控制，只需一个或少量输入。它包括一个额外的条件编码器来处理这些稀疏信号，同时不影响预训练的文本到视频模型。该方法兼容各种形式，包括素描、深度和RGB图像，为视频生成提供更实用的控制，并推动故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了SparseCtrl在原始和个性化文本到视频生成器上的泛化能力。

为手绘草图添加动画

LiveSketch是一种将动画效果添加到手绘草图的工具。它可以根据文本提示自动生成矢量动画，让草图栩栩如生。该工具不需要复杂的训练，通过预训练的文本到视频模型来指导笔触的运动。它适用于设计师、动画师等需要给草图添加动画效果的用户。动画绘画可以在网站上使用。

AI视频生成工具

QuickVideo是一款先进的AI视频生成工具，简化了视频制作流程。使用AI人物形象和配音，快速创建专业级别的工作室品质视频。它包括文本到视频生成、视频个性化、对话式视频机器人等功能。无需相机，只需文本即可制作精美视频。

开源视频生成和编辑工具箱

VideoCrafter是一个开源的视频生成和编辑工具箱，用于制作视频内容。它目前包括Text2Video和Image2Video模型。Text2Video模型用于生成通用的文本到视频的转换，Image2Video模型用于生成通用的图像到视频的转换。详情请访问官方网站。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

创造令人惊叹的视频和动画

Moonvalley 是一款突破性的文本到视频生成 AI 模型，可以从简单的文本提示中创建出令人惊叹的高清视频和动画。它采用先进的机器学习技术，能够根据用户输入的文本提示，生成逼真、精美的影片和动画。无论是制作电影、广告、动画短片还是个人创作，Moonvalley 都能帮助用户快速将想法转化为视觉作品。

大规模的人际关系

BHuman是一款利用人工智能生成个性化视频的平台，可以为数千个接收者制作单个视频，并通过任何渠道进行交付和测量结果。它可以帮助您在客户旅程中嵌入可扩展、难忘的体验，从而打败竞争对手。用户使用BHuman可以看到开放率平均增加124％，点击率增加593％，转化率增加302％。BHuman不是一个文本到视频平台，也不会生成让您的观众立即知道是假的“头像”。

目前最好的文生视频AI 人人都能制作微电影

Pika Labs 是一个强大的文本到视频平台，通过简单输入文字即可释放您的创造力。它提供丰富的功能，包括自动化视频生成、多种样式选择、音频配搭等，使您能够轻松创建个性化的视频内容。Pika Labs 定价灵活，并提供免费试用和付费套餐，满足不同用户的需求。无论您是个人创作者、营销人员还是企业用户，Pika Labs 都能帮助您快速制作出精美的视频作品。

将您的文字转化为视频

Augie是一款AI助手，可以将您的剧本、旁白或网络摄像头/手机录音转化为定制视频。然后，在我们易于使用的界面中进行任何调整或定制，无需编辑技能！您的视频将以MP4格式可下载，支持竖屏和横屏模式（非常适合TikTok和YouTube内容）！设计用于新手和有经验的视频创作者，我们的工具既用户友好又功能丰富，为创建引人入胜的视频内容提供了无限可能性。从文本到视频功能到直观的编辑工具，我们的平台是任何希望快速轻松地创建专业质量视频的人的完美解决方案。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

AI图片生成式开发者平台

fal.ai 是一款面向开发者的生成媒体平台，提供了业界最快的推理引擎，可以让您以更低的成本运行扩散模型，创造出全新的用户体验。它拥有实时、无缝的 WebSocket 推理基础设施，为开发者带来了卓越的使用体验。fal.ai 的定价方案根据实际使用情况灵活调整，确保您只为消耗的计算资源付费，实现了最佳的可扩展性和经济性。