产品库

安博思公司开发的40亿参数通用式生成世界模型

GAIA-1是一种具有90亿参数的通用式生成世界模型,专为自动驾驶而设计。它可以通过视频、文本和动作输入生成逼真的驾驶场景视频,并可以精细控制自己车辆的行为以及场景中的特征。GAIA-1利用多模态学习方法,可以生成丰富多样的驾驶场景,增强自动驾驶系统的学习和解释能力。它的关键功能包括:基于视频、文本和动作的生成能力、可控性高、支持长时间生成、可扩展等。GAIA-1可用于自动驾驶研究、仿真、数据增强等多种应用场景。它代表了生成式AI在自动驾驶领域的先进探索,为创新提供了无限可能。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

通过视频生成实现基于物理的3D对象交互

PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。

生成你的AI头像视频！

X Me是一个AI头像视频生成工具，通过输入文本即可快速生成个性化的AI头像视频。它使用轻量级的AI模型，无需复杂的训练过程，快速生成逼真的数字人物视频。X Me提供多种AI名人头像供用户选择，并支持将用户自己的面部特征和声音克隆到生成的头像视频中。用户可以根据自己的喜好和需求，自由创造个性化的AI头像视频。

视频生成的精细控制工具

Ctrl-Adapter是一个专门为视频生成设计的Controlnet，提供图像和视频的精细控制功能，优化视频时间对齐，适配多种基础模型，具备视频编辑能力，显著提升视频生成效率和质量。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

生成会说话、唱歌的动态视频

AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。

基于JST-1视频-3D基础模型的可控视频生成

VIGGLE是一款基于JST-1视频-3D基础模型的可控视频生成工具。它可以让任何角色按照您的要求移动。JST-1是第一个具有实际物理理解能力的视频-3D基础模型。VIGGLE的优势在于其强大的视频生成和控制能力,可以根据用户需求生成各种动作和情节的视频。它定位于视频创作者、动画师和内容创作者等专业人群,帮助他们更高效地制作视频内容。目前VIGGLE处于测试阶段,未来可能会推出付费订阅版本。

提供一种新颖的视频到视频编辑框架，无需训练即可使用

AnyV2V是一个创新的视频到视频编辑框架，允许用户使用任何现成的图像编辑工具编辑视频的第一帧，然后使用现有的图像到视频生成模型进行图像到视频的重建。这种方法使得各种编辑任务变得简单，包括基于提示的编辑、样式转换、主题驱动的编辑和身份操纵。

文本到视频的快速生成模型，性能是原版的十倍以上

ByteDance的AnimateDiff-Lightning项目通过特定的模型和设置，实现了比原始AnimateDiff快速十倍以上的文本到视频生成。

Tavus构建了先进的AI模型，包括数字复制、唇同步、配音、文本转视频，通过API为开发者提供访问

Tavus提供了一系列的AI模型，特别是在生成高度逼真的说话头部视频方面，其Phoenix模型通过神经辐射场（NeRFs）技术，能够产生自然面部动作和表情，并与输入同步。开发者可以通过Tavus的API访问这些具有高度真实感和可定制性的视频生成服务。

Applied Intuition提供ADAS和AD仿真及验证平台，服务于汽车、卡车、建筑等行业

Applied Intuition提供业界领先的ADAS和AD开发平台，帮助工程团队安全地开发和测试高级驾驶辅助系统和自动驾驶系统。该平台覆盖整个开发周期，从仿真到数据探索和验证，旨在缩短开发周期，提高系统安全性，并加速现代车辆的生产。

开源的 WebUi 平台,用户可以轻松创建视频

SoraFlows是一个开源的WebUi视频生成平台。用户只需要输入文本描述,就可以通过Sora模型生成高质量的视频。该平台提供强大的定制化功能,支持多种画面和视角的组合,可用于营销、教育、娱乐等场景。主要优势是简单易用、支持中文,视频效果逼真流畅。目前免费使用,未来可能会推出付费高级功能。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

Snap视频:用于文本到视频合成的可扩展空间时间转换器

Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。

一键生成视频

Sora AI是基于Sora的网络工具，使用OpenAI的Sora模型，用户可以轻松地通过文本生成视频。Sora AI具有以下功能：1. 通过简单的文本生成高质量的视频内容；2. 支持多种主题和风格的视频生成；3. 快速生成视频，提高工作效率；4. 可自定义视频元素和配乐；5. 灵活的定价计划，满足不同需求。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

一种稳定高效的视频生成模型

AnimateLCM-SVD-xt是一种新的图像到视频生成模型,可以在很少的步骤内生成高质量、连贯性好的视频。该模型通过一致性知识蒸馏和立体匹配学习技术,使生成视频更加平稳连贯,同时大大减少了计算量。关键特点包括:1) 4-8步内生成25帧576x1024分辨率视频;2) 比普通视频diffusion模型降低12.5倍计算量;3) 生成视频质量好,无需额外分类器引导。

大规模视频生成扩散模型

Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。

基于视频扩散先验为开放域图像添加动画的工具

DynamiCrafter是一款由Jinbo Xing、Menghan Xia等人开发的图像动画工具。通过利用预训练的视频扩散先验，DynamiCrafter可以基于文本提示为开放域的静止图像添加动画效果。该工具支持高分辨率模型，提供更好的动态效果、更高的分辨率和更强的一致性。DynamiCrafter主要用于故事视频生成、循环视频生成和生成帧插值等场景。

这是一个使用深度学习为文字描述生成动画视频的模型

AnimateLCM是一个使用深度学习生成动画视频的模型。它可以仅使用极少的采样步骤就生成高保真的动画视频。与直接在原始视频数据集上进行一致性学习不同,AnimateLCM采用了解耦的一致性学习策略,将图像生成先验知识和运动生成先验知识的萃取进行解耦,从而提高了训练效率并增强了生成的视觉质量。此外,AnimateLCM还可以与Stable Diffusion社区的插件模块配合使用,实现各种可控生成功能。AnimateLCM已经在基于图像的视频生成和基于布局的视频生成中验证了其性能。

视频生成AI模型,能够根据文本描述生成高质量视频

VideoCrafter2是一个视频生成AI模型,能够根据文本描述生成高质量、流畅的视频。它通过克服数据局限,实现了高质量视频生成的目标。该模型可以生成照片级质量的视频,支持精细的运动控制和概念组合。用户只需要提供文本描述,VideoCrafter2就可以自动生成剧本级别的视频作品,可用于视频创作、动画制作等领域。

I2V-Adapter是一种用于视频扩散模型的通用图像到视频适配器。

I2V-Adapter旨在将静态图像转换为动态、逼真的视频序列，同时保持原始图像的保真度。它使用轻量级适配器模块并行处理带噪声的视频帧和输入图像。此模块充当桥梁，有效地将输入连接到模型的自注意力机制，保持空间细节，无需更改T2I模型的结构。I2V-Adapter参数少于传统模型，并确保与现有的T2I模型和控制工具兼容。实验结果表明，I2V-Adapter能够生成高质量的视频输出，这对于AI驱动的视频生成，尤其是创意应用领域，具有重大意义。

多阶段高美感视频生成

MagicVideo-V2是一个集成了文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块的端到端视频生成管道。其架构设计使得MagicVideo-V2能够生成外观美观、高分辨率的视频，具有出色的保真度和平滑性。通过大规模用户评估，它展现出比Runway、Pika 1.0、Morph、Moon Valley和Stable Video Diffusion等领先的文本到视频系统更优越的性能。

无需视频制作经验，通过简单操作即可生成精细控制的视频

DragNUWA是一款视频生成工具，能够通过直接操作背景或图像，将动作转化为摄像机运动或目标物体运动，生成对应的视频。DragNUWA 1.5基于稳定视频扩散技术，可根据特定路径使图像动起来。DragNUWA 1.0利用文字、图像和轨迹作为三个重要的控制因素，从语义、空间和时间上促进高度可控的视频生成。用户可通过git克隆仓库、下载预训练模型，并在桌面端进行图像拖拽生成动画。

视频生成模型的一致性初始化方法

FreeInit是一个简单有效的方法,用于提高视频生成模型的时间一致性。它不需要额外的训练,也不引入可学习的参数,可以很容易地在任意视频生成模型的推理时集成使用。

基于扩散的轨迹控制视频生成

TrailBlazer 是一种基于扩散的视频生成模型，可以通过轨迹控制实现视频的定制。用户可以使用简单的边界框来引导视频中的主体，而无需进行额外的模型训练或在线优化。TrailBlazer 支持空间和时间关注地图的编辑，以及通过关键帧边界框和提示来控制主体的轨迹和外观。该模型操作简单高效，生成的视频效果自然流畅。TrailBlazer 适用于各种用户场景，提供创意无限的视频生成体验。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

无标记实时动作捕捉技术

Cyanpuppets是一个专注于2D视频生成3D动作模型的AI算法团队。他们的无标记动作捕捉系统通过2个RGB摄像头完成超过208个关键点的捕捉，支持UE5和UNITY 2021版本，延迟仅为0.1秒。Cyanpuppets支持大多数骨骼标准，其技术广泛应用于游戏、电影和其他娱乐领域。

视频生成的大型语言模型

VideoPoet 是一个大型语言模型，可将任何自回归语言模型转换为高质量视频生成器。它可以根据输入的文本描述生成视频，无需任何视觉或音频指导。VideoPoet 能够生成各种类型的视频，包括文本到视频、图像到视频、视频编辑、风格化和修复等。它可以用于电影制作、动画片、广告制作、虚拟现实等领域。VideoPoet 具有高质量的视频生成能力，并且可以灵活应用于不同的场景。