开源视频生成模型,支持10秒视频和更高分辨率。
CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型,是CogVideoX模型的升级版。该模型支持生成10秒视频,并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块,能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持,为视频内容创作者提供了一个强大的工具,尤其在教育、娱乐和商业领域有着广泛的应用前景。
用户视频的生成性视频摄像机控制
ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频,并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频,然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验,将近似的视频重新生成为时间上一致且美观的视频。
高度表现力的肖像动画技术
字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术,它通过用户提供的静态肖像图像和驱动表演视频,能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型,隐式编码输入中的每一个微小表情,并通过大规模数据集进行训练。然后,该编码器与强大的生成扩散模型结合,生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情,包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情,并在生成的视频中实现高保真的情感传递。
ComfyUI中集成的最新视频生成模型
Mochi是Genmo最新推出的开源视频生成模型,它在ComfyUI中经过优化,即使使用消费级GPU也能实现。Mochi以其高保真度动作和卓越的提示遵循性而著称,为ComfyUI社区带来了最先进的视频生成能力。Mochi模型在Apache 2.0许可下发布,这意味着开发者和创作者可以自由使用、修改和集成Mochi,而不受限制性许可的阻碍。Mochi能够在消费级GPU上运行,如4090,且在ComfyUI中支持多种注意力后端,使其能够适应小于24GB的VRAM。
生成和交互控制开放世界游戏视频的扩散变换模型
GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性,如创新角色、动态环境、复杂动作和多样事件,实现了高质量、开放领域的视频生成。此外,它还提供了交互控制能力,能够根据当前视频片段预测和改变未来内容,从而实现游戏玩法模拟。为了实现这一愿景,我们首先从零开始收集并构建了一个开放世界视频游戏数据集(OGameData),这是第一个也是最大的开放世界游戏视频生成和控制数据集,包含超过150款游戏的100多万个多样化游戏视频片段,这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程,包括基础模型预训练和指令调优。首先,模型通过文本到视频生成和视频续集进行预训练,赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步,为了实现交互控制能力,我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示,首次在视频生成中统一角色交互和场景内容控制。在指令调优期间,只有InstructNet被更新,而预训练的基础模型被冻结,使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力,有效地将创造性生成与交互能力结合起来。
基于Transformer的实时开放世界AI模型
Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型,它是一个互动视频游戏,由Transformer端到端生成,基于逐帧生成。Oasis能够接收用户键盘和鼠标输入,实时生成游戏玩法,内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习,允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步,未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破,以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法,并结合了大型语言模型(LLMs)来训练一个自回归模型,该模型可以根据用户即时动作生成视频。此外,Decart AI还开发了专有的推理框架,以提供NVIDIA H100 Tensor Core GPU的峰值利用率,并支持Etched即将推出的Sohu芯片。
首款实时生成式AI开放世界模型
Decart是一个高效的AI平台,提供了在训练和推理大型生成模型方面的数量级改进。利用这些先进的能力,Decart能够训练基础的生成交互模型,并使每个人都能在实时中访问。Decart的OASIS模型是一个实时生成的AI开放世界模型,代表了实时视频生成的未来。该平台还提供了对1000+ NVIDIA H100 Tensor Core GPU集群进行训练或推理的能力,为AI视频生成领域带来了突破性进展。
大规模视频生成的自回归扩散模型
MarDini是Meta AI Research推出的一款视频扩散模型,它将掩码自回归(MAR)的优势整合到统一的扩散模型(DM)框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成,支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效,将大部分计算资源分配给低分辨率规划模型,使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆,并且在几次推理步骤内,就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。
视频扩散模型加速工具,无需训练即可生成高质量视频内容。
FasterCache是一种创新的无需训练的策略,旨在加速视频扩散模型的推理过程,并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率,同时保持或提升内容的质量,这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发,项目页面提供了更多的视觉结果和详细信息。产品目前免费提供,主要面向视频内容生成、AI研究和开发等领域。
Mochi视频生成器的ComfyUI包装节点
ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点,它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容,并且通过ComfyUI简化了操作流程。它是基于Python开发的,并且完全开源,允许开发者自由地使用和修改。目前该项目还处于积极开发中,已经有一些基本功能,但还没有正式发布版本。
Genmo 的视频生成模型,具有高保真运动和强提示遵循性。
这是一个先进的视频生成模型,采用 AsymmDiT 架构,可免费试用。它能生成高保真视频,缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
从手机拍摄的平移视频中生成全景视频
VidPanos 是一个创新的视频处理技术,它能够将用户随意拍摄的平移视频转换成全景视频。这项技术通过空间时间外推的方式,生成与原视频长度相同的全景视频。VidPanos 利用生成视频模型,解决了在移动物体存在时,静态全景图无法捕捉场景动态的问题。它能够处理包括人、车辆、流水以及静态背景在内的各种野外场景,展现出强大的实用性和创新性。
视频生成评估基准测试
Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试,旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分,分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布,对于推动视频生成技术的发展和评估具有重要意义,它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。
高效视频生成建模的金字塔流匹配技术
Pyramid Flow 是一种高效的视频生成建模技术,它基于流匹配方法,通过自回归视频生成模型来实现。该技术主要优点是训练效率高,能够在开源数据集上以较低的GPU小时数进行训练,生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发,并且已经在多个平台上发布了相关的论文、代码和模型。
利用AI技术生成逼真的拥抱视频,让回忆温暖呈现。
AI Hug Video Generator是一个在线平台,使用先进的机器学习技术将静态照片转换成动态、逼真的拥抱视频。用户可以根据自己的珍贵照片创建个性化、充满情感的视频。该技术通过分析真实人类互动来创建真实感的数字拥抱,包括微妙的手势和情感。平台提供了用户友好的界面,无论是技术爱好者还是视频制作新手,都能轻松制作AI拥抱视频。此外,生成的视频是高清的,适合在任何平台上分享,确保在每个屏幕上都能呈现出色的效果。
重新定义视频创作
Hailuo AI Video Generator 是一款利用人工智能技术,根据文本提示自动生成视频内容的工具。它通过深度学习算法,将用户的文字描述转化为视觉图像,极大地简化了视频制作流程,提高了创作效率。该产品适用于需要快速生成视频内容的个人和企业,特别是在广告、社交媒体内容制作和电影预览等领域。
使用文本生成定制视频和声音
Meta Movie Gen 是一个先进的媒体基础AI模型,它允许用户通过简单的文本输入来生成定制的视频和声音,编辑现有视频或将个人图像转换成独特的视频。这项技术代表了AI在内容创造方面的最新突破,为内容创作者提供了前所未有的创作自由度和效率。
© 2024 AIbase 备案号:闽ICP备08105208号-14