产品库

高度表现力的肖像动画技术

字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术，它通过用户提供的静态肖像图像和驱动表演视频，能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型，隐式编码输入中的每一个微小表情，并通过大规模数据集进行训练。然后，该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情，包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情，并在生成的视频中实现高保真的情感传递。

统一可控的视频生成方法

AnimateAnything是一个统一的可控视频生成方法，它支持在不同条件下进行精确和一致的视频操作，包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示，并将所有控制信息转换为逐帧光流，以此作为运动先导来指导视频生成。此外，为了减少大规模运动引起的闪烁问题，提出了基于频率的稳定模块，以确保视频在频域的一致性，增强时间连贯性。实验表明，AnimateAnything的方法优于现有的最先进方法。

由Novita AI提供的非官方Animate Anyone实现

AnimateAnyone是一个基于深度学习的视频生成模型，它能够将静态图片或视频转换为动画。该模型由Novita AI非官方实现，灵感来源于MooreThreads/Moore-AnimateAnyone的实现，并在训练过程和数据集上进行了调整。

生成具有动态效果的高分辨率视频的文生视频模型

DynamiCrafter是一种文生视频模型,能够根据输入的图像和文本生成约2秒长的动态视频。这个模型经过训练,可以生成分辨率为576x1024的高分辨率视频。主要优势是能够捕捉输入图像和文本描述的动态效果,生成逼真的短视频内容。适用于视频制作、动画创作等场景,为内容创作者提供高效的生产力工具。该模型目前处于研究阶段,仅供个人和研究用途使用。

这是一个使用深度学习为文字描述生成动画视频的模型

AnimateLCM是一个使用深度学习生成动画视频的模型。它可以仅使用极少的采样步骤就生成高保真的动画视频。与直接在原始视频数据集上进行一致性学习不同,AnimateLCM采用了解耦的一致性学习策略,将图像生成先验知识和运动生成先验知识的萃取进行解耦,从而提高了训练效率并增强了生成的视觉质量。此外,AnimateLCM还可以与Stable Diffusion社区的插件模块配合使用,实现各种可控生成功能。AnimateLCM已经在基于图像的视频生成和基于布局的视频生成中验证了其性能。

将视频转化为迷人动画，释放创意无限

Animatable是一款AI动画平台，可以将视频转化为迷人的动画，让您的观众为之着迷。用户可以根据自己的喜好选择多种风格，自由发挥创意。平台快速生成，每秒视频转化消耗7个积分，每张预览图消耗1个积分。提供基础版和专业版，分别为每月1000积分和每月3000积分，适用于商业用途。

探索由OpenAI的Sora创造的惊人AI视频

Sora Explore是一个展示由OpenAI的Sora技术生成的视频作品的平台。它代表了AI视频生成领域的前沿技术，允许用户探索和发现AI在视频创作中的无限可能性。该平台以其高质量的视频生成和用户友好的界面而受到欢迎，提供了一个全新的视角来观察和理解AI技术的发展和应用。Sora Explore的背景信息显示，它是由Sora Explore团队构建的，旨在为用户提供一个集中的平台来浏览和欣赏AI生成的视频内容。

音频驱动的表情丰富的视频生成模型

MEMO是一个先进的开放权重模型，用于音频驱动的说话视频生成。该模型通过记忆引导的时间模块和情感感知的音频模块，增强了长期身份一致性和运动平滑性，同时通过检测音频中的情感来细化面部表情，生成身份一致且富有表情的说话视频。MEMO的主要优点包括更真实的视频生成、更好的音频-唇形同步、身份一致性和表情情感对齐。该技术背景信息显示，MEMO在多种图像和音频类型中生成更真实的说话视频，超越了现有的最先进方法。

探索AI前沿，精选国内外AI产品与应用。

智趣AI甄选是一个专注于人工智能领域的综合性平台，旨在洞察行业发展前景，精选并展示国内外的AI产品与应用。平台提供丰富的学习资源，行业融合案例分析，助力用户洞悉AI发展趋势，与AI技术同行，共创未来。

将静态艺术转化为动态杰作

Hailuo I2V-01-Live是I2V系列的最新成员，旨在彻底改变2D插图的呈现方式。该模型支持广泛的艺术风格，通过增强的平滑度和生动的动作，让您的角色以前所未有的方式移动、说话和发光。它针对稳定性和微妙表达进行了优化，使您能够扩展创意表达，并以无与伦比的流畅性和精细度将您的艺术带入生活。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

灵感激发与视频创作平台

跃问视频是一个集灵感激发与视频创作于一体的平台，它通过提供丰富的视觉和创意内容，帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点，尤其在中国风题材上表现出色。跃问视频的背景信息显示，它是由阶跃星辰公司推出的，该公司在多模态能力方面遥遥领先，提供了从文本到视频的生成技术。产品定位于中高端市场，以其高质量的视频生成和优化服务吸引用户。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

利用生成式AI技术，快速将文本转化为动画。

text2motion.ai是一个利用生成式人工智能技术，将文本内容快速转化为动画的平台。它通过简化动画制作过程，降低了对专业技能和昂贵设备的需求，使得从独立开发者到专业动画师都能在短时间内将角色赋予生命。该平台提供REST APIs和多种集成方式，支持用户在自己喜欢的工具和工作流程中使用。

EchoMimicV2：实现逼真、简化、半身人体动画的技术。

EchoMimicV2是由支付宝蚂蚁集团终端技术部研发的半身人体动画技术，它通过参考图像、音频剪辑和一系列手势来生成高质量的动画视频，确保音频内容与半身动作的连贯性。这项技术简化了以往复杂的动画制作流程，通过Audio-Pose动态协调策略，包括姿态采样和音频扩散，增强了半身细节、面部和手势的表现力，同时减少了条件冗余。此外，它还利用头部部分注意力机制将头像数据无缝整合到训练框架中，这一机制在推理过程中可以省略，为动画制作提供了便利。EchoMimicV2还设计了特定阶段的去噪损失，以指导动画在特定阶段的运动、细节和低级质量。该技术在定量和定性评估中均超越了现有方法，展现了其在半身人体动画领域的领先地位。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

基于扩散的混合运动动态角色艺术动画生成工具

MikuDance是一个基于扩散的动画生成管道，它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术，解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机，实现统一的角色场景运动建模。在此基础上，混合控制扩散隐式地对不同角色的尺度和体型进行对齐，允许灵活控制局部角色运动。此外，还加入了运动自适应归一化模块，有效注入全局场景运动，为全面的角色艺术动画铺平了道路。通过广泛的实验，MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力，始终如一地产生具有显著运动动态的高质量动画。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

开源视频生成模型，支持10秒视频和更高分辨率。

CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型，是CogVideoX模型的升级版。该模型支持生成10秒视频，并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块，能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持，为视频内容创作者提供了一个强大的工具，尤其在教育、娱乐和商业领域有着广泛的应用前景。

用户视频的生成性视频摄像机控制

ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频，并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频，然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验，将近似的视频重新生成为时间上一致且美观的视频。

ComfyUI中集成的最新视频生成模型

Mochi是Genmo最新推出的开源视频生成模型，它在ComfyUI中经过优化，即使使用消费级GPU也能实现。Mochi以其高保真度动作和卓越的提示遵循性而著称，为ComfyUI社区带来了最先进的视频生成能力。Mochi模型在Apache 2.0许可下发布，这意味着开发者和创作者可以自由使用、修改和集成Mochi，而不受限制性许可的阻碍。Mochi能够在消费级GPU上运行，如4090，且在ComfyUI中支持多种注意力后端，使其能够适应小于24GB的VRAM。

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样事件，实现了高质量、开放领域的视频生成。此外，它还提供了交互控制能力，能够根据当前视频片段预测和改变未来内容，从而实现游戏玩法模拟。为了实现这一愿景，我们首先从零开始收集并构建了一个开放世界视频游戏数据集（OGameData），这是第一个也是最大的开放世界游戏视频生成和控制数据集，包含超过150款游戏的100多万个多样化游戏视频片段，这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程，包括基础模型预训练和指令调优。首先，模型通过文本到视频生成和视频续集进行预训练，赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步，为了实现交互控制能力，我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示，首次在视频生成中统一角色交互和场景内容控制。在指令调优期间，只有InstructNet被更新，而预训练的基础模型被冻结，使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力，有效地将创造性生成与交互能力结合起来。

创建互动式动态图形的新方式

Rive是一种新型的图形构建方式，它通过丰富的交互性和状态驱动的动画，消除了硬编码图形的需求，使团队能够更快迭代并构建更好的产品。Rive提供了一个全新的图形格式，适用于互动时代，可以用于游戏、应用、网站等多个领域。

动态、适应性强的图形设计工具

Rive Layouts是Rive推出的新功能，允许设计师和开发者创建动态的、适用于任何屏幕尺寸或设备的、生产就绪的图形。它结合了动态设计和响应式网页设计的原则，保留了Rive特有的流畅动画和交互性。Rive Layouts的重要性在于，它使得设计师可以在不牺牲创意的情况下，创建出适应不同设备和语言的响应式设计。

Autodesk推出的AI解决方案，将视频转换为3D场景的动画制作工具。

Wonder Animation是Autodesk旗下的一款创新产品，它利用尖端的视频到3D场景技术，将任何视频序列转换成3D动画场景，加速动画电影制作流程。这项技术能够处理包含多个剪辑和不同镜头（广角、中景、特写）的影片和编辑序列，然后使用AI在3D空间中重建场景，并匹配每个摄像机与角色和环境的位置和动作关系。Wonder Animation的主要优点在于它能够为艺术家提供完全的创意控制权，与市场上其他依赖自动化输出的生成性AI工具不同，它赋予艺术家塑造自己愿景的能力。

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。