产品库

音频驱动的交互式头部生成框架，用于双人对话。

INFP是一个音频驱动的交互式头部生成框架，专为双人对话设计。它可以根据双人对话中的双轨音频和一个任意代理的单人肖像图像动态合成具有逼真面部表情和节奏性头部姿态动作的言语、非言语和交互式代理视频。该框架轻量而强大，适用于视频会议等即时通讯场景。INFP代表交互式(Interactive)、自然(Natural)、快速(Flash)和通用(Person-generic)。

音频驱动的表情丰富的视频生成模型

MEMO是一个先进的开放权重模型，用于音频驱动的说话视频生成。该模型通过记忆引导的时间模块和情感感知的音频模块，增强了长期身份一致性和运动平滑性，同时通过检测音频中的情感来细化面部表情，生成身份一致且富有表情的说话视频。MEMO的主要优点包括更真实的视频生成、更好的音频-唇形同步、身份一致性和表情情感对齐。该技术背景信息显示，MEMO在多种图像和音频类型中生成更真实的说话视频，超越了现有的最先进方法。

高度表现力的肖像动画技术

字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术，它通过用户提供的静态肖像图像和驱动表演视频，能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型，隐式编码输入中的每一个微小表情，并通过大规模数据集进行训练。然后，该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情，包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情，并在生成的视频中实现高保真的情感传递。

生成会说话、唱歌的动态视频

AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。

一种用于控制人类图像动画的方法

DisPose是一种用于控制人类图像动画的方法，它通过运动场引导和关键点对应来提高视频生成的质量。这项技术能够从参考图像和驱动视频中生成视频，同时保持运动对齐和身份信息的一致性。DisPose通过从稀疏的运动场和参考图像生成密集的运动场，提供区域级别的密集引导，同时保持稀疏姿态控制的泛化能力。此外，它还从参考图像中提取与姿态关键点对应的扩散特征，并将这些点特征转移到目标姿态，以提供独特的身份信息。DisPose的主要优点包括无需额外的密集输入即可提取更通用和有效的控制信号，以及通过即插即用的混合ControlNet提高生成视频的质量和一致性，而无需冻结现有模型参数。

一款能够生成电影级质量视频的图像到视频模型

Ruyi-Models是一个图像到视频的模型，能够生成高达768分辨率、每秒24帧的电影级视频，支持镜头控制和运动幅度控制。使用RTX 3090或RTX 4090显卡，可以无损生成512分辨率、120帧的视频。该模型以其高质量的视频生成能力和对细节的精确控制而受到关注，尤其在需要生成高质量视频内容的领域，如电影制作、游戏制作和虚拟现实体验中具有重要应用价值。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

使用AI技术将照片转化为逼真的亲吻视频。

AI Kissing Video Generator是一个利用先进人工智能技术的视频生成平台，可以将用户的照片转换成逼真的亲吻视频。这项技术代表了数字内容创作的未来，能够捕捉特殊时刻，创造浪漫、专业质量的视频。产品的主要优点包括100%由AI驱动、高清质量输出、自定义提示以及易于使用的界面。它适合内容创作者、数字艺术家以及任何希望创造独特、引人入胜的浪漫内容的人。

图生视频大模型，专为动漫和游戏场景设计

Ruyi是图森未来发布的图生视频大模型，专为在消费级显卡上运行而设计，并提供详尽的部署说明和ComfyUI工作流，以便用户能够快速上手。Ruyi凭借在帧间一致性、动作流畅性方面的卓越表现，以及和谐自然的色彩呈现和构图，将为视觉叙事提供全新的可能性。同时，该模型还针对动漫和游戏场景进行深度学习，将成为ACG爱好者理想的创意伙伴。

快速生成高质量视频的模型

FastHunyuan是由Hao AI Lab开发的加速版HunyuanVideo模型，能够在6次扩散步骤中生成高质量视频，相比原始HunyuanVideo模型的50步扩散，速度提升约8倍。该模型在MixKit数据集上进行一致性蒸馏训练，具有高效率和高质量的特点，适用于需要快速生成视频的场景。

基于HunyuanVideo的视频生成工具，支持图像到视频的转换

ComfyUI-HunyuanVideoWrapper-IP2V是一个基于HunyuanVideo的视频生成工具，它允许用户通过图像提示生成视频（IP2V），即利用图像作为生成视频的条件，提取图像的概念和风格。这项技术主要优点在于能够将图像的风格和内容融入视频生成过程中，而不仅仅是作为视频的第一帧。产品背景信息显示，该工具目前处于实验阶段，但已经可以工作，且对VRAM有较高要求，至少需要20GB。

Google DeepMind的先进视频生成模型

Veo 2是Google DeepMind开发的最新视频生成模型，它代表了视频生成技术的一个重大进步。Veo 2能够逼真地模拟真实世界的物理效果和广泛的视觉风格，同时遵循简单和复杂的指令。该模型在细节、逼真度和减少人工痕迹方面显著优于其他AI视频模型。Veo 2的高级运动能力让其能够精确地表示运动，并且能够精确地遵循详细的指令，创造出各种镜头风格、角度和运动。Veo 2在视频生成领域的重要性体现在其增强了视频内容的多样性和质量，为电影制作、游戏开发、虚拟现实等领域提供了强大的技术支持。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

多视角视频生成同步技术

SynCamMaster是一种先进的视频生成技术，它能够从多样化的视角同步生成多摄像机视频。这项技术通过预训练的文本到视频模型，增强了视频内容在不同视角下的动态一致性，对于虚拟拍摄等应用场景具有重要意义。该技术的主要优点包括能够处理开放世界视频的任意视角生成，整合6自由度摄像机姿态，并设计了一种渐进式训练方案，利用多摄像机图像和单目视频作为补充，显著提升了模型性能。

探索由OpenAI的Sora创造的惊人AI视频

Sora Explore是一个展示由OpenAI的Sora技术生成的视频作品的平台。它代表了AI视频生成领域的前沿技术，允许用户探索和发现AI在视频创作中的无限可能性。该平台以其高质量的视频生成和用户友好的界面而受到欢迎，提供了一个全新的视角来观察和理解AI技术的发展和应用。Sora Explore的背景信息显示，它是由Sora Explore团队构建的，旨在为用户提供一个集中的平台来浏览和欣赏AI生成的视频内容。

探索AI前沿，精选国内外AI产品与应用。

智趣AI甄选是一个专注于人工智能领域的综合性平台，旨在洞察行业发展前景，精选并展示国内外的AI产品与应用。平台提供丰富的学习资源，行业融合案例分析，助力用户洞悉AI发展趋势，与AI技术同行，共创未来。

基于流匹配的音频驱动说话人像视频生成方法

FLOAT是一种音频驱动的人像视频生成方法，它基于流匹配生成模型，将生成建模从基于像素的潜在空间转移到学习到的运动潜在空间，实现了时间上一致的运动设计。该技术引入了基于变换器的向量场预测器，并具有简单而有效的逐帧条件机制。此外，FLOAT支持语音驱动的情感增强，能够自然地融入富有表现力的运动。广泛的实验表明，FLOAT在视觉质量、运动保真度和效率方面均优于现有的音频驱动说话人像方法。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

灵感激发与视频创作平台

跃问视频是一个集灵感激发与视频创作于一体的平台，它通过提供丰富的视觉和创意内容，帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点，尤其在中国风题材上表现出色。跃问视频的背景信息显示，它是由阶跃星辰公司推出的，该公司在多模态能力方面遥遥领先，提供了从文本到视频的生成技术。产品定位于中高端市场，以其高质量的视频生成和优化服务吸引用户。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

EchoMimicV2：实现逼真、简化、半身人体动画的技术。

EchoMimicV2是由支付宝蚂蚁集团终端技术部研发的半身人体动画技术，它通过参考图像、音频剪辑和一系列手势来生成高质量的动画视频，确保音频内容与半身动作的连贯性。这项技术简化了以往复杂的动画制作流程，通过Audio-Pose动态协调策略，包括姿态采样和音频扩散，增强了半身细节、面部和手势的表现力，同时减少了条件冗余。此外，它还利用头部部分注意力机制将头像数据无缝整合到训练框架中，这一机制在推理过程中可以省略，为动画制作提供了便利。EchoMimicV2还设计了特定阶段的去噪损失，以指导动画在特定阶段的运动、细节和低级质量。该技术在定量和定性评估中均超越了现有方法，展现了其在半身人体动画领域的领先地位。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

基于扩散模型的音频驱动人像和动物图像动画技术

JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。

统一可控的视频生成方法

AnimateAnything是一个统一的可控视频生成方法，它支持在不同条件下进行精确和一致的视频操作，包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示，并将所有控制信息转换为逐帧光流，以此作为运动先导来指导视频生成。此外，为了减少大规模运动引起的闪烁问题，提出了基于频率的稳定模块，以确保视频在频域的一致性，增强时间连贯性。实验表明，AnimateAnything的方法优于现有的最先进方法。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。