产品库

SyncAnimation 是一种基于 NeRF 的音频驱动实时生成说话头像和上半身动作的技术框架。

SyncAnimation 是一种创新的音频驱动技术，能够实时生成高度逼真的说话头像和上半身动作。它通过结合音频与姿态、表情的同步技术，解决了传统方法在实时性和细节表现上的不足。该技术主要面向需要高质量实时动画生成的应用场景，如虚拟主播、在线教育、远程会议等，具有重要的应用价值。目前尚未明确其价格和具体市场定位。

RAIN是一种实时动画无限视频流技术。

RAIN是一种实时动画无限视频流技术，能够在消费级设备上实现高质量、低延迟的实时动画。它通过高效计算不同噪声水平和长时间间隔的帧标记注意力，同时去噪比以往流式方法更多的帧标记，从而在保持视频流连贯性的同时，以更快的速度和更短的延迟生成视频帧。RAIN仅引入少量额外的1D注意力块，对系统负担较小。该技术有望在游戏渲染、直播和虚拟现实等领域与CG结合，利用AI的泛化能力渲染无数新场景和对象，并提供更互动的参与方式。

音频驱动的交互式头部生成框架，用于双人对话。

INFP是一个音频驱动的交互式头部生成框架，专为双人对话设计。它可以根据双人对话中的双轨音频和一个任意代理的单人肖像图像动态合成具有逼真面部表情和节奏性头部姿态动作的言语、非言语和交互式代理视频。该框架轻量而强大，适用于视频会议等即时通讯场景。INFP代表交互式(Interactive)、自然(Natural)、快速(Flash)和通用(Person-generic)。

音频驱动的表情丰富的视频生成模型

MEMO是一个先进的开放权重模型，用于音频驱动的说话视频生成。该模型通过记忆引导的时间模块和情感感知的音频模块，增强了长期身份一致性和运动平滑性，同时通过检测音频中的情感来细化面部表情，生成身份一致且富有表情的说话视频。MEMO的主要优点包括更真实的视频生成、更好的音频-唇形同步、身份一致性和表情情感对齐。该技术背景信息显示，MEMO在多种图像和音频类型中生成更真实的说话视频，超越了现有的最先进方法。

基于流匹配的音频驱动说话人像视频生成方法

FLOAT是一种音频驱动的人像视频生成方法，它基于流匹配生成模型，将生成建模从基于像素的潜在空间转移到学习到的运动潜在空间，实现了时间上一致的运动设计。该技术引入了基于变换器的向量场预测器，并具有简单而有效的逐帧条件机制。此外，FLOAT支持语音驱动的情感增强，能够自然地融入富有表现力的运动。广泛的实验表明，FLOAT在视觉质量、运动保真度和效率方面均优于现有的音频驱动说话人像方法。

EchoMimicV2：实现逼真、简化、半身人体动画的技术。

EchoMimicV2是由支付宝蚂蚁集团终端技术部研发的半身人体动画技术，它通过参考图像、音频剪辑和一系列手势来生成高质量的动画视频，确保音频内容与半身动作的连贯性。这项技术简化了以往复杂的动画制作流程，通过Audio-Pose动态协调策略，包括姿态采样和音频扩散，增强了半身细节、面部和手势的表现力，同时减少了条件冗余。此外，它还利用头部部分注意力机制将头像数据无缝整合到训练框架中，这一机制在推理过程中可以省略，为动画制作提供了便利。EchoMimicV2还设计了特定阶段的去噪损失，以指导动画在特定阶段的运动、细节和低级质量。该技术在定量和定性评估中均超越了现有方法，展现了其在半身人体动画领域的领先地位。

基于扩散模型的音频驱动人像和动物图像动画技术

JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。

高保真头部混合与色键技术

CHANGER是一个创新的工业级头部混合技术，通过色键技术实现高保真度的头部混合效果，特别适用于视觉效果(VFX)、数字人物创建和虚拟头像等领域。该技术通过分离背景集成和前景混合，利用色键生成无瑕疵的背景，并引入头部形状和长发增强(H^2增强)以及前景预测性注意力转换器(FPAT)模块，以提高对各种真实世界情况的泛化能力。CHANGER的主要优点包括高保真度、工业级结果、以及对真实世界案例的广泛适用性。

轻量级图片数字人驱动算法，快速定制AI伙伴

MiniMates是一款轻量级的图片数字人驱动算法，能够在普通电脑上实时运行，支持语音驱动和表情驱动两种模式。它比市面上的liveportrait、EchoMimic、MuseTalk等算法快10-100倍，让用户能够通过极少的资源消耗定制自己的AI伙伴。该技术的主要优点包括极速体验、个性化定制以及嵌入终端的能力，摆脱了对Python和CUDA的依赖。MiniMates遵循MIT协议，适用于需要快速、高效的人脸动画和语音合成的应用场景。

快速生成个性化和富有表现力的3D会说话面部模型

MimicTalk是一种基于神经辐射场（NeRF）的个性化三维说话面部生成技术，它能够在几分钟内模仿特定身份的静态外观和动态说话风格。这项技术的主要优点包括高效率、高质量的视频生成以及对目标人物说话风格的精确模仿。MimicTalk通过一个通用的3D面部生成模型作为基础，并通过静态-动态混合适应流程来学习个性化的静态外观和面部动态，同时提出了一种上下文风格化的音频到运动（ICS-A2M）模型，以生成与目标人物说话风格相匹配的面部运动。MimicTalk的技术背景是基于深度学习和计算机视觉领域的最新进展，特别是在人脸合成和动画生成方面。目前，该技术是免费提供给研究和开发社区的。

3D头像重建与实时动画生成技术

GAGAvatar是一种基于高斯模型的3D头像重建与动画生成技术，它能够在单张图片的基础上快速生成3D头像，并实现实时的面部表情动画。这项技术的主要优点包括高保真度的3D模型生成、快速的渲染速度以及对未见身份的泛化能力。GAGAvatar通过创新的双提升方法捕捉身份和面部细节，利用全局图像特征和3D可变形模型来控制表情，为数字头像的研究和应用提供了新的基准。

高分辨率、长时音频驱动的人像图像动画技术

Hallo2是一种基于潜在扩散生成模型的人像图像动画技术，通过音频驱动生成高分辨率、长时的视频。它通过引入多项设计改进，扩展了Hallo的功能，包括生成长时视频、4K分辨率视频，并增加了通过文本提示增强表情控制的能力。Hallo2的主要优点包括高分辨率输出、长时间的稳定性以及通过文本提示增强的控制性，这使得它在生成丰富多样的肖像动画内容方面具有显著优势。

Loopy，仅凭音频驱动肖像头像，实现逼真动态。

Loopy是一个端到端的音频驱动视频扩散模型，专门设计了跨剪辑和内部剪辑的时间模块以及音频到潜在表示模块，使模型能够利用数据中的长期运动信息来学习自然运动模式，并提高音频与肖像运动的相关性。这种方法消除了现有方法中手动指定的空间运动模板的需求，实现了在各种场景下更逼真、高质量的结果。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

城市级NeRF实景三维大模型，沉浸式体验。

书生·天际LandMark是一个基于NeRF技术的实景三维大模型，它实现了100平方公里的4K高清训练，具备实时渲染和自由编辑的能力。这项技术代表了城市级三维建模和渲染的新高度，具有极高的训练和渲染效率，为城市规划、建筑设计和虚拟现实等领域提供了强大的工具。

生成逼真动态人像视频的先进技术

EchoMimic是一个先进的人像图像动画模型，能够通过音频和选定的面部特征点单独或组合驱动生成逼真的肖像视频。它通过新颖的训练策略，解决了传统方法在音频驱动时可能的不稳定性以及面部关键点驱动可能导致的不自然结果。EchoMimic在多个公共数据集和自收集数据集上进行了全面比较，并在定量和定性评估中展现出了卓越的性能。

3D重光照技术，无需逆向渲染

IllumiNeRF是一种3D重光照技术，它通过使用一系列在未知光照条件下拍摄的物体图像，恢复3D表示，以便在目标照明下从新视角渲染。该技术避免了基于逆向渲染的传统方法，这些方法通常涉及通过可微分的蒙特卡洛渲染进行优化，这不仅脆弱而且计算成本高昂。IllumiNeRF采用更简单的方法，首先使用图像扩散模型对每个输入图像进行重光照，然后使用这些重光照图像重建Neural Radiance Field (NeRF)，从而在目标照明下渲染新视图。这种方法在多个重光照基准测试中取得了出人意料的竞争性能和最先进的结果。

生成会说话、唱歌的动态视频

AniPortrait是一个根据音频和图像输入生成会说话、唱歌的动态视频的项目。它能够根据音频和静态人脸图片生成逼真的人脸动画，口型保持一致。支持多种语言和面部重绘、头部姿势控制。功能包括音频驱动的动画合成、面部再现、头部姿势控制、支持自驱动和音频驱动的视频生成、高质量动画生成以及灵活的模型和权重配置。

Nerfstudio是一个模块化的神经辐射场开发框架

Nerfstudio是一个开源的神经辐射场（NeRF）开发框架，它提供了简单易用的API，支持模块化的NeRF构建和训练。Nerfstudio帮助用户更轻松地理解和探索NeRF技术，并提供了教程、文档和更多学习资源。欢迎用户贡献新的NeRF模型和数据集。Nerfstudio的主要功能包括模型训练、数据处理、可视化等。

SIGNeRF - 快速、可控的NeRF场景编辑和场景集成对象生成

SIGNeRF是一种用于快速和可控的NeRF场景编辑以及场景集成对象生成的新方法。它引入了一种新的生成更新策略，确保在编辑图像时保持3D一致性，而无需进行迭代优化。SIGNeRF利用了ControlNet的深度条件图像扩散模型的优势，通过几个简单的步骤在单个前向传递中编辑现有的NeRF场景。它可以生成新的对象到现有的NeRF场景中，也可以编辑已存在的对象，从而实现对场景的精确控制。

大规模实景数据集,用于深度学习三维视觉研究

DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。

生成逼真、唇同步的说唱视频

VividTalk是一种一次性音频驱动的头像生成技术，基于3D混合先验。它能够生成具有表情丰富、自然头部姿态和唇同步的逼真说唱视频。该技术采用了两阶段通用框架，支持生成具有上述所有特性的高视觉质量的说唱视频。具体来说，在第一阶段，通过学习两种运动（非刚性表情运动和刚性头部运动），将音频映射到网格。对于表情运动，采用混合形状和顶点作为中间表示，以最大化模型的表征能力。对于自然头部运动，提出了一种新颖的可学习头部姿势码本，并采用两阶段训练机制。在第二阶段，提出了一个双分支运动VAE和一个生成器，将网格转换为密集运动，并逐帧合成高质量视频。大量实验证明，VividTalk能够生成具有唇同步和逼真增强的高视觉质量说唱视频，且在客观和主观比较中优于以往的最先进作品。该技术的代码将在发表后公开发布。

360度全场景生成

ZeroNVS 是一款用于从单张真实图像进行零样本 360 度全景合成的工具。它提供了 3D SDS 蒸馏代码、评估代码和训练好的模型。用户可以使用该工具进行自己的 NeRF 模型蒸馏和评估，并且可以在各种不同的数据集上进行实验。ZeroNVS 具有高质量的合成效果，并且支持自定义的图像数据。该工具主要用于虚拟现实、增强现实和全景视频制作等领域。

音频驱动的视频编辑，实现高质量唇形同步

VideoReTalking是一个新的系统，可以根据输入的音频编辑真实世界的说话头部视频的面部，产生高质量的唇形同步输出视频，即使情感不同。该系统将此目标分解为三个连续的任务：（1）使用表情编辑网络生成带有规范表情的面部视频；（2）音频驱动的唇形同步；（3）用于提高照片逼真度的面部增强。给定一个说话头部视频，我们首先使用表情编辑网络根据相同的表情模板修改每个帧的表情，从而得到具有规范表情的视频。然后将该视频与给定的音频一起输入到唇形同步网络中，生成唇形同步视频。最后，我们通过一个身份感知的面部增强网络和后处理来提高合成面部的照片逼真度。我们对所有三个步骤使用基于学习的方法，所有模块都可以在顺序管道中处理，无需任何用户干预。

编辑3D场景的指令式NeRF编辑器

Instruct-NeRF2NeRF是一款用于编辑NeRF场景的指令式编辑器。它使用图像条件扩散模型（InstructPix2Pix）逐步编辑输入图像，同时优化底层场景，从而得到一个优化的3D场景，该场景符合编辑指令。我们证明了我们的方法能够编辑大规模的现实世界场景，并且能够比之前的工作实现更真实、更有针对性的编辑。