产品库

Video Depth Anything: Consistent Depth Estimation for Super-Long Videos

Video Depth Anything 是一个基于深度学习的视频深度估计模型，能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发，具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发，旨在解决长视频深度估计中的挑战，如时间一致性问题和复杂场景的适应性问题。目前，该模型的代码和演示已公开，供研究人员和开发者使用。

一种从2D图像学习3D人体生成的结构化潜在扩散模型。

StructLDM是一个结构化潜在扩散模型，用于从2D图像学习3D人体生成。它能够生成多样化的视角一致的人体，并支持不同级别的可控生成和编辑，如组合生成和局部服装编辑等。该模型在无需服装类型或掩码条件的情况下，实现了服装无关的生成和编辑。项目由南洋理工大学S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出，相关论文发表于ECCV 2024。

基于Transformer实现的ViTPose模型集合

ViTPose是一系列基于Transformer架构的人体姿态估计模型。它利用Transformer的强大特征提取能力，为人体姿态估计任务提供了简单而有效的基线。ViTPose模型在多个数据集上表现出色，具有较高的准确性和效率。该模型由悉尼大学社区维护和更新，提供了多种不同规模的版本，以满足不同应用场景的需求。在Hugging Face平台上，ViTPose模型以开源的形式供用户使用，用户可以方便地下载和部署这些模型，进行人体姿态估计相关的研究和应用开发。

将单目视频转换为沉浸式立体3D视频的框架

StereoCrafter是一个创新的框架，它利用基础模型作为先验，通过深度估计和立体视频修复技术，将2D视频转换为沉浸式立体3D视频。这项技术突破了传统方法的局限，提高了显示设备所需的高保真度生成性能。StereoCrafter的主要优点包括能够处理不同长度和分辨率的视频输入，以及通过自回归策略和分块处理来优化视频处理。此外，StereoCrafter还开发了复杂的数据处理流程，以重建大规模、高质量的数据集，支持训练过程。这个框架为3D设备（如Apple Vision Pro和3D显示器）创造沉浸式内容提供了实际的解决方案，可能改变我们体验数字媒体的方式。

从日常动态视频中快速、准确地估计相机和密集结构

MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。

3D人体动作的言语和非言语语言统一模型

这是一个由斯坦福大学研究团队开发的多模态语言模型框架，旨在统一3D人体动作中的言语和非言语语言。该模型能够理解并生成包含文本、语音和动作的多模态数据，对于创建能够自然交流的虚拟角色至关重要，广泛应用于游戏、电影和虚拟现实等领域。该模型的主要优点包括灵活性高、训练数据需求少，并且能够解锁如可编辑手势生成和从动作中预测情感等新任务。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

从单张图片重建逼真的3D人体模型

PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。

基于文本生成姿态并进一步生成图像的模型

text-to-pose是一个研究项目，旨在通过文本描述生成人物姿态，并利用这些姿态生成图像。该技术结合了自然语言处理和计算机视觉，通过改进扩散模型的控制和质量，实现了从文本到图像的生成。项目背景基于NeurIPS 2024 Workshop上发表的论文，具有创新性和前沿性。该技术的主要优点包括提高图像生成的准确性和可控性，以及在艺术创作和虚拟现实等领域的应用潜力。

EchoMimicV2：实现逼真、简化、半身人体动画的技术。

EchoMimicV2是由支付宝蚂蚁集团终端技术部研发的半身人体动画技术，它通过参考图像、音频剪辑和一系列手势来生成高质量的动画视频，确保音频内容与半身动作的连贯性。这项技术简化了以往复杂的动画制作流程，通过Audio-Pose动态协调策略，包括姿态采样和音频扩散，增强了半身细节、面部和手势的表现力，同时减少了条件冗余。此外，它还利用头部部分注意力机制将头像数据无缝整合到训练框架中，这一机制在推理过程中可以省略，为动画制作提供了便利。EchoMimicV2还设计了特定阶段的去噪损失，以指导动画在特定阶段的运动、细节和低级质量。该技术在定量和定性评估中均超越了现有方法，展现了其在半身人体动画领域的领先地位。

面向开放世界的检测与理解统一视觉模型

DINO-X是一个以物体感知为核心的视觉大模型，具备开集检测、智能问答、人体姿态、物体计数、服装换色等核心能力。它不仅能识别已知目标，还能灵活应对未知类别，凭借先进算法，模型具备出色的适应性和鲁棒性，能够精准应对各种不可预见的挑战，提供针对复杂视觉数据的全方位解决方案。DINO-X的应用场景广泛，包括机器人、农业、零售行业、安防监控、交通管理、制造业、智能家居、物流与仓储、娱乐媒体等，是DeepDataSpace公司在计算机视觉技术领域的旗舰产品。

从单目视频重建时间一致的4D人体模型

DressRecon是一个用于从单目视频重建时间一致的4D人体模型的方法，专注于处理非常宽松的服装或手持物体交互。该技术结合了通用的人体先验知识（从大规模训练数据中学习得到）和针对单个视频的特定“骨骼袋”变形（通过测试时优化进行拟合）。DressRecon通过学习一个神经隐式模型来分离身体与服装变形，作为单独的运动模型层。为了捕捉服装的微妙几何形状，它利用基于图像的先验知识，如人体姿势、表面法线和光流，在优化过程中进行调整。生成的神经场可以提取成时间一致的网格，或者进一步优化为显式的3D高斯，以提高渲染质量和实现交互式可视化。DressRecon在包含高度挑战性服装变形和物体交互的数据集上，提供了比以往技术更高的3D重建保真度。

高精度单目深度估计模型

Depth Pro是一个用于单目深度估计的研究项目，它能够快速生成高精度的深度图。该模型利用多尺度视觉变换器进行密集预测，并结合真实与合成数据集进行训练，以实现高准确度和细节捕捉。它在标准GPU上生成2.25百万像素深度图仅需0.3秒，具有速度快、精度高的特点，对于机器视觉和增强现实等领域具有重要意义。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

提升基于拖拽的图像编辑的交互性和速度

InstantDrag是一个优化自由的流程，它通过仅使用图像和拖拽指令作为输入，增强了交互性和速度。该技术由两个精心设计的网络组成：拖拽条件的光流生成器（FlowGen）和光流条件的扩散模型（FlowDiffusion）。InstantDrag通过将任务分解为运动生成和运动条件图像生成，学习了基于真实世界视频数据集的拖拽图像编辑的运动动态。它能够在不需要掩码或文本提示的情况下，快速执行逼真的编辑，这使得它成为交互式、实时应用的有前景的解决方案。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

无需对象模板的人体与物体交互跟踪技术

InterTrack 是一种先进的跟踪技术，能够在单目RGB视频中跟踪人体与物体的交互，即使在遮挡和动态运动下也能保持跟踪的连贯性。该技术无需使用任何对象模板，仅通过合成数据训练即可在真实世界视频中实现良好的泛化。InterTrack 通过分解4D跟踪问题为每帧的姿态跟踪和规范形状优化，显著提高了跟踪的准确性和效率。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

高效渲染被遮挡的人体

OccFusion是一种创新的人体渲染技术，利用3D高斯散射和预训练的2D扩散模型，即使在人体部分被遮挡的情况下也能高效且高保真地渲染出完整的人体图像。这项技术通过三个阶段的流程：初始化、优化和细化，显著提高了在复杂环境下人体渲染的准确性和质量。

高质量人体动作视频生成

MimicMotion是由腾讯公司和上海交通大学联合研发的高质量人体动作视频生成模型。该模型通过信心感知的姿态引导，实现了对视频生成过程的可控性，提高了视频的时序平滑性，并减少了图像失真。它采用了先进的图像到视频的扩散模型，结合了时空U-Net和PoseNet，能够根据姿势序列条件生成任意长度的高质量视频。MimicMotion在多个方面显著优于先前的方法，包括手部生成质量、对参考姿势的准确遵循等。