产品库

从日常动态视频中快速、准确地估计相机和密集结构

MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。

先进的单目深度估计模型

Depth Anything V2 是一个经过改进的单目深度估计模型，它通过使用合成图像和大量未标记的真实图像进行训练，提供了比前一版本更精细、更鲁棒的深度预测。该模型在效率和准确性方面都有显著提升，速度比基于Stable Diffusion的最新模型快10倍以上。

高精度单目深度估计模型

Depth Pro是一个用于单目深度估计的研究项目，它能够快速生成高精度的深度图。该模型利用多尺度视觉变换器进行密集预测，并结合真实与合成数据集进行训练，以实现高准确度和细节捕捉。它在标准GPU上生成2.25百万像素深度图仅需0.3秒，具有速度快、精度高的特点，对于机器视觉和增强现实等领域具有重要意义。

高保真稠密SLAM

Gaussian SLAM能够从RGBD数据流重建可渲染的3D场景。它是第一个能够以照片级真实感重建现实世界场景的神经RGBD SLAM方法。通过利用3D高斯作为场景表示的主要单元，我们克服了以往方法的局限性。我们观察到传统的3D高斯在单目设置下很难使用：它们无法编码准确的几何信息，并且很难通过单视图顺序监督进行优化。通过扩展传统的3D高斯来编码几何信息，并设计一种新颖的场景表示以及增长和优化它的方法，我们提出了一种能够重建和渲染现实世界数据集的SLAM系统，而且不会牺牲速度和效率。高斯SLAM能够重建和以照片级真实感渲染现实世界场景。我们在常见的合成和真实世界数据集上对我们的方法进行了评估，并将其与其他最先进的SLAM方法进行了比较。最后，我们证明了我们得到的最终3D场景表示可以通过高效的高斯飞溅渲染实时渲染。

Dpt 深度估计 + 3D

Dpt Depth是一款基于 Dpt 深度估计和 3D 技术的图像处理工具。它可以通过输入的图像快速估计出深度信息，并根据深度信息生成相应的三维模型。Dpt Depth Estimation + 3D 功能强大，易于使用，可广泛应用于计算机视觉、图像处理等领域。该产品提供免费试用版本和付费订阅版本。

高分辨率、高精度的深度估计方法

Prompt Depth Anything是一种用于高分辨率和高精度度量深度估计的方法。该方法通过使用提示（prompting）技术，激发深度基础模型的潜力，利用iPhone LiDAR作为提示，引导模型产生高达4K分辨率的精确度量深度。此外，该方法还引入了可扩展的数据管道进行训练，并发布了更详细的ScanNet++数据集深度注释。该技术的主要优点包括高分辨率、高精度的深度估计，以及对下游应用如3D重建和通用机器人抓取的益处。

生成丰富可控运动的视频合成工具

Boximator是一款由Jiawei Wang、Yuchen Zhang等人开发的智能视频合成工具。它利用先进的深度学习技术，通过添加文本提示和额外的盒子约束，生成丰富且可控制的视频运动。用户可以通过示例或自定义文本来创造独特的视频场景。Boximator与其他方法相比，使用了来自文本提示的附加盒子约束，提供更灵活的运动控制。

基于深度学习的三维数字化产品与服务

四维时代人工智能技术开放平台通过深度学习算法,提供小物体建模、大场景建模、SLAM视觉追踪、人工智能视觉识别等数字化服务,实现数字世界与实体世界的高效连接。

AI客服助手，从历史工单中查找答案

Cohere是一个基于AI的客服助手平台，能够从以往的工单中找到答案，提供智能化的客户支持。它通过自然语言处理和机器学习技术，自动分析和解决常见问题，提高客服效率。Cohere还提供定价灵活、功能丰富的解决方案，适用于各种规模的企业。无论是在线客服、电话支持还是电子邮件，Cohere都能够提供准确、一致的答案，提升客户满意度。

基于图形的通用姿势估计方法

Pose Anything是一种基于图形的通用姿势估计方法，旨在使关键点定位适用于任意物体类别，使用单个模型，需要最少带有注释关键点的支持图像。该方法通过全新设计的图形转换解码器利用关键点之间的几何关系，提高了关键点定位的准确性。Pose Anything在MP-100基准测试中表现优异，超过了先前的最先进技术，并在1-shot和5-shot设置下取得显著改进。与以往的CAPE方法相比，该方法的端到端训练显示出可扩展性和效率。

基于大数据和大模型的人体姿态和形状估计模型

SMPLer-X是一种基于大数据和大模型的人体姿态和形状估计模型，能够统一捕捉身体、手和面部的运动，并具有广泛的应用。该模型通过对32个不同场景的数据集进行系统研究，优化训练方案并选择数据集，从而实现了对EHPS能力的显著提升。SMPLer-X采用Vision Transformer进行模型扩展，并通过微调策略将其转化为专家模型，从而进一步提高性能。该模型在多个基准测试中均表现出色，如AGORA（107.2 mm NMVE）、UBody（57.4 mm PVE）、EgoBody（63.6 mm PVE）和EHF（62.3 mm PVE without finetuning）。SMPLer-X的优势在于能够处理多样化的数据源，具有出色的泛化能力和可迁移性。

提供从智能感知到认知决策的技术闭环产品与解决方案

云从科技拥有世界领先、自主可控的核心技术,在人脸识别、3D结构光、跨镜追踪ReID、3D人体重建、语音识别等领域形成从智能感知到认知决策的技术闭环。产品覆盖智慧金融、智慧治理、智慧商业、智慧出行等领域,为企业智能化转型提供支持。

视频分析应用和AI运动筛查

Yogger是一款先进的视频分析应用，可分析运动和步态，跟踪进展，并进行基于AI的运动筛查。它可以帮助提高运动员的潜力，预防受伤，并实现个人最佳表现。该应用提供先进的运动捕捉功能，让您随时随地进行运动分析。

创新的运动分析平台

Apollo Co-Pilot是一款创新的运动分析平台，为教练和运动员提供智能辅助分析工具。它可以帮助教练和运动员分析训练数据，提供个性化的训练建议和优化方案。同时，它还提供了实时反馈和比赛策略分析等功能，帮助提高运动员的竞技表现。

AI助手简化Jira项目的工单创建

TicketGenius是一个AI助手，可简化Jira项目的工单创建。它根据简要描述生成格式完美的用户故事，并可以将现有故事拆分为可管理的部分。此外，它还将现有故事附加到相关的史诗故事中。我们的团队不断添加功能，以实现出色的用户故事。

将单目视频转换为沉浸式立体3D视频的框架

StereoCrafter是一个创新的框架，它利用基础模型作为先验，通过深度估计和立体视频修复技术，将2D视频转换为沉浸式立体3D视频。这项技术突破了传统方法的局限，提高了显示设备所需的高保真度生成性能。StereoCrafter的主要优点包括能够处理不同长度和分辨率的视频输入，以及通过自回归策略和分块处理来优化视频处理。此外，StereoCrafter还开发了复杂的数据处理流程，以重建大规模、高质量的数据集，支持训练过程。这个框架为3D设备（如Apple Vision Pro和3D显示器）创造沉浸式内容提供了实际的解决方案，可能改变我们体验数字媒体的方式。

用于理解任意视频中的相机运动的工具。

CameraBench 是一个用于分析视频中相机运动的模型，旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较，该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源，适合研究人员和开发者使用，且后续将推出更多改进版本。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

从单目视频重建时间一致的4D人体模型

DressRecon是一个用于从单目视频重建时间一致的4D人体模型的方法，专注于处理非常宽松的服装或手持物体交互。该技术结合了通用的人体先验知识（从大规模训练数据中学习得到）和针对单个视频的特定“骨骼袋”变形（通过测试时优化进行拟合）。DressRecon通过学习一个神经隐式模型来分离身体与服装变形，作为单独的运动模型层。为了捕捉服装的微妙几何形状，它利用基于图像的先验知识，如人体姿势、表面法线和光流，在优化过程中进行调整。生成的神经场可以提取成时间一致的网格，或者进一步优化为显式的3D高斯，以提高渲染质量和实现交互式可视化。DressRecon在包含高度挑战性服装变形和物体交互的数据集上，提供了比以往技术更高的3D重建保真度。

GoDiary是一款自动跟踪运动的健身应用

GoDiary是一款能够自动跟踪运动的健身应用。它结合了GPS和专有的机器学习算法，以省电的方式监测用户的健身活动。通过GoDiary，用户可以轻松追踪自己的跑步、步行和骑行等运动，并提供个性化的目标跟踪和历史数据分析。

快速从单视图训练高保真的人体3D高斯模型

Human101是一个快速从单视图重建人体的框架。它能够在100秒内训练3D高斯模型,并以60FPS以上渲染1024分辨率的图像,而无需预先存储每帧的高斯属性。Human101管道如下:首先,从单视图视频中提取2D人体姿态。然后,利用姿态驱动3D模拟器生成匹配的3D骨架动画。最后,基于动画构建时间相关的3D高斯模型,进行实时渲染。

视频重制，精确控制内容与运动

ReVideo是一个创新的视频编辑技术，它允许用户在特定区域进行精确的视频编辑，通过指定内容和运动来实现。这项技术通过修改第一帧来实现内容编辑，而基于轨迹的运动控制提供了直观的用户交互体验。ReVideo解决了内容和运动控制之间耦合和训练不平衡的新任务。通过开发三阶段训练策略，逐步从粗到细解耦这两方面，并提出一种时空自适应融合模块，以在不同的采样步骤和空间位置整合内容和运动控制。

OCR-free 文档理解的统一结构学习模型

mPLUG-DocOwl 1.5 是一个致力于OCR-free文档理解的统一结构学习模型，它通过深度学习技术实现了对文档的直接理解，无需传统的光学字符识别(OCR)过程。该模型能够处理包括文档、网页、表格和图表在内的多种类型的图像，支持结构感知的文档解析、多粒度的文本识别和定位，以及问答等功能。mPLUG-DocOwl 1.5 的研发背景是基于对文档理解自动化和智能化的需求，旨在提高文档处理的效率和准确性。该模型的开源特性也促进了学术界和工业界的进一步研究和应用。

AI客服解决方案，降低50%的工单量

Help.center是一个功能齐全的客户支持知识库解决方案，由ChatGPT提供支持，帮助客户获得即时答案。您可以拥有yourcompany.help.center的网站，客户可以使用AI搜索，还可以在您的网站上部署AI聊天小部件，以对话方式支持客户。使用AI提供即时答案，提高客户满意度。将AI聊天机器人添加到您的网站，并创建一个自助文档门户。

MoMask: 3D 人体运动生成

MoMask 是一个用于基于文本驱动的 3D 人体运动生成的模型。它采用了分层量化方案，以高保真度的细节将人体运动表示为多层离散运动令牌。MoMask 通过两个不同的双向 Transformer 网络进行生成，以从文本输入预测运动令牌。该模型在文本到运动生成任务上优于现有方法，并可以无缝应用于相关任务，如文本引导的时间修复。

从单张图片创建全身动态说话头像

One Shot, One Talk 是一种基于深度学习的图像生成技术，它能够从单张图片中重建出具有个性化细节的全身动态说话头像，并支持逼真的动画效果，包括生动的身体动作和自然的表情变化。这项技术的重要性在于它极大地降低了创建逼真、可动的虚拟形象的门槛，使得用户可以仅通过一张图片就能生成具有高度个性化和表现力的虚拟形象。产品背景信息显示，该技术由来自中国科学技术大学和香港理工大学的研究团队开发，结合了最新的图像到视频扩散模型和3DGS-mesh混合头像表示，通过关键的正则化技术来减少由不完美标签引起的不一致性。

可伸缩便携运动捕捉数据收集系统

DexCap是一种便携手部动作捕捉系统，结合了全息测距和电磁场技术，提供准确、抗遮挡的手腕和手指运动跟踪，并通过对环境的3D观测进行数据采集。DexIL算法利用逆运动学和基于点云的模仿学习，直接从人类手部动作数据中训练灵巧的机器手技能。系统支持选项的人机协同校正机制，利用这一丰富数据集，机器手能够复制人类动作，还能根据人类手动作进一步提高表现。

基于实体表示的任意物体运动控制

DragAnything是一款利用实体表示实现任意物体运动控制的产品。与拖动像素的传统方式不同，DragAnything可以实现真正的实体级运动控制。它可以实现用户轨迹交互，并具有SAM功能。该产品可以精确控制物体的运动，生成高质量视频，用户只需在交互过程中绘制一条轨迹。DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。定位于设计领域，适用于需要对视频中物体进行精细控制的场景。产品定价未公开。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

AI辅助的临床运动分析工具

Joint Angels是一款利用人工智能技术帮助临床医生测量运动范围和执行运动分析的工具。它通过简化运动分析和测量过程，旨在提高临床实践的效率和生产力。该工具可以实时记录和分析运动数据，帮助医生更准确地评估患者的运动能力，从而提供更有效的治疗建议。