产品库

利用NVIDIA AI构建视频搜索和摘要代理

NVIDIA AI Blueprint for Video Search and Summarization是一个基于NVIDIA NIM微服务和生成式AI模型的参考工作流程，用于构建能够理解自然语言提示并执行视觉问题回答的视觉AI代理。这些代理可以部署在工厂、仓库、零售店、机场、交通路口等多种场景中，帮助运营团队从自然交互中生成的丰富洞察中做出更好的决策。

视频分析工具，结合Llama视觉模型和OpenAI Whisper进行本地视频描述生成。

video-analyzer是一个视频分析工具，它结合了Llama的11B视觉模型和OpenAI的Whisper模型，通过提取关键帧、将它们输入视觉模型以获取细节，并结合每个帧的细节和可用的转录内容来描述视频中发生的事情。这个工具代表了计算机视觉、音频转录和自然语言处理的结合，能够生成视频内容的详细描述。它的主要优点包括完全本地运行无需云服务或API密钥、智能提取视频关键帧、使用OpenAI的Whisper进行高质量音频转录、使用Ollama和Llama3.2 11B视觉模型进行帧分析，以及生成自然语言描述的视频内容。

一站式OCR代理，快速从图像中生成洞见。

TurboLens是一个集OCR、计算机视觉和生成式AI于一体的全功能平台，它能够自动化地从非结构化图像中快速生成洞见，简化工作流程。产品背景信息显示，TurboLens旨在通过其创新的OCR技术和AI驱动的翻译及分析套件，从印刷和手写文档中提取定制化的洞见。此外，TurboLens还提供了数学公式和表格识别功能，将图像转换为可操作的数据，并将数学公式翻译成LaTeX格式，表格转换为Excel格式。产品价格方面，TurboLens提供免费和付费两种计划，满足不同用户的需求。

开源计算机视觉库

OpenCV是一个跨平台的开源计算机视觉和机器学习软件库，它提供了一系列编程功能，包括但不限于图像处理、视频分析、特征检测、机器学习等。该库广泛应用于学术研究和商业项目中，因其强大的功能和灵活性而受到开发者的青睐。

一种用于跨领域视频帧中对象匹配的通用模型。

MASA是一个用于视频帧中对象匹配的先进模型，它能够处理复杂场景中的多目标跟踪（MOT）。MASA不依赖于特定领域的标注视频数据集，而是通过Segment Anything Model（SAM）丰富的对象分割，学习实例级别的对应关系。MASA设计了一个通用适配器，可以与基础的分割或检测模型配合使用，实现零样本跟踪能力，即使在复杂领域中也能表现出色。

智能视频对象分割技术

SAM是一个先进的视频对象分割模型，它结合了光学流动和RGB信息，能够发现并分割视频中的移动对象。该模型在单对象和多对象基准测试中均取得了显著的性能提升，同时保持了对象的身份一致性。

AI Vision for instant visual analysis

Chooch AI Vision Platform是一款AI视觉平台，通过AI算法实现对图像和视频的实时分析和识别。该平台可帮助企业快速检测和分析成千上万种视觉对象、图像或动作，并在图像被识别出时立即采取行动。具有高度精确和高效的操作，能够提升业务运营性能。Chooch AI Vision Platform提供多种预训练的AI模型，可快速部署并支持在云端或边缘设备上使用。定价根据具体需求定制。

高保真可动画 3D 人类重建模型，快速生成动画角色。

LHM（大规模可动画人类重建模型）利用多模态变压器架构进行高保真 3D 头像重建，支持从单张图像生成可动画的 3D 人类形象。该模型能够详细保留服装几何和纹理，尤其是在面部身份和细节恢复方面表现优异，适合对 3D 重建精度有较高要求的应用场景。

一种无混叠的任意尺度超分辨率方法。

Thera 是一种先进的超分辨率技术，能够在不同尺度下生成高质量图像。其主要优点在于内置物理观察模型，有效避免了混叠现象。该技术由 ETH Zurich 的研究团队开发，适用于图像增强和计算机视觉领域，尤其在遥感和摄影测量中具有广泛应用。

通过多实例扩散模型将单张图像生成高保真度的3D场景。

MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。

SmolVLM2 是一个专注于视频内容分析和生成的轻量化语言模型。

SmolVLM2 是一种轻量级的视频语言模型，旨在通过分析视频内容生成相关的文本描述或视频亮点。该模型具有高效性、低资源消耗的特点，适合在多种设备上运行，包括移动设备和桌面客户端。其主要优点是能够快速处理视频数据并生成高质量的文本输出，为视频内容创作、视频分析和教育等领域提供了强大的技术支持。该模型由 Hugging Face 团队开发，定位为高效、轻量化的视频处理工具，目前处于实验阶段，用户可以免费试用。

一个高效的无边界3D城市生成框架，使用3D高斯绘制技术实现快速生成。

GaussianCity是一个专注于高效生成无边界3D城市的框架，基于3D高斯绘制技术。该技术通过紧凑的3D场景表示和空间感知的高斯属性解码器，解决了传统方法在生成大规模城市场景时面临的内存和计算瓶颈。其主要优点是能够在单次前向传递中快速生成大规模3D城市，显著优于现有技术。该产品由南洋理工大学S-Lab团队开发，相关论文发表于CVPR 2025，代码和模型已开源，适用于需要高效生成3D城市环境的研究人员和开发者。

MLGym是一个用于推进AI研究代理的新框架和基准。

MLGym是由Meta的GenAI团队和UCSB NLP团队开发的一个开源框架和基准，用于训练和评估AI研究代理。它通过提供多样化的AI研究任务，推动强化学习算法的发展，帮助研究人员在真实世界的研究场景中训练和评估模型。该框架支持多种任务，包括计算机视觉、自然语言处理和强化学习等领域，旨在为AI研究提供一个标准化的测试平台。

企业级AI代理和助手平台，用于构建和部署关键任务中的生成式AI应用。

Vectara是一个面向企业的AI平台，专注于帮助企业快速部署和管理生成式AI应用。它通过提供先进的检索增强生成（RAG）技术，确保AI应用的准确性和安全性。该平台支持多语言数据处理，具备高性能和可扩展性，适用于金融、教育、法律等多个垂直行业。其主要优势在于强大的数据安全性和隐私保护，符合SOC 2、HIPAA和GDPR等合规标准。产品定位为中高端企业市场，虽然具体价格未公开，但提供免费试用选项。

WHAM 是微软开发的一种生成式游戏模型，用于生成游戏视觉和控制器动作。

WHAM（World and Human Action Model）是由微软研究院开发的一种生成式模型，专门用于生成游戏场景和玩家行为。该模型基于Ninja Theory的《Bleeding Edge》游戏数据训练，能够生成连贯、多样化的游戏视觉和控制器动作。WHAM 的主要优点在于其能够捕捉游戏环境的3D结构和玩家行为的时间序列，为游戏设计和创意探索提供了强大的工具。该模型主要面向学术研究和游戏开发领域，帮助开发者快速迭代游戏设计。

Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。

Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型，能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入（如参数化模型或相机参数），即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构，具有广泛的应用前景，如虚拟现实、影视制作等。Pippo 的代码已开源，但不包含预训练权重，用户需要自行训练模型。

将PDF转换为音频内容，打造个性化的AI有声读物。

NVIDIA的PDF to Podcast Blueprint是一种基于生成式AI的应用程序，能够将PDF文档（如培训资料、技术研究或文档）转换为个性化的音频内容。该技术利用大型语言模型（LLMs）、文本到语音（TTS）技术以及NVIDIA NIM微服务，将PDF数据转换为引人入胜的音频内容，帮助用户在移动中学习，同时解决信息过载的问题。该解决方案完全基于NVIDIA的云基础设施运行，无需本地GPU硬件，确保隐私合规性，并可根据用户需求定制品牌、分析、实时翻译或数字人界面等功能。

VideoWorld是一个探索从无标签视频中学习知识的深度生成模型。

VideoWorld是一个专注于从纯视觉输入（无标签视频）中学习复杂知识的深度生成模型。它通过自回归视频生成技术，探索如何仅通过视觉信息学习任务规则、推理和规划能力。该模型的核心优势在于其创新的潜在动态模型（LDM），能够高效地表示多步视觉变化，从而显著提升学习效率和知识获取能力。VideoWorld在视频围棋和机器人控制任务中表现出色，展示了其强大的泛化能力和对复杂任务的学习能力。该模型的研究背景源于对生物体通过视觉而非语言学习知识的模仿，旨在为人工智能的知识获取开辟新的途径。

Video Depth Anything: Consistent Depth Estimation for Super-Long Videos

Video Depth Anything 是一个基于深度学习的视频深度估计模型，能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发，具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发，旨在解决长视频深度估计中的挑战，如时间一致性问题和复杂场景的适应性问题。目前，该模型的代码和演示已公开，供研究人员和开发者使用。

FLUX Pro Finetuning API 是一款用于定制化生成式图像模型的高级工具。

FLUX Pro Finetuning API 是由 Black Forest Labs 推出的生成式文本到图像模型的定制化工具。它允许用户通过少量示例图像（1-5张）对 FLUX Pro 模型进行微调，从而生成符合特定品牌、风格或视觉需求的高质量图像内容。该技术的主要优点在于其高度的定制化能力、对品牌一致性的保持以及与 FLUX 工具套件的无缝集成。它适用于专业创意人员、设计师和品牌方，帮助他们在营销、品牌建设和故事叙述中实现个性化内容创作。目前尚无明确价格信息，但其定位为高端创意工具，适合对生成内容质量有较高要求的用户。

MatterGen是一个利用生成式AI进行材料设计的工具。

MatterGen是微软研究院推出的一种生成式AI工具，用于材料设计。它能够根据应用的设计要求直接生成具有特定化学、机械、电子或磁性属性的新型材料，为材料探索提供了新的范式。该工具的出现有望加速新型材料的研发进程，降低研发成本，并在电池、太阳能电池、CO2吸附剂等领域发挥重要作用。目前，MatterGen的源代码已在GitHub上开源，供公众使用和进一步开发。

基于Transformer实现的ViTPose模型集合

ViTPose是一系列基于Transformer架构的人体姿态估计模型。它利用Transformer的强大特征提取能力，为人体姿态估计任务提供了简单而有效的基线。ViTPose模型在多个数据集上表现出色，具有较高的准确性和效率。该模型由悉尼大学社区维护和更新，提供了多种不同规模的版本，以满足不同应用场景的需求。在Hugging Face平台上，ViTPose模型以开源的形式供用户使用，用户可以方便地下载和部署这些模型，进行人体姿态估计相关的研究和应用开发。

InternVL2.5-MPO系列模型，基于InternVL2.5和混合偏好优化，展现卓越性能。

InternVL2.5-MPO是一个先进的多模态大型语言模型系列，基于InternVL2.5和混合偏好优化（MPO）构建。该系列模型在多模态任务中表现出色，能够处理图像、文本和视频数据，并生成高质量的文本响应。模型采用'ViT-MLP-LLM'范式，通过像素unshuffle操作和动态分辨率策略优化视觉处理能力。此外，模型还引入了多图像和视频数据的支持，进一步扩展了其应用场景。InternVL2.5-MPO在多模态能力评估中超越了多个基准模型，证明了其在多模态领域的领先地位。

Narrative BI 是一个自动化的商业智能平台，将数据转化为有意义的叙述。

Narrative BI 是一个利用生成式人工智能技术的自动化商业智能平台，旨在帮助企业和团队从销售、营销和广告等多方面的数据中自动提取有价值的见解。该平台通过自然语言生成技术，将复杂的数据分析结果转化为易于理解的叙述，从而让用户能够快速把握数据背后的含义。Narrative BI 的主要优点在于其自动化程度高，用户无需编写代码即可连接多个数据源，并实时监控关键指标。此外，它还提供了异常检测功能，能够及时发现数据中的异常波动，帮助用户做出更准确的决策。Narrative BI 的目标是为各种规模的企业提供一个简单易用、功能强大的数据分析工具，以支持其业务增长和优化。

从穿着人身上生成平铺布料的模型

TryOffAnyone是一个用于从穿着人身上生成平铺布料的深度学习模型。该模型能够将穿着衣物的人的图片转换成布料平铺图，这对于服装设计、虚拟试衣等领域具有重要意义。它通过深度学习技术，实现了高度逼真的布料模拟，使得用户可以更直观地预览衣物的穿着效果。该模型的主要优点包括逼真的布料模拟效果和较高的自动化程度，可以减少实际试衣过程中的时间和成本。

多模态大型模型，处理文本、图像和视频数据

Valley-Eagle-7B是由字节跳动开发的多模态大型模型，旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器，并引入了VisionEncoder，以增强模型在极端场景下的性能。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

一站式大模型算法、模型及优化工具开源项目

FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。

从日常动态视频中快速、准确地估计相机和密集结构

MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。

亚马逊推出的基于生成式AI的卖家助理工具

Project Amelia是亚马逊推出的一个基于生成式人工智能技术的个人助理项目，旨在为卖家提供个性化的商业建议，以提高生产力和推动卖家增长。该项目利用亚马逊Bedrock技术，提供可扩展的最新基础模型和AI工具，帮助卖家简化在亚马逊商店的销售流程，同时提供更强大的增长途径。Project Amelia通过回答卖家的问题，提供准确的信息和指导，使卖家能够更轻松高效地管理业务。它还能够学习卖家的独特业务，提供个性化的见解和支持，并可从卖家中心的任何页面随时访问。