产品库

用于训练通用目标分割模型的视频数据集

SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集，包含51K个多样化视频和643K个时空分割掩模（masklets）。该数据集用于计算机视觉研究，允许在CC BY 4.0许可下使用。视频内容多样，包括地点、对象和场景等主题，掩模从建筑物等大规模对象到室内装饰等细节不等。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

LiveFood是一个美食视频高光检测数据集和全局原型编码模型

LiveFood是一个包含超过5100个美食视频的数据集,视频包括食材、烹饪、呈现和食用四个领域,所有视频均由专业工人精细注释,并采用严格的双重检查机制进一步保证注释质量。我们还提出了全局原型编码(GPE)模型来处理这个增量学习问题,与传统技术相比获得了竞争性的性能。

高保真可动画 3D 人类重建模型，快速生成动画角色。

LHM（大规模可动画人类重建模型）利用多模态变压器架构进行高保真 3D 头像重建，支持从单张图像生成可动画的 3D 人类形象。该模型能够详细保留服装几何和纹理，尤其是在面部身份和细节恢复方面表现优异，适合对 3D 重建精度有较高要求的应用场景。

一种无混叠的任意尺度超分辨率方法。

Thera 是一种先进的超分辨率技术，能够在不同尺度下生成高质量图像。其主要优点在于内置物理观察模型，有效避免了混叠现象。该技术由 ETH Zurich 的研究团队开发，适用于图像增强和计算机视觉领域，尤其在遥感和摄影测量中具有广泛应用。

通过多实例扩散模型将单张图像生成高保真度的3D场景。

MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。

一个高效的无边界3D城市生成框架，使用3D高斯绘制技术实现快速生成。

GaussianCity是一个专注于高效生成无边界3D城市的框架，基于3D高斯绘制技术。该技术通过紧凑的3D场景表示和空间感知的高斯属性解码器，解决了传统方法在生成大规模城市场景时面临的内存和计算瓶颈。其主要优点是能够在单次前向传递中快速生成大规模3D城市，显著优于现有技术。该产品由南洋理工大学S-Lab团队开发，相关论文发表于CVPR 2025，代码和模型已开源，适用于需要高效生成3D城市环境的研究人员和开发者。

Level-Navi Agent是一个无需训练即可使用的框架，利用大语言模型进行深度查询理解和精准搜索。

Level-Navi Agent是一个开源的通用网络搜索代理框架，能够将复杂问题分解并逐步搜索互联网上的信息，直至回答用户问题。它通过提供Web24数据集，覆盖金融、游戏、体育、电影和事件等五大领域，为评估模型在搜索任务上的表现提供了基准。该框架支持零样本和少样本学习，为大语言模型在中文网络搜索代理领域的应用提供了重要参考。

MLGym是一个用于推进AI研究代理的新框架和基准。

MLGym是由Meta的GenAI团队和UCSB NLP团队开发的一个开源框架和基准，用于训练和评估AI研究代理。它通过提供多样化的AI研究任务，推动强化学习算法的发展，帮助研究人员在真实世界的研究场景中训练和评估模型。该框架支持多种任务，包括计算机视觉、自然语言处理和强化学习等领域，旨在为AI研究提供一个标准化的测试平台。

一个利用人工智能帮助学习和贡献美国手语（ASL）的平台。

Signs 是一个由 NVIDIA 支持的创新平台，旨在通过人工智能技术帮助用户学习美国手语（ASL），并允许用户通过录制手语视频贡献数据，以构建全球最大的开放手语数据集。该平台利用 AI 实时反馈和 3D 动画技术，为初学者提供友好的学习体验，同时为手语社区提供数据支持，推动手语学习的普及和多样性。平台计划在 2025 年下半年公开数据集，以促进更多相关技术和服务的开发。

Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。

Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型，能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入（如参数化模型或相机参数），即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构，具有广泛的应用前景，如虚拟现实、影视制作等。Pippo 的代码已开源，但不包含预训练权重，用户需要自行训练模型。

VideoWorld是一个探索从无标签视频中学习知识的深度生成模型。

VideoWorld是一个专注于从纯视觉输入（无标签视频）中学习复杂知识的深度生成模型。它通过自回归视频生成技术，探索如何仅通过视觉信息学习任务规则、推理和规划能力。该模型的核心优势在于其创新的潜在动态模型（LDM），能够高效地表示多步视觉变化，从而显著提升学习效率和知识获取能力。VideoWorld在视频围棋和机器人控制任务中表现出色，展示了其强大的泛化能力和对复杂任务的学习能力。该模型的研究背景源于对生物体通过视觉而非语言学习知识的模仿，旨在为人工智能的知识获取开辟新的途径。

Dolphin R1是一个用于训练推理模型的数据集，包含80万条样本。

Dolphin R1是一个由Cognitive Computations团队创建的数据集，旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源，有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持，这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布，为自然语言处理领域的研究和开发提供了重要的基础，推动了相关技术的发展。

Video Depth Anything: Consistent Depth Estimation for Super-Long Videos

Video Depth Anything 是一个基于深度学习的视频深度估计模型，能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发，具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发，旨在解决长视频深度估计中的挑战，如时间一致性问题和复杂场景的适应性问题。目前，该模型的代码和演示已公开，供研究人员和开发者使用。

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

基于Transformer实现的ViTPose模型集合

ViTPose是一系列基于Transformer架构的人体姿态估计模型。它利用Transformer的强大特征提取能力，为人体姿态估计任务提供了简单而有效的基线。ViTPose模型在多个数据集上表现出色，具有较高的准确性和效率。该模型由悉尼大学社区维护和更新，提供了多种不同规模的版本，以满足不同应用场景的需求。在Hugging Face平台上，ViTPose模型以开源的形式供用户使用，用户可以方便地下载和部署这些模型，进行人体姿态估计相关的研究和应用开发。

高质量的数据集、工具和概念，用于大型语言模型的微调。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

从穿着人身上生成平铺布料的模型

TryOffAnyone是一个用于从穿着人身上生成平铺布料的深度学习模型。该模型能够将穿着衣物的人的图片转换成布料平铺图，这对于服装设计、虚拟试衣等领域具有重要意义。它通过深度学习技术，实现了高度逼真的布料模拟，使得用户可以更直观地预览衣物的穿着效果。该模型的主要优点包括逼真的布料模拟效果和较高的自动化程度，可以减少实际试衣过程中的时间和成本。

大规模机器人学习数据集，推动多用途机器人策略发展。

AGIBOT WORLD是一个专为推进多用途机器人策略而设计的大规模机器人学习数据集。它包括基础模型、基准测试和一个生态系统，旨在为学术界和工业界提供高质量的机器人数据，为具身AI铺平道路。该数据集包含100多台机器人的100万条以上轨迹，覆盖100多个真实世界场景，涉及精细操控、工具使用和多机器人协作等任务。它采用尖端的多模态硬件，包括视觉触觉传感器、耐用的6自由度灵巧手和具有全身控制的移动双臂机器人，支持模仿学习、多智能体协作等研究。AGIBOT WORLD的目标是改变大规模机器人学习，推进可扩展的机器人系统生产，是一个开源平台，邀请研究人员和实践者共同塑造具身AI的未来。

一站式大模型算法、模型及优化工具开源项目

FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。

视频分析工具，结合Llama视觉模型和OpenAI Whisper进行本地视频描述生成。

video-analyzer是一个视频分析工具，它结合了Llama的11B视觉模型和OpenAI的Whisper模型，通过提取关键帧、将它们输入视觉模型以获取细节，并结合每个帧的细节和可用的转录内容来描述视频中发生的事情。这个工具代表了计算机视觉、音频转录和自然语言处理的结合，能够生成视频内容的详细描述。它的主要优点包括完全本地运行无需云服务或API密钥、智能提取视频关键帧、使用OpenAI的Whisper进行高质量音频转录、使用Ollama和Llama3.2 11B视觉模型进行帧分析，以及生成自然语言描述的视频内容。

从日常动态视频中快速、准确地估计相机和密集结构

MegaSaM是一个系统，它允许从动态场景的单目视频中准确、快速、稳健地估计相机参数和深度图。该系统突破了传统结构从运动和单目SLAM技术的局限，这些技术通常假设输入视频主要包含静态场景和大量视差。MegaSaM通过深度视觉SLAM框架的精心修改，能够扩展到真实世界中复杂动态场景的视频，包括具有未知视场和不受限制相机路径的视频。该技术在合成和真实视频上的广泛实验表明，与先前和并行工作相比，MegaSaM在相机姿态和深度估计方面更为准确和稳健，运行时间更快或相当。

NVIDIA推出的最经济的生成型AI超级计算机

NVIDIA Jetson Orin Nano Super Developer Kit是一款紧凑型生成型AI超级计算机，提供了更高的性能和更低的价格。它支持从商业AI开发者到业余爱好者和学生的广泛用户群体，提供了1.7倍的生成型AI推理性能提升，67 INT8 TOPS的性能提升，以及102GB/s的内存带宽提升。这款产品是开发基于检索增强生成的LLM聊天机器人、构建视觉AI代理或部署基于AI的机器人的理想选择。

视频非可见物体分割与内容补全的先进研究

这是一个由卡内基梅隆大学提出的视频非可见物体分割和内容补全的模型。该模型通过条件生成任务的方式，利用视频生成模型的基础知识，对视频中的可见物体序列进行处理，以生成包括可见和不可见部分的物体掩码和RGB内容。该技术的主要优点包括能够处理高度遮挡的情况，并且能够对变形物体进行有效的处理。此外，该模型在多个数据集上的表现均优于现有的先进方法，特别是在物体被遮挡区域的非可见分割上，性能提升高达13%。

首个说唱音乐生成数据集

RapBank是一个专注于说唱音乐的数据集，它从YouTube收集了大量说唱歌曲，并提供了一个精心设计的数据预处理流程。这个数据集对于音乐生成领域具有重要意义，因为它提供了大量的说唱音乐内容，可以用于训练和测试音乐生成模型。RapBank数据集包含94,164首歌曲链接，成功下载了92,371首歌曲，总时长达到5,586小时，覆盖84种不同的语言，其中英语歌曲的总时长最高，占总时长的大约三分之二。

用于强化学习验证的数学问题数据集

RLVR-GSM-MATH-IF-Mixed-Constraints数据集是一个专注于数学问题的数据集，它包含了多种类型的数学问题和相应的解答，用于训练和验证强化学习模型。这个数据集的重要性在于它能够帮助开发更智能的教育辅助工具，提高学生解决数学问题的能力。产品背景信息显示，该数据集由allenai在Hugging Face平台上发布，包含了GSM8k和MATH两个子集，以及带有可验证约束的IF Prompts，适用于MIT License和ODC-BY license。

高质量身份保留的人像动画合成工具。

StableAnimator是首个端到端身份保留的视频扩散框架，能够在不进行后处理的情况下合成高质量视频。该技术通过参考图像和一系列姿势进行条件合成，确保了身份一致性。其主要优点在于无需依赖第三方工具，适合需要高质量人像动画的用户。

大规模多模态推理与指令调优平台

MAmmoTH-VL是一个大规模多模态推理平台，它通过指令调优技术，显著提升了多模态大型语言模型（MLLMs）在多模态任务中的表现。该平台使用开放模型创建了一个包含1200万指令-响应对的数据集，覆盖了多样化的、推理密集型的任务，并提供了详细且忠实的理由。MAmmoTH-VL在MathVerse、MMMU-Pro和MuirBench等基准测试中取得了最先进的性能，展现了其在教育和研究领域的重要性。

多语言预训练数据集

FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集，覆盖超过1000种语言。该数据集经过精心设计，用于支持自然语言处理(NLP)模型的预训练和微调，特别是在多种语言上。它以其高质量、大规模和多样性而闻名，能够帮助模型学习跨语言的通用特征，提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色，甚至在某些情况下，比一些专门为单一语言设计的数据库表现更好。

基于条件扩散模型的人类-物体交互合成技术

Controllable Human-Object Interaction Synthesis (CHOIS) 是一种先进的技术，它能够根据语言描述、初始物体和人类状态以及稀疏物体路径点来同时生成物体运动和人类运动。这项技术对于模拟真实的人类行为至关重要，尤其在需要精确手-物体接触和由地面支撑的适当接触的场景中。CHOIS通过引入物体几何损失作为额外的监督信息，以及在训练扩散模型的采样过程中设计指导项来强制执行接触约束，从而提高了生成物体运动与输入物体路径点之间的匹配度，并确保了交互的真实性。