产品库

大规模机器人学习数据集，推动多用途机器人策略发展。

AGIBOT WORLD是一个专为推进多用途机器人策略而设计的大规模机器人学习数据集。它包括基础模型、基准测试和一个生态系统，旨在为学术界和工业界提供高质量的机器人数据，为具身AI铺平道路。该数据集包含100多台机器人的100万条以上轨迹，覆盖100多个真实世界场景，涉及精细操控、工具使用和多机器人协作等任务。它采用尖端的多模态硬件，包括视觉触觉传感器、耐用的6自由度灵巧手和具有全身控制的移动双臂机器人，支持模仿学习、多智能体协作等研究。AGIBOT WORLD的目标是改变大规模机器人学习，推进可扩展的机器人系统生产，是一个开源平台，邀请研究人员和实践者共同塑造具身AI的未来。

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

高质量的数据集、工具和概念，用于大型语言模型的微调。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

开源AI芯片性能基准测试平台

FlagPerf是由智源研究院联合AI硬件厂商共建的一体化AI硬件评测引擎，旨在建立以产业实践为导向的指标体系，评测AI硬件在软件栈组合（模型+框架+编译器）下的实际能力。该平台支持多维度评测指标体系，覆盖大模型训练推理场景，并支持多训练框架及推理引擎，连接AI硬件与软件生态。

从单张图片生成可探索的360°3D世界

GenEx是一个AI模型，它能够从单张图片创建一个完全可探索的360°3D世界。用户可以互动地探索这个生成的世界。GenEx在想象空间中推进具身AI，并有潜力将这些能力扩展到现实世界的探索。

首个说唱音乐生成数据集

RapBank是一个专注于说唱音乐的数据集，它从YouTube收集了大量说唱歌曲，并提供了一个精心设计的数据预处理流程。这个数据集对于音乐生成领域具有重要意义，因为它提供了大量的说唱音乐内容，可以用于训练和测试音乐生成模型。RapBank数据集包含94,164首歌曲链接，成功下载了92,371首歌曲，总时长达到5,586小时，覆盖84种不同的语言，其中英语歌曲的总时长最高，占总时长的大约三分之二。

AMD开源平台，提升AI、ML和HPC工作负载性能

AMD ROCm™ 6.3是AMD开源平台的一个重要里程碑，引入了先进的工具和优化，以提升在AMD Instinct GPU加速器上的AI、机器学习（ML）和高性能计算（HPC）工作负载。ROCm 6.3旨在增强从创新AI初创企业到HPC驱动行业的广泛客户的开发人员生产力。

用于强化学习验证的数学问题数据集

RLVR-GSM-MATH-IF-Mixed-Constraints数据集是一个专注于数学问题的数据集，它包含了多种类型的数学问题和相应的解答，用于训练和验证强化学习模型。这个数据集的重要性在于它能够帮助开发更智能的教育辅助工具，提高学生解决数学问题的能力。产品背景信息显示，该数据集由allenai在Hugging Face平台上发布，包含了GSM8k和MATH两个子集，以及带有可验证约束的IF Prompts，适用于MIT License和ODC-BY license。

大规模多模态推理与指令调优平台

MAmmoTH-VL是一个大规模多模态推理平台，它通过指令调优技术，显著提升了多模态大型语言模型（MLLMs）在多模态任务中的表现。该平台使用开放模型创建了一个包含1200万指令-响应对的数据集，覆盖了多样化的、推理密集型的任务，并提供了详细且忠实的理由。MAmmoTH-VL在MathVerse、MMMU-Pro和MuirBench等基准测试中取得了最先进的性能，展现了其在教育和研究领域的重要性。

多语言预训练数据集

FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集，覆盖超过1000种语言。该数据集经过精心设计，用于支持自然语言处理(NLP)模型的预训练和微调，特别是在多种语言上。它以其高质量、大规模和多样性而闻名，能够帮助模型学习跨语言的通用特征，提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色，甚至在某些情况下，比一些专门为单一语言设计的数据库表现更好。

大规模多语言偏好混合数据集

OLMo 2 1124 13B Preference Mixture是一个由Hugging Face提供的大型多语言数据集，包含377.7k个生成对，用于训练和优化语言模型，特别是在偏好学习和指令遵循方面。该数据集的重要性在于它提供了一个多样化和大规模的数据环境，有助于开发更加精准和个性化的语言处理技术。

科学文献综合评估平台

ScholarQABench是一个用于测试大型语言模型（LLMs）在协助研究人员进行科学文献综合方面能力的综合评估平台。它来源于OpenScholar项目，提供了一个全面的评估框架，包括多个数据集和评估脚本，以衡量模型在不同科学领域的表现。该平台的重要性在于它能够帮助研究人员和开发者理解并提升语言模型在科学文献研究中的实用性和准确性。

高质量数据集，用于OLMo2训练的第二阶段。

DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集，用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据，旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。

开源的先进语言模型后训练框架

Tülu 3是一系列开源的先进语言模型，它们经过后训练以适应更多的任务和用户。这些模型通过结合专有方法的部分细节、新颖技术和已建立的学术研究，实现了复杂的训练过程。Tülu 3的成功根植于精心的数据管理、严格的实验、创新的方法论和改进的训练基础设施。通过公开分享数据、配方和发现，Tülu 3旨在赋予社区探索新的和创新的后训练方法的能力。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

自监督触觉表示，用于基于视觉的触觉传感。

Sparsh是一系列通过自监督算法（如MAE、DINO和JEPA）训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，并在TacBench提出的下游任务中大幅度超越端到端模型，同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。

开源机器人模拟平台，用于生成无限机器人数据和泛化AI。

ManiSkill是一个领先的开源平台，专注于机器人模拟、无限机器人数据生成和泛化机器人AI。由HillBot.ai领导，该平台支持通过状态和/或视觉输入快速训练机器人，与其它平台相比，ManiSkill/SAPIEN实现了10-100倍的视觉数据收集速度。它支持在GPU上并行模拟和渲染RGB-D，速度高达30,000+FPS。ManiSkill提供了40多种技能/任务和2000多个对象的预构建任务，拥有数百万帧的演示和密集的奖励函数，用户无需自己收集资产或设计任务，可以专注于算法开发。此外，它还支持在每个并行环境中同时模拟不同的对象和关节，训练泛化机器人策略/AI的时间从天缩短到分钟。ManiSkill易于使用，可以通过pip安装，并提供简单灵活的GUI以及所有功能的广泛文档。

为机器人提供虚拟模拟和评估的先进世界模型。

1X 世界模型是一种机器学习程序，能够模拟世界如何响应机器人的行为。它基于视频生成和自动驾驶汽车世界模型的技术进步，为机器人提供了一个虚拟模拟器，能够预测未来的场景并评估机器人策略。这个模型不仅能够处理复杂的对象交互，如刚体、掉落物体的影响、部分可观察性、可变形物体和铰接物体，还能够在不断变化的环境中进行评估，这对于机器人技术的发展至关重要。

生成开放世界视频游戏的扩散变换模型

GameGen-O 是首个为生成开放世界视频游戏而定制的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样化事件，实现了高质量、开放领域的生成。此外，它还提供了交互式可控性，允许游戏玩法模拟。GameGen-O 的开发涉及从零开始的全面数据收集和处理工作，包括构建首个开放世界视频游戏数据集（OGameData），通过专有的数据管道进行高效的排序、评分、过滤和解耦标题。这个强大且广泛的 OGameData 构成了模型训练过程的基础。

内容风格合成在文本到图像生成中的应用

CSGO是一个基于内容风格合成的文本到图像生成模型，它通过一个数据构建管道生成并自动清洗风格化数据三元组，构建了首个大规模的风格迁移数据集IMAGStyle，包含210k图像三元组。CSGO模型采用端到端训练，明确解耦内容和风格特征，通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成，具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

一万亿Token和34亿张图像的多模态数据集

MINT-1T是由Salesforce AI开源的多模态数据集，包含一万亿个文本标记和34亿张图像，规模是现有开源数据集的10倍。它不仅包含HTML文档，还包括PDF文档和ArXiv论文，丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤，确保了数据的高质量和多样性。

用于训练通用目标分割模型的视频数据集

SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集，包含51K个多样化视频和643K个时空分割掩模（masklets）。该数据集用于计算机视觉研究，允许在CC BY 4.0许可下使用。视频内容多样，包括地点、对象和场景等主题，掩模从建筑物等大规模对象到室内装饰等细节不等。

一种用于图像和视频的视觉分割基础模型。

Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型，它通过简单的变换器架构和流式内存设计，实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎，收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练，提供了在广泛任务和视觉领域中的强大性能。

大规模城市环境中的机器人模拟交互平台。

GRUtopia是一个为各种机器人设计的交互式3D社会模拟平台，它通过模拟到现实(Sim2Real)的范式，为机器人学习提供了一个可行的路径。平台包含100k精细标注的交互场景，可以自由组合成城市规模的环境，覆盖89种不同的场景类别，为服务导向环境中通用机器人的部署提供了基础。此外，GRUtopia还包括一个由大型语言模型(LLM)驱动的NPC系统，负责社交互动、任务生成和分配，模拟了具身AI应用的社交场景。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

大规模图像编辑数据集

UltraEdit是一个大规模的图像编辑数据集，包含约400万份编辑样本，自动生成，基于指令的图像编辑。它通过利用大型语言模型（LLMs）的创造力和人类评估员的上下文编辑示例，提供了一个系统化的方法来生产大规模和高质量的图像编辑样本。UltraEdit的主要优点包括：1) 它通过利用大型语言模型的创造力和人类评估员的上下文编辑示例，提供了更广泛的编辑指令；2) 其数据源基于真实图像，包括照片和艺术作品，提供了更大的多样性和减少了偏见；3) 它还支持基于区域的编辑，通过高质量、自动生成的区域注释得到增强。

学习野外音频视觉数据的机器人操控

ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中学习机器人操控策略。该模型展示了通过四个接触丰富的操控任务来证明其系统的能力，这些任务需要机器人被动地感知接触事件和模式，或主动地感知物体表面的材料和状态。此外，该系统还能够通过学习多样化的野外人类演示来泛化到未见过的野外环境中。

大规模图像描述数据集，提供超过16M的合成图像描述。

PixelProse是一个由tomg-group-umd创建的大规模数据集，它利用先进的视觉-语言模型Gemini 1.0 Pro Vision生成了超过1600万个详细的图像描述。这个数据集对于开发和改进图像到文本的转换技术具有重要意义，可以用于图像描述生成、视觉问答等任务。