产品库

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

高质量英文网页数据集

FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据，来源于CommonCrawl。该数据集专为大型语言模型预训练设计，旨在推动开源模型的发展。数据集经过精心处理和筛选，以确保高质量，适用于各种自然语言处理任务。

Dolphin R1是一个用于训练推理模型的数据集，包含80万条样本。

Dolphin R1是一个由Cognitive Computations团队创建的数据集，旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源，有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持，这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布，为自然语言处理领域的研究和开发提供了重要的基础，推动了相关技术的发展。

一款高效率的2.4亿参数轻量级语言模型

YuLan-Mini是由中国人民大学AI Box团队开发的一款轻量级语言模型，具有2.4亿参数，尽管仅使用1.08T的预训练数据，但其性能可与使用更多数据训练的行业领先模型相媲美。该模型特别擅长数学和代码领域，为了促进可复现性，团队将开源相关的预训练资源。

多语言预训练数据集

FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集，覆盖超过1000种语言。该数据集经过精心设计，用于支持自然语言处理(NLP)模型的预训练和微调，特别是在多种语言上。它以其高质量、大规模和多样性而闻名，能够帮助模型学习跨语言的通用特征，提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色，甚至在某些情况下，比一些专门为单一语言设计的数据库表现更好。

大规模多语言偏好混合数据集

OLMo 2 1124 13B Preference Mixture是一个由Hugging Face提供的大型多语言数据集，包含377.7k个生成对，用于训练和优化语言模型，特别是在偏好学习和指令遵循方面。该数据集的重要性在于它提供了一个多样化和大规模的数据环境，有助于开发更加精准和个性化的语言处理技术。

高质量数据集，用于OLMo2训练的第二阶段。

DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集，用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据，旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

表情包视觉标注数据集

emo-visual-data 是一个公开的表情包视觉标注数据集，它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注，收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型，对于理解图像内容和文本描述之间的关系具有重要意义。

高效的检索增强生成研究工具包

FlashRAG是一个Python工具包，用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架，包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件，允许灵活组装复杂流程。此外，FlashRAG还提供了高效的预处理阶段和优化的执行，支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

一个由真实世界用户与ChatGPT交互构成的语料库。

WildChat数据集是一个由100万真实世界用户与ChatGPT交互组成的语料库，特点是语言多样和用户提示的多样性。该数据集用于微调Meta的Llama-2，创建了WildLlama-7b-user-assistant聊天机器人，能够预测用户提示和助手回应。

MNBVC是一个超大规模的中文语料集，对标chatGPT训练的40T数据

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个旨在为AI提供丰富中文语料的项目。它不仅包括主流文化内容，还涵盖了小众文化和网络用语。数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等多种形式的纯文本中文数据。

3D人物生成模型

En3D是一个提供先进自然语言处理模型的平台。他们提供了各种各样的模型和数据集，以帮助开发者构建和部署自然语言处理应用。En3D平台的优势在于提供了大量预训练模型和方便的部署工具，使得开发者能够快速、高效地构建自然语言处理应用。

模型和数据集的集合

Distil-Whisper是一个提供模型和数据集的平台，用户可以在该平台上访问各种预训练模型和数据集，并进行相关的应用和研究。该平台提供了丰富的模型和数据集资源，帮助用户快速开展自然语言处理和机器学习相关工作。

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

AI模型库与数据集平台

I2VGen-XL是一款AI模型库与数据集平台，提供丰富的AI模型和数据集，帮助用户快速构建AI应用。平台支持多种AI任务，包括图像识别、自然语言处理、语音识别等。用户可以通过平台上传、下载和分享模型和数据集，也可以使用平台提供的API接口进行调用。平台提供免费和付费两种服务，用户可以根据需求选择适合自己的服务。

基于自然语言输入的图像修复算法

Inst-Inpaint是一种图像修复算法，可以根据自然语言输入估计要删除的对象并同时删除它。该产品提供了一个名为GQA-Inpaint的数据集，以及一种名为Inst-Inpaint的新型修复框架，可以根据文本提示从图像中删除对象。该产品提供了各种GAN和扩散基线，并在合成和真实图像数据集上运行实验。该产品提供了不同的评估指标，以衡量模型的质量和准确性，并显示出显著的定量和定性改进。

高效的视觉编码技术，提升视觉语言模型性能。

FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。它通过创新的 FastViTHD 混合视觉编码器，减少了高分辨率图像的编码时间和输出的 token 数量，使得模型在速度和精度上表现出色。FastVLM 的主要定位是为开发者提供强大的视觉语言处理能力，适用于各种应用场景，尤其在需要快速响应的移动设备上表现优异。

利用AI技术快速生成惊艳图片

AI图片生成器是一款免费工具，通过FLUX 1 Dev模型，从文本描述中生成高质量图像，无需注册或使用限制。具有优秀的图像质量、快速生成速度和完全隐私保护。

Darvin是一款能够通过描述快速创建跨平台应用的工具。

Darvin是一款革命性的应用开发工具，通过简单的描述即可生成跨平台应用，极大地提高开发效率。Darvin背后基于先进的自然语言处理技术，让任何人都能轻松创建功能强大的应用。

一个基于深度学习的图像和视频描述模型。

Describe Anything 模型（DAM）能够处理图像或视频的特定区域，并生成详细描述。它的主要优点在于可以通过简单的标记（点、框、涂鸦或掩码）来生成高质量的本地化描述，极大地提升了计算机视觉领域的图像理解能力。该模型由 NVIDIA 和多所大学联合开发，适合用于研究、开发和实际应用中。

一个高效的强化学习框架，用于训练推理和搜索引擎调用的语言模型。

Search-R1 是一个强化学习框架，旨在训练能够进行推理和调用搜索引擎的语言模型（LLMs）。它基于 veRL 构建，支持多种强化学习方法和不同的 LLM 架构，使得在工具增强的推理研究和开发中具备高效性和可扩展性。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

强大的语言模型，支持多种自然语言处理任务。

GLM-4-32B 是一个高性能的生成语言模型，旨在处理多种自然语言任务。它通过深度学习技术训练而成，能够生成连贯的文本和回答复杂问题。该模型适用于学术研究、商业应用和开发者，价格合理，定位精准，是自然语言处理领域的领先产品。

亚马逊全新基础模型理解语气、语调与节奏，提升人机对话自然度。

Amazon Nova Sonic 是一款前沿的基础模型，能够整合语音理解和生成，提升人机对话的自然流畅度。该模型克服了传统语音应用中的复杂性，通过统一的架构实现更深层次的交流理解，适用于多个行业的 AI 应用，具有重要的商业价值。随着人工智能技术的不断发展，Nova Sonic 将为客户提供更好的语音交互体验，提升服务效率。

一个强大的文本生成模型，适用于多种对话应用。

DeepSeek-V3-0324 是一个先进的文本生成模型，具有 685 亿参数，采用 BF16 和 F32 张量类型，能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性，使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具，帮助他们在文本生成领域取得突破。

一款 21B 通用推理模型，适合低延迟应用。

Reka Flash 3 是一款从零开始训练的 21 亿参数的通用推理模型，利用合成和公共数据集进行监督微调，结合基于模型和基于规则的奖励进行强化学习。该模型在低延迟和设备端部署应用中表现优异，具有较强的研究能力。它目前是同类开源模型中的最佳选择，适合于各种自然语言处理任务和应用场景。

o1-pro 模型通过强化学习提升复杂推理能力，提供更优答案。

o1-pro 模型是一种先进的人工智能语言模型，专为提供高质量文本生成和复杂推理设计。其在推理和响应准确性上表现优越，适合需要高精度文本处理的应用场景。该模型的定价基于使用的 tokens，输入每百万 tokens 价格为 150 美元，输出每百万 tokens 价格为 600 美元，适合企业和开发者在其应用中集成高效的文本生成能力。