产品库

用于训练大型语言模型的开源合成数据生成管道。

Nemotron-4 340B是NVIDIA发布的一系列开放模型，专为生成合成数据以训练大型语言模型（LLMs）而设计。这些模型经过优化，可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型，形成一个生成合成数据的管道，用于训练和完善LLMs。这些模型在Hugging Face上提供下载，并很快将在ai.nvidia.com上提供，作为NVIDIA NIM微服务的一部分。

生成合成数据，训练和对齐模型的工具

DataDreamer是一个强大的开源Python库，用于提示、生成合成数据和训练工作流。它旨在简单易用，极其高效，且具有研究级质量。DataDreamer支持创建提示工作流、生成合成数据集、对齐模型、微调模型、指令调优模型和模型蒸馏。它具有简单、研究级、高效、可复现的特点，并简化了数据集和模型的共享。

多维奖励模型，助力构建自定义大型语言模型。

Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型，用于合成数据生成管道，帮助研究人员和开发者构建自己的大型语言模型（LLMs）。该模型由Nemotron-4-340B-Base模型和一个线性层组成，能够将响应末尾的标记转换为五个标量值，对应于HelpSteer2属性。它支持最多4096个标记的上下文长度，并能够对每个助手轮次的五个属性进行评分。

以自我为中心的合成数据生成器

EgoGen是一个用于生成以自我为中心的合成数据的系统，它能够模拟头戴设备（HMDs）的相机装置，并从相机佩戴者的视角渲染多种传感器数据。该系统提供了丰富的多模态数据和准确的注释，适用于自我感知任务。

生成合成数据，管理数据，提高数据质量，构建最佳AI项目数据集。

YData是一个数据中心AI平台，提供生成合成数据、管理数据、提高数据质量和构建最佳AI项目数据集的功能。通过YData，您可以生成高质量的合成数据集，对数据进行管理和改进，构建出适用于您的AI项目的最佳数据集。YData还提供数据目录、数据配置和数据测量等功能。YData的定价信息，请联系官方获取。YData定位为数据科学领域的数据质量工具。

合成数据，重塑未来

AuroraAI是由Incribo开发的产品，可以生成安全高质量的训练数据，为您的AI模型加速发展。它可以用于多种用途，包括语音合成、音频分割、人物建模、景观设计、图像处理等。AuroraAI注重隐私保护，成本高效，支持多模态数据生成，具有无限的变化可能性，用户拥有数据所有权，并且可以直接使用。目前处于早期访问阶段，欢迎加入我们的社区。

生成计算机视觉的合成数据集

Datagen是一个可通过平台或API访问的合成图像数据集，可根据需要生成逼真的全身人像和人与物体在不同环境中互动的场景。用户可以通过代码对单个参数进行完全控制，实现人类中心数据集的设计和生成。

高质量合成数据生成与结构化数据提取工具

Bespoke Curator是一个开源项目，提供了一个基于Python的丰富库，用于生成和策展合成数据。它具备高性能优化、智能缓存和故障恢复功能，并且可以与HuggingFace Dataset对象直接协作。Bespoke Curator的主要优点包括其程序性和结构化输出能力，能够设计复杂的数据生成管道，以及通过内置的Curator Viewer实时检查和优化数据生成策略。

从合成数据中学习视觉表示模型

该代码仓库包含从合成图像数据(主要是图片)进行学习的研究,包括StableRep、Scaling和SynCLR三个项目。这些项目研究了如何利用文本到图像模型生成的合成图像数据进行视觉表示模型的训练,并取得了非常好的效果。

用Gretel的API精细调整定制AI模型，并生成与真实数据一样甚至更好的合成数据。随需应变。免费试用。

Gretel.ai是一款为开发者打造的合成数据平台。通过使用Gretel的API，您可以生成匿名和安全的合成数据，以便在保护隐私的同时更快地进行创新。通过训练生成式AI模型，验证模型和用例的质量和隐私分数，以及按需生成所需数量的数据，Gretel.ai使生成合成数据变得简单易用。Gretel的Python库使您可以在几行代码内生成合成数据。您还可以使用Gretel控制台无需编写代码即可开始生成合成数据。

新模型，多种型号，AI驱动合成数据训练

WizardLM-2是WizardLM推出的新一代大型语言模型，包含三种型号：8x22B、70B和7B。该产品采用AI驱动的合成数据训练系统，通过数据分析、加权抽样、渐进式学习和AI互校AI等方法，优化模型性能。它能够自动生成高品质的指令和响应，提供多样化的对话能力，适用于多种编程和开发场景。

Dria-Agent-α是基于Python的大型语言模型工具交互框架。

Dria-Agent-α是Hugging Face推出的大型语言模型（LLM）工具交互框架。它通过Python代码来调用工具，与传统的JSON模式相比，能更充分地发挥LLM的推理能力，使模型能够以更接近人类自然语言的方式进行复杂问题的解决。该框架利用Python的流行性和接近伪代码的语法，使LLM在代理场景中表现更佳。Dria-Agent-α的开发使用了合成数据生成工具Dria，通过多阶段管道生成逼真的场景，训练模型进行复杂问题解决。目前已有Dria-Agent-α-3B和Dria-Agent-α-7B两个模型在Hugging Face上发布。

提升3D内容创造的合成数据框架

Bootstrap3D是一个用于改善3D内容创造的框架，通过合成数据生成技术，解决了高质量3D资产稀缺的问题。它利用2D和视频扩散模型，基于文本提示生成多视角图像，并使用3D感知的MV-LLaVA模型筛选高质量数据，重写不准确的标题。该框架已生成了100万张高质量合成多视角图像，具有密集的描述性标题，以解决高质量3D数据的短缺问题。此外，它还提出了一种训练时间步重排(TTR)策略，利用去噪过程学习多视角一致性，同时保持原始的2D扩散先验。

定制化大型语言模型的训练平台

Entry Point AI是一款训练大型语言模型的平台，可以快速高效地进行训练、管理和评估自定义模型，无需编写代码。它提供了跨平台的训练工具，可以比较模型性能、标注数据集、生成合成数据，并以速度和质量优于基于对话的模型。

可扩展的流媒体语音合成技术，结合大型语言模型。

CosyVoice 2是由阿里巴巴集团的SpeechLab@Tongyi团队开发的语音合成模型，它基于监督离散语音标记，并结合了两种流行的生成模型：语言模型（LMs）和流匹配，实现了高自然度、内容一致性和说话人相似性的语音合成。该模型在多模态大型语言模型（LLMs）中具有重要的应用，特别是在交互体验中，响应延迟和实时因素对语音合成至关重要。CosyVoice 2通过有限标量量化提高语音标记的码本利用率，简化了文本到语音的语言模型架构，并设计了块感知的因果流匹配模型以适应不同的合成场景。它在大规模多语言数据集上训练，实现了与人类相当的合成质量，并具有极低的响应延迟和实时性。

数据合成平台

MOSTLY AI是一家合成数据公司，提供先进的合成数据平台。该平台可生成、合成和创建数据，使数据处理更加灵活和智能。通过使用MOSTLY AI的合成数据，您可以克服真实数据的限制，加速AI、分析和产品开发的进程。平台提供隐私和安全保护，支持各种行业的应用场景。

大型语言模型，支持多语言和代码数据

Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型（LLM），是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练，显著优于大小相似或更小的现有模型。其主要特点包括：支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头（GQA）、2^17词汇量（约128k）、旋转嵌入（theta=1M）。该模型在多种基准测试中表现出色，如HellaSwag（0-shot）、Winogrande（0-shot）、OpenBookQA（0-shot）等。

Steiner 是一个基于合成数据训练的推理模型，旨在探索多种推理路径并自主验证。

Steiner 是由 Yichao 'Peak' Ji 开发的推理模型系列，专注于通过强化学习在合成数据上训练，能够在推理时探索多种路径并自主验证或回溯。该模型的目标是复现 OpenAI o1 的推理能力，并验证推理时的扩展曲线。Steiner-preview 是一个正在进行中的项目，其开源目的是为了分享知识并获取更多真实用户的反馈。尽管该模型在某些基准测试中表现出色，但尚未完全实现 OpenAI o1 的推理扩展能力，因此仍处于开发阶段。

Neosync 是一款开源的数据匿名化和合成数据生成工具，帮助开发者安全地使用生产数据进行本地开发和测试。

Neosync 是一款专注于数据隐私和安全的平台，通过匿名化和合成数据技术，为开发者提供安全、高质量的生产数据副本，用于本地开发和测试。其主要优点包括强大的数据处理能力、灵活的配置选项以及与多种数据库的无缝集成。Neosync 旨在解决传统手动创建模拟数据的低效和不安全问题，通过自动化流程大幅缩短数据准备时间，同时确保数据符合隐私法规如 GDPR、HIPAA 等。该产品提供免费试用，适合需要在本地环境中安全使用生产数据的开发团队。

自动生成数据可视化、生成信息图表格

GPT Spreadsheets Visualization是一个工具，使用大型语言模型（如ChatGPT）自动探索数据、生成可视化和信息图表格。它可以与任何编程语言和可视化库一起使用，例如matplotlib、seaborn、altair、d3等，并与多个大型语言模型提供商（ChatGPT、PaLM、Cohere、Huggingface等）一起使用。它包括四个模块：摘要生成器、目标探索器、可视化生成器和信息图表格生成器。GPT Spreadsheets Visualization利用最先进的大型语言模型的语言建模和代码编写能力，实现了数据摘要、目标生成、可视化生成、信息图表格生成以及对现有可视化的操作、可视化解释、自动修复、推荐等核心自动化可视化功能。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

大型语言模型，高效文本生成。

InternLM2.5-7B-Chat GGUF是一个大型语言模型，专为文本生成而设计。它基于开源框架llama.cpp，支持多种硬件平台的本地和云推理。该模型具有7.74亿参数，采用先进的架构设计，能够提供高质量的文本生成服务。

将大型语言模型的编码能力转换为图像生成能力。

Omost是一个旨在将大型语言模型(LLM)的编码能力转化为图像生成（更准确地说是图像组合）能力的项目。它提供了基于Llama3和Phi3变体的预训练LLM模型，这些模型能够编写代码以使用Omost的虚拟Canvas代理来组合图像视觉内容。Canvas可以由特定的图像生成器实现来实际生成图像。Omost项目背后的技术包括Direct Preference Optimization (DPO)和OpenAI GPT4o的多模态能力。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

多语言大型语言模型，支持多领域文本生成。

XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型，采用混合专家模型（MoE）架构，具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言，特别在中英双语上表现优异。模型使用8K长度的训练样本，并通过精细化的数据采样比例和动态数据切换策略，保证了模型的高质量和多样性。此外，模型还针对MoE架构进行了定制优化，提升了计算效率和整体吞吐量。

使用大型语言模型（LLMs）进行数据清洗和整理的Python库。

databonsai是一个Python库，利用大型语言模型（LLMs）执行数据清洗任务。它提供了一系列工具，包括数据分类、转换和提取，以及对LLM输出的验证，支持批量处理以节省令牌，并且具备重试逻辑以处理速率限制和瞬时错误。

数据定制化服务，助力模型精准微调

Bespoke Labs专注于提供高质量的定制化数据集服务，以支持工程师进行精确的模型微调。公司由Google DeepMind的前员工Mahesh和UT Austin的Alex共同创立，旨在改善高质量数据的获取，这对于推动领域发展至关重要。Bespoke Labs提供的工具和平台，如Minicheck、Evalchemy和Curator，都是围绕数据集的创建和管理设计的，以提高数据的质量和模型的性能。

构建和训练大型语言模型的综合框架

DataComp-LM (DCLM) 是一个为构建和训练大型语言模型（LLMs）而设计的综合性框架，提供了标准化的语料库、基于open_lm框架的高效预训练配方，以及超过50种评估方法。DCLM 支持研究人员在不同的计算规模上实验不同的数据集构建策略，从411M到7B参数模型。DCLM 通过优化的数据集设计显著提高了模型性能，并且已经促成了多个高质量数据集的创建，这些数据集在不同规模上表现优异，超越了所有开放数据集。

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。