产品库

TOFU数据集为大型语言模型的虚构遗忘任务提供基准。

TOFU数据集包含根据不存在的200位作者虚构生成的问答对,用于评估大型语言模型在真实任务上的遗忘性能。该任务的目标是遗忘在各种遗忘集比例上经过微调的模型。该数据集采用问答格式,非常适合用于流行的聊天模型,如Llama2、Mistral或Qwen。但是,它也适用于任何其他大型语言模型。对应的代码库是针对Llama2聊天和Phi-1.5模型编写的,但可以轻松地适配到其他模型。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

Apollo是一个多语言医学领域的模型、数据集、基准和代码库

Apollo项目由FreedomIntelligence组织维护，旨在通过提供多语言医学领域的大型语言模型（LLMs）来民主化医疗AI，覆盖6亿人。该项目包括模型、数据集、基准测试和相关代码。

收集和梳理垂直领域的开源模型、数据集及评测基准

Awesome-Domain-LLM是一个收集和梳理垂直领域的开源模型、数据集及评测基准的项目。该项目收录了包括医疗、法律、金融、教育等多个领域的开源模型、数据集和评测基准，旨在推动大模型赋能各行各业。用户可以在该项目中找到适合自己领域的模型和数据集，以提高工作效率和质量。

模型和数据集的集合

Distil-Whisper是一个提供模型和数据集的平台，用户可以在该平台上访问各种预训练模型和数据集，并进行相关的应用和研究。该平台提供了丰富的模型和数据集资源，帮助用户快速开展自然语言处理和机器学习相关工作。

AI模型数据集平台

始智AI是一家提供AI模型和数据集的平台，致力于为科研单位、企事业单位和个人提供高质量的AI模型和数据集。始智AI的优势在于提供多种类型的AI模型和数据集，包括图像、视频、自然语言处理等，用户可以根据自己的需求选择合适的模型和数据集。始智AI的定价合理，用户可以根据自己的需求选择不同的套餐，满足不同的需求。始智AI的定位是成为AI模型和数据集领域的领先平台。

多语言预训练数据集

FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集，覆盖超过1000种语言。该数据集经过精心设计，用于支持自然语言处理(NLP)模型的预训练和微调，特别是在多种语言上。它以其高质量、大规模和多样性而闻名，能够帮助模型学习跨语言的通用特征，提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色，甚至在某些情况下，比一些专门为单一语言设计的数据库表现更好。

一个用于训练高性能奖励模型的开源数据集。

HelpSteer2是由NVIDIA发布的一个开源数据集，旨在支持训练能够对齐模型以使其更加有帮助、事实正确和连贯，同时在响应的复杂性和冗余度方面具有可调节性。该数据集与Scale AI合作创建，当与Llama 3 70B基础模型一起使用时，在RewardBench上达到了88.8%的表现，是截至2024年6月12日最佳的奖励模型之一。

高性能的英文学术基准语言模型

OLMo 2 13B是由Allen Institute for AI (Ai2)开发的一款基于Transformer的自回归语言模型，专注于英文学术基准测试。该模型在训练过程中使用了高达5万亿个token，展现出与同等规模的全开放模型相媲美或更优的性能，并在英语学术基准上与Meta和Mistral的开放权重模型竞争。OLMo 2 13B的发布包括所有代码、检查点、日志和相关的训练细节，旨在推动语言模型的科学研究。

AI模型库与数据集平台

I2VGen-XL是一款AI模型库与数据集平台，提供丰富的AI模型和数据集，帮助用户快速构建AI应用。平台支持多种AI任务，包括图像识别、自然语言处理、语音识别等。用户可以通过平台上传、下载和分享模型和数据集，也可以使用平台提供的API接口进行调用。平台提供免费和付费两种服务，用户可以根据需求选择适合自己的服务。

用于评估大型语言模型事实性的最新基准

FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。

衡量语言模型回答事实性问题能力的基准测试

SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

多模态多视角视频数据集和基准挑战

Ego-Exo4D 是一个多模态多视角视频数据集和基准挑战，以捕捉技能人类活动的自我中心和外部中心视频为中心。它支持日常生活活动的多模态机器感知研究。该数据集由 839 位佩戴摄像头的志愿者在全球 13 个城市收集，捕捉了 1422 小时的技能人类活动视频。该数据集提供了专家评论、参与者提供的教程样式的叙述和一句话的原子动作描述等三种自然语言数据集，配对视频使用。Ego-Exo4D 还捕获了多视角和多种感知模态，包括多个视角、七个麦克风阵列、两个 IMUs、一个气压计和一个磁强计。数据集记录时严格遵守隐私和伦理政策，参与者的正式同意。欲了解更多信息，请访问官方网站。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

大规模多语言文本数据集

allenai/tulu-3-sft-olmo-2-mixture是一个大规模的多语言数据集，包含了用于训练和微调语言模型的多样化文本样本。该数据集的重要性在于它为研究人员和开发者提供了丰富的语言资源，以改进和优化多语言AI模型的性能。产品背景信息包括其由多个来源的数据混合而成，适用于教育和研究领域，且遵循特定的许可协议。

构建无代码AI模型和数据集

Riku.AI是一款无代码AI构建工具，可用于创建AI模型和数据集。通过与现有工具的集成，API或公共共享链接，轻松使用AI。为每个人提供可访问的AI。

大规模图像描述数据集，提供超过16M的合成图像描述。

PixelProse是一个由tomg-group-umd创建的大规模数据集，它利用先进的视觉-语言模型Gemini 1.0 Pro Vision生成了超过1600万个详细的图像描述。这个数据集对于开发和改进图像到文本的转换技术具有重要意义，可以用于图像描述生成、视觉问答等任务。

大规模多语言偏好混合数据集

OLMo 2 1124 13B Preference Mixture是一个由Hugging Face提供的大型多语言数据集，包含377.7k个生成对，用于训练和优化语言模型，特别是在偏好学习和指令遵循方面。该数据集的重要性在于它提供了一个多样化和大规模的数据环境，有助于开发更加精准和个性化的语言处理技术。

大规模人脸文本-视频数据集

CelebV-Text是一个大规模、高质量、多样化的人脸文本-视频数据集，旨在促进人脸文本-视频生成任务的研究。数据集包含70,000个野外人脸视频剪辑，每个视频剪辑都配有20个文本，涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向。CelebV-Text通过全面的统计分析验证了其在视频、文本和文本-视频相关性方面的优越性，并构建了一个基准来标准化人脸文本-视频生成任务的评估。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

数据库查询的自然语言处理基准测试

TAG-Bench是一个用于评估和研究自然语言处理模型在回答数据库查询方面性能的基准测试。它基于BIRD Text2SQL基准测试构建，并通过增加对世界知识或超越数据库中明确信息的语义推理要求，提高了查询的复杂性。TAG-Bench旨在推动AI和数据库技术的融合，通过模拟真实的数据库查询场景，为研究者提供了一个挑战现有模型的平台。

高质量开放数据集平台，为大型模型提供数据支持

OpenDataLab是一个开源数据平台，提供高质量的开放数据集，支持大型AI模型的训练和应用。平台容量巨大，包含5500多个数据集，涵盖1500多种任务类型，总数据量达到80TB以上，下载量超过1064500次。平台提供30多种应用场景、20多种标注类型和5种数据类型，支持数据结构、标注格式和在线可视化的统一标准，实现数据的开放共享和智能搜索，提供结构化的数据信息和可视化的注释和数据分布，方便用户阅读和筛选。平台提供快速下载服务，无需VPN即可从国内云端快速下载数据。

高质量的数据集、工具和概念，用于大型语言模型的微调。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

大规模多模态预训练数据集

allenai/olmo-mix-1124数据集是由Hugging Face提供的一个大规模多模态预训练数据集，主要用于训练和优化自然语言处理模型。该数据集包含了大量的文本信息，覆盖了多种语言，并且可以用于各种文本生成任务。它的重要性在于提供了一个丰富的资源，使得研究人员和开发者能够训练出更加精准和高效的语言模型，进而推动自然语言处理技术的发展。

智能语音生成与数据集

ClearCypherAI是一家总部位于美国的AI初创公司，致力于构建前沿的解决方案。我们的产品包括文本转语音（T2A）、语音转文本（A2T）和语音转语音（A2A），支持多语言、多模态、实时语音智能。我们还提供自然语言数据集、威胁评估、AI定制平台等服务。我们的产品具有高度定制性、先进的技术和优质的客户支持。

表情包视觉标注数据集

emo-visual-data 是一个公开的表情包视觉标注数据集，它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注，收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型，对于理解图像内容和文本描述之间的关系具有重要意义。

高质量的AI客服数据集，训练智能客服

Botdocs是一系列高质量的数据集，用于训练人工智能处理常见的客服互动。它可用于训练大型语言模型、意图分类器和自然语言理解引擎，以帮助企业自动化常见的客服互动，并提供对客户意图的理解和提供卓越的客户体验。Botdocs以CSV、JSONL和Dialogflow（ES）格式提供，以满足AI开发人员和系统对大型语言模型、意图分类器和自然语言理解引擎的不同需求。