产品库

高质量的数据集、工具和概念，用于大型语言模型的微调。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

数据定制化服务，助力模型精准微调

Bespoke Labs专注于提供高质量的定制化数据集服务，以支持工程师进行精确的模型微调。公司由Google DeepMind的前员工Mahesh和UT Austin的Alex共同创立，旨在改善高质量数据的获取，这对于推动领域发展至关重要。Bespoke Labs提供的工具和平台，如Minicheck、Evalchemy和Curator，都是围绕数据集的创建和管理设计的，以提高数据的质量和模型的性能。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

Apollo是一个多语言医学领域的模型、数据集、基准和代码库

Apollo项目由FreedomIntelligence组织维护，旨在通过提供多语言医学领域的大型语言模型（LLMs）来民主化医疗AI，覆盖6亿人。该项目包括模型、数据集、基准测试和相关代码。

收集和梳理垂直领域的开源模型、数据集及评测基准

Awesome-Domain-LLM是一个收集和梳理垂直领域的开源模型、数据集及评测基准的项目。该项目收录了包括医疗、法律、金融、教育等多个领域的开源模型、数据集和评测基准，旨在推动大模型赋能各行各业。用户可以在该项目中找到适合自己领域的模型和数据集，以提高工作效率和质量。

智能语音生成与数据集

ClearCypherAI是一家总部位于美国的AI初创公司，致力于构建前沿的解决方案。我们的产品包括文本转语音（T2A）、语音转文本（A2T）和语音转语音（A2A），支持多语言、多模态、实时语音智能。我们还提供自然语言数据集、威胁评估、AI定制平台等服务。我们的产品具有高度定制性、先进的技术和优质的客户支持。

动漫文本数据集

Refined-Anime-Text是一个针对动漫文本的精炼数据集，由CausalLM提供。该数据集包含了大量的动漫相关文本，适用于训练和优化文本生成模型，特别是在动漫领域的应用。

AI模型数据集平台

始智AI是一家提供AI模型和数据集的平台，致力于为科研单位、企事业单位和个人提供高质量的AI模型和数据集。始智AI的优势在于提供多种类型的AI模型和数据集，包括图像、视频、自然语言处理等，用户可以根据自己的需求选择合适的模型和数据集。始智AI的定价合理，用户可以根据自己的需求选择不同的套餐，满足不同的需求。始智AI的定位是成为AI模型和数据集领域的领先平台。

高效灵活的大规模模型微调工具包

XTuner是一个为大型模型（如InternLM, Llama, Baichuan, Qwen, ChatGLM）设计的高效、灵活且功能齐全的微调工具包。它支持在几乎所有GPU上进行LLM和VLM的预训练和微调，能够自动调度高性能操作，如FlashAttention和Triton内核，以提高训练吞吐量。XTuner与DeepSpeed兼容，支持多种ZeRO优化技术。它还支持各种LLMs和VLM（如LLaVA），并设计了良好的数据管道，能够适应任何格式的数据集。此外，XTuner支持多种训练算法，包括QLoRA、LoRA和全参数微调，使用户能够选择最适合其需求的解决方案。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

数据标注专家 - 为您的训练数据集进行标注

数据标注专家是一个为您提供优质训练数据集的数据标注服务平台。我们拥有专业的团队、先进的标注工具和有效的方法论，致力于帮助您获得更好的训练数据集。我们的服务包括数据标注、算法调优、数据清洗等。无论您是需要图像标注、文本标注还是其他类型的标注，我们都可以满足您的需求。

模型和数据集的集合

Distil-Whisper是一个提供模型和数据集的平台，用户可以在该平台上访问各种预训练模型和数据集，并进行相关的应用和研究。该平台提供了丰富的模型和数据集资源，帮助用户快速开展自然语言处理和机器学习相关工作。

生成合成数据，管理数据，提高数据质量，构建最佳AI项目数据集。

YData是一个数据中心AI平台，提供生成合成数据、管理数据、提高数据质量和构建最佳AI项目数据集的功能。通过YData，您可以生成高质量的合成数据集，对数据进行管理和改进，构建出适用于您的AI项目的最佳数据集。YData还提供数据目录、数据配置和数据测量等功能。YData的定价信息，请联系官方获取。YData定位为数据科学领域的数据质量工具。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

数学文本智能标记数据集

AutoMathText是一个广泛且精心策划的数据集,包含约200GB的数学文本。数据集中的每条内容都被最先进的开源语言模型Qwen进行自主选择和评分,确保高标准的相关性和质量。该数据集特别适合促进数学和人工智能交叉领域的高级研究,作为学习和教授复杂数学概念的教育工具,以及为开发和训练专门处理和理解数学内容的AI模型提供基础。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

表情包视觉标注数据集

emo-visual-data 是一个公开的表情包视觉标注数据集，它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注，收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型，对于理解图像内容和文本描述之间的关系具有重要意义。

首个说唱音乐生成数据集

RapBank是一个专注于说唱音乐的数据集，它从YouTube收集了大量说唱歌曲，并提供了一个精心设计的数据预处理流程。这个数据集对于音乐生成领域具有重要意义，因为它提供了大量的说唱音乐内容，可以用于训练和测试音乐生成模型。RapBank数据集包含94,164首歌曲链接，成功下载了92,371首歌曲，总时长达到5,586小时，覆盖84种不同的语言，其中英语歌曲的总时长最高，占总时长的大约三分之二。

多语言预训练数据集

FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集，覆盖超过1000种语言。该数据集经过精心设计，用于支持自然语言处理(NLP)模型的预训练和微调，特别是在多种语言上。它以其高质量、大规模和多样性而闻名，能够帮助模型学习跨语言的通用特征，提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色，甚至在某些情况下，比一些专门为单一语言设计的数据库表现更好。

基于用户反馈的 LLM 模型对齐技术

C3PO 是一种基于用户反馈的 LLM 模型对齐技术，可以从单个反馈句子中对 LLM 进行调整，避免过度概括化。该技术提供了参考实现、相关基准线和必要组件，方便研究论文中提出的技术。

大规模图像编辑数据集

UltraEdit是一个大规模的图像编辑数据集，包含约400万份编辑样本，自动生成，基于指令的图像编辑。它通过利用大型语言模型（LLMs）的创造力和人类评估员的上下文编辑示例，提供了一个系统化的方法来生产大规模和高质量的图像编辑样本。UltraEdit的主要优点包括：1) 它通过利用大型语言模型的创造力和人类评估员的上下文编辑示例，提供了更广泛的编辑指令；2) 其数据源基于真实图像，包括照片和艺术作品，提供了更大的多样性和减少了偏见；3) 它还支持基于区域的编辑，通过高质量、自动生成的区域注释得到增强。

大规模视频自动配音数据集

ANIM-400K是一个包含超过425,000个对齐的日语和英语动画视频片段的综合数据集，支持自动配音、同声翻译、视频摘要、流派/主题/风格分类等各种视频相关任务。该数据集公开用于研究目的。

开源全栈平台，为打造顶级LLM产品提供支持

Laminar是一个开源的全栈平台，专注于从第一性原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高大型语言模型（LLM）应用的质量。Laminar支持对文本和图像模型的追踪，并且即将支持音频模型。产品的主要优点包括零开销的可观测性、在线评估、数据集构建和LLM链管理。Laminar完全开源，易于自托管，适合需要构建和管理LLM产品的开发者和团队。

高质量英文网页数据集

FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据，来源于CommonCrawl。该数据集专为大型语言模型预训练设计，旨在推动开源模型的发展。数据集经过精心处理和筛选，以确保高质量，适用于各种自然语言处理任务。

生成计算机视觉的合成数据集

Datagen是一个可通过平台或API访问的合成图像数据集，可根据需要生成逼真的全身人像和人与物体在不同环境中互动的场景。用户可以通过代码对单个参数进行完全控制，实现人类中心数据集的设计和生成。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。