产品库

高质量的数据集、工具和概念，用于大型语言模型的微调。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

通过与LLM对话构建持久知识，存于本地Markdown文件

Basic Memory是一款知识管理系统，借助与LLM的自然对话构建持久知识，并保存于本地Markdown文件。它解决了多数LLM互动短暂、知识难留存的问题。其优点包括本地优先、双向读写、结构简单、可形成知识图谱、兼容现有编辑器、基础设施轻量。定位为帮助用户打造个人知识库，采用AGPL - 3.0许可证，无明确价格信息。

一个轻量级且强大的多智能体工作流框架

OpenAI Agents SDK是一个用于构建多智能体工作流的框架。它允许开发者通过配置指令、工具、安全机制和智能体之间的交接来创建复杂的自动化流程。该框架支持与任何符合OpenAI Chat Completions API格式的模型集成，具有高度的灵活性和可扩展性。它主要用于编程场景中，帮助开发者快速构建和优化智能体驱动的应用程序。

一个关于大型语言模型（LLM）后训练方法的教程、调查和指南资源库。

Awesome-LLM-Post-training 是一个专注于大型语言模型（LLM）后训练方法的资源库。它提供了关于 LLM 后训练的深入研究，包括教程、调查和指南。该资源库基于论文《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》，旨在帮助研究人员和开发者更好地理解和应用 LLM 后训练技术。该资源库免费开放，适合学术研究和工业应用。

一个用于从文本和图像中提取结构化数据的代理API，基于LLMs实现。

l1m是一个强大的工具，它通过代理的方式利用大型语言模型（LLMs）从非结构化的文本或图像中提取结构化的数据。这种技术的重要性在于它能够将复杂的信息转化为易于处理的格式，从而提高数据处理的效率和准确性。l1m的主要优点包括无需复杂的提示工程、支持多种LLM模型以及内置缓存功能等。它由Inferable公司开发，旨在为用户提供一个简单、高效且灵活的数据提取解决方案。l1m提供免费试用，适合需要从大量非结构化数据中提取有价值信息的企业和开发者。

为LLM训练和推理生成网站整合文本文件的工具

LLMs.txt生成器是一个由Firecrawl提供支持的在线工具，旨在帮助用户从网站生成用于LLM训练和推理的整合文本文件。它通过整合网页内容，为训练大型语言模型提供高质量的文本数据，从而提高模型的性能和准确性。该工具的主要优点是操作简单、高效，能够快速生成所需的文本文件。它主要面向需要大量文本数据进行模型训练的开发者和研究人员，为他们提供了一种便捷的解决方案。

基于LLM的文章翻译工具，自动翻译并创建多语言Markdown文件。

hugo-translator是一个基于大型语言模型（LLM）驱动的文章翻译工具。它能够自动将文章从一种语言翻译为另一种语言，并生成新的Markdown文件。该工具支持OpenAI和DeepSeek的模型，用户可以通过简单的配置和命令快速完成翻译任务。它主要面向使用Hugo静态网站生成器的用户，帮助他们快速实现多语言内容的生成和管理。产品目前免费开源，旨在提高内容创作者的效率，降低多语言内容发布的门槛。

基于LLM的代理框架，用于在代码库中执行大规模代码迁移。

Aviator Agents 是一款专注于代码迁移的编程工具。它通过集成LLM技术，能够直接与GitHub连接，支持多种模型，如Open-AI o1、Claude Sonnet 3.5、Llama 3.1和DeepSeek R1。该工具可以自动执行代码迁移任务，包括搜索代码依赖、优化代码、生成PR等，极大提高了代码迁移的效率和准确性。它主要面向开发团队，帮助他们高效完成代码迁移工作，节省时间和精力。

Level-Navi Agent是一个无需训练即可使用的框架，利用大语言模型进行深度查询理解和精准搜索。

Level-Navi Agent是一个开源的通用网络搜索代理框架，能够将复杂问题分解并逐步搜索互联网上的信息，直至回答用户问题。它通过提供Web24数据集，覆盖金融、游戏、体育、电影和事件等五大领域，为评估模型在搜索任务上的表现提供了基准。该框架支持零样本和少样本学习，为大语言模型在中文网络搜索代理领域的应用提供了重要参考。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

一个利用人工智能帮助学习和贡献美国手语（ASL）的平台。

Signs 是一个由 NVIDIA 支持的创新平台，旨在通过人工智能技术帮助用户学习美国手语（ASL），并允许用户通过录制手语视频贡献数据，以构建全球最大的开放手语数据集。该平台利用 AI 实时反馈和 3D 动画技术，为初学者提供友好的学习体验，同时为手语社区提供数据支持，推动手语学习的普及和多样性。平台计划在 2025 年下半年公开数据集，以促进更多相关技术和服务的开发。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

一个用于比较大型语言模型在总结短文档时产生幻觉的排行榜。

该产品是一个由Vectara开发的开源项目，用于评估大型语言模型（LLM）在总结短文档时的幻觉产生率。它使用了Vectara的Hughes幻觉评估模型（HHEM-2.1），通过检测模型输出中的幻觉来计算排名。该工具对于研究和开发更可靠的LLM具有重要意义，能够帮助开发者了解和改进模型的准确性。

VisionAgent是一个用于生成代码以解决视觉任务的库，支持多种LLM提供商。

VisionAgent是一个强大的工具，它利用人工智能和大语言模型（LLM）来生成代码，帮助用户快速解决视觉任务。该工具的主要优点是能够自动将复杂的视觉任务转化为可执行的代码，极大地提高了开发效率。VisionAgent支持多种LLM提供商，用户可以根据自己的需求选择不同的模型。它适用于需要快速开发视觉应用的开发者和企业，能够帮助他们在短时间内实现功能强大的视觉解决方案。VisionAgent目前是免费的，旨在为用户提供高效、便捷的视觉任务处理能力。

OmniParser V2 是一种将任何 LLM 转化为计算机使用代理的技术。

OmniParser V2 是微软研究团队开发的一种先进的人工智能模型，旨在将大型语言模型（LLM）转化为能够理解和操作图形用户界面（GUI）的智能代理。该技术通过将界面截图从像素空间转换为可解释的结构化元素，使 LLM 能够更准确地识别可交互图标，并在屏幕上执行预定动作。OmniParser V2 在检测小图标和快速推理方面取得了显著进步，其结合 GPT-4o 在 ScreenSpot Pro 基准测试中达到了 39.6% 的平均准确率，远超原始模型的 0.8%。此外，OmniParser V2 还提供了 OmniTool 工具，支持与多种 LLM 结合使用，进一步推动了 GUI 自动化的发展。

非结构化数据处理平台，助力企业快速构建行业数据集并集成到LLM RAG知识库

Supametas.AI是一款专注于非结构化数据处理的平台，旨在帮助企业快速将音频、视频、图片、文本等多种格式的数据转化为适用于LLM RAG知识库的结构化数据。该平台通过提供多种数据采集方式和强大的预处理功能，极大地简化了数据处理流程，降低了企业构建行业数据集的门槛。其无缝集成到LLM RAG知识库的能力，使得企业能够更高效地利用数据驱动业务发展。Supametas.AI的定位是成为行业领先的LLM数据结构化处理开发平台，满足企业在数据隐私和灵活性方面的需求。

Animagine XL 4.0 是一款专注于动漫风格的Stable Diffusion XL模型，专为生成高质量动漫图像而设计。

Animagine XL 4.0 是一款基于Stable Diffusion XL 1.0微调的动漫主题生成模型。它使用了840万张多样化的动漫风格图像进行训练，训练时长达到2650小时。该模型专注于通过文本提示生成和修改动漫主题图像，支持多种特殊标签，可控制图像生成的不同方面。其主要优点包括高质量的图像生成、丰富的动漫风格细节以及对特定角色和风格的精准还原。该模型由Cagliostro Research Lab开发，采用CreativeML Open RAIL++-M许可证，允许商业使用和修改。

基于LLM和LangChain的全栈应用，用于检索股票数据和新闻

该产品是一个全栈应用，通过LLM（大型语言模型）和LangChain技术，结合LangGraph实现股票数据和新闻的检索与分析。它利用ChromaDB作为向量数据库，支持语义搜索和数据可视化，为用户提供股票市场的深入洞察。该产品主要面向投资者、金融分析师和数据科学家，帮助他们快速获取和分析股票相关信息，辅助决策。产品目前开源免费，适合需要高效处理金融数据和新闻的用户。

Dolphin R1是一个用于训练推理模型的数据集，包含80万条样本。

Dolphin R1是一个由Cognitive Computations团队创建的数据集，旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源，有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持，这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布，为自然语言处理领域的研究和开发提供了重要的基础，推动了相关技术的发展。

一个基于AI的深度研究工具，能够持续搜索信息直至满足用户查询需求。

OpenDeepResearcher 是一个基于 AI 的研究工具，通过结合 SERPAPI、Jina 和 OpenRouter 等服务，能够根据用户输入的查询主题，自动进行多轮迭代搜索，直至收集到足够的信息并生成最终报告。该工具的核心优势在于其高效的异步处理能力、去重功能以及强大的 LLM 决策支持，能够显著提升研究效率。它主要面向需要进行大量文献搜索和信息整理的科研人员、学生以及相关领域的专业人士，帮助他们快速获取高质量的研究资料。该工具目前以开源形式提供，用户可以根据需要自行部署和使用。

一个基于文本生成图像的预训练模型，具有80亿参数和Apache 2.0开源许可。

Flex.1-alpha 是一个强大的文本到图像生成模型，基于80亿参数的修正流变换器架构。它继承了FLUX.1-schnell的特性，并通过训练指导嵌入器，使其无需CFG即可生成图像。该模型支持微调，并且具有开放源代码许可（Apache 2.0），适合在多种推理引擎中使用，如Diffusers和ComfyUI。其主要优点包括高效生成高质量图像、灵活的微调能力和开源社区支持。开发背景是为了解决图像生成模型的压缩和优化问题，并通过持续训练提升模型性能。

一个由LLM驱动的数据处理系统。

DocETL是一个强大的系统，用于处理和分析大量文本数据。它通过利用大型语言模型（LLM）的能力，能够自动优化数据处理流程，并将LLM与非LLM操作无缝集成。该系统的主要优点包括其声明式的YAML定义方式，使得用户可以轻松地定义复杂的数据处理流程。此外，DocETL还提供了一个交互式的playground，方便用户进行提示工程的实验。产品背景信息显示，DocETL在2024年12月推出了DocWrangler，这是一个新的交互式playground，旨在简化提示工程。价格方面，虽然没有明确标出，但从提供的使用案例来看，运行和优化数据处理流程的成本相对较低。产品定位主要是为需要处理大量文本数据并从中提取有价值信息的用户提供服务。

一个开源的交互式开发环境，用于构建和优化基于LLM的数据处理管道。

DocWrangler是一个开源的交互式开发环境，旨在简化构建和优化基于大型语言模型（LLM）的数据处理管道的过程。它提供即时反馈、可视化探索工具和AI辅助功能，帮助用户更容易地探索数据、实验不同操作并根据发现优化管道。该产品基于DocETL框架构建，适用于处理非结构化数据，如文本分析、信息提取等。它不仅降低了LLM数据处理的门槛，还提高了工作效率，使用户能够更有效地利用LLM的强大功能。

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。

FlashInfer是一个专为大型语言模型（LLM）服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能，显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API，易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求，提供更高效、更可靠的推理支持。

用于生成LLM训练和推理的网站内容整合文本文件的工具

llmstxt-generator 是一个用于生成LLM（大型语言模型）训练和推理所需的网站内容整合文本文件的工具。它通过爬取网站内容，将其合并成一个文本文件，支持生成标准的llms.txt和完整的llms-full.txt版本。该工具由firecrawl_dev提供支持进行网页爬取，并使用GPT-4-mini进行文本处理。其主要优点包括无需API密钥即可使用基本功能，同时提供Web界面和API访问，方便用户快速生成所需的文本文件。

将本地文件转换为大型语言模型的结构化提示工具

CodebaseToPrompt 是一个简单工具，能够将本地目录转换为大型语言模型（LLM）的结构化提示。它帮助用户选择需要包含或忽略的文件，然后以可以直接复制到 LLM 中的格式输出，适用于代码审查、分析或文档生成。该工具的主要优点在于其交互性强、操作简便，并且能够在浏览器中直接使用，无需上传任何文件，确保了数据的安全性和隐私性。产品背景信息显示，它是由 path-find-er 团队开发，旨在提高开发者在使用 LLM 进行代码相关任务时的效率。

大规模机器人学习数据集，推动多用途机器人策略发展。

AGIBOT WORLD是一个专为推进多用途机器人策略而设计的大规模机器人学习数据集。它包括基础模型、基准测试和一个生态系统，旨在为学术界和工业界提供高质量的机器人数据，为具身AI铺平道路。该数据集包含100多台机器人的100万条以上轨迹，覆盖100多个真实世界场景，涉及精细操控、工具使用和多机器人协作等任务。它采用尖端的多模态硬件，包括视觉触觉传感器、耐用的6自由度灵巧手和具有全身控制的移动双臂机器人，支持模仿学习、多智能体协作等研究。AGIBOT WORLD的目标是改变大规模机器人学习，推进可扩展的机器人系统生产，是一个开源平台，邀请研究人员和实践者共同塑造具身AI的未来。