产品库

连接自定义数据源到大型语言模型的数据框架

LlamaIndex是一个简单、灵活的数据框架，用于连接自定义数据源到大型语言模型。它提供了关键工具，用于增强您的LLM应用程序的数据。包括数据摄取、数据索引和查询接口。可以轻松构建强大的终端用户应用程序，如文档问答、数据增强聊天机器人、知识代理、结构化分析等。支持连接非结构化、结构化或半结构化的数据源。

开源数据摄取API服务

Chunkr是一个开源的数据摄取API服务，专注于文档布局分析、OCR和分块处理，将文档转换成适合RAG和LLM的数据格式。支持PDF、DOC、PPT和XLS文件。该服务能够将文本、表格、图像和手写内容进行结构化处理，为人工智能和机器学习应用提供数据支持。它由Lumina AI Inc.维护，并且提供免费试用和定价方案。

动态记忆框架，支持大型语言模型和代理。

RedCache-AI是一个为大型语言模型和代理设计的动态记忆框架，它允许开发者构建从AI驱动的约会应用到医疗诊断平台等广泛的应用。它解决了现有解决方案昂贵、封闭源代码或缺乏对外部依赖的广泛支持的问题。

构建和训练大型语言模型的综合框架

DataComp-LM (DCLM) 是一个为构建和训练大型语言模型（LLMs）而设计的综合性框架，提供了标准化的语料库、基于open_lm框架的高效预训练配方，以及超过50种评估方法。DCLM 支持研究人员在不同的计算规模上实验不同的数据集构建策略，从411M到7B参数模型。DCLM 通过优化的数据集设计显著提高了模型性能，并且已经促成了多个高质量数据集的创建，这些数据集在不同规模上表现优异，超越了所有开放数据集。

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

ChatGPT 数据与分析是一个全面的资源、材料和指南目录，旨在帮助您掌握人工智能的艺术。

ChatGPT 数据与分析是一个包含资源、材料和指南的综合目录，涵盖了与 ChatGPT 相关的内容。该目录旨在帮助您提高 AI 技能。本书提供了 ChatGPT 的提示，可帮助您释放创造力，提高工作效率。提示清晰简明。本目录中的所有材料都经过精心策划，确保来源可靠和权威，为您提供高质量的信息和指导。

大型语言模型，支持多语言和代码数据

Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型（LLM），是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练，显著优于大小相似或更小的现有模型。其主要特点包括：支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头（GQA）、2^17词汇量（约128k）、旋转嵌入（theta=1M）。该模型在多种基准测试中表现出色，如HellaSwag（0-shot）、Winogrande（0-shot）、OpenBookQA（0-shot）等。

基于大型语言模型的多智能体应用开发框架

agentUniverse 是一个基于大型语言模型的多智能体应用开发框架，提供了构建单一智能体和多智能体协作机制的所有必需组件。通过模式工厂，允许开发者构建和自定义多智能体协作模式，轻松构建多智能体应用，并分享不同技术与业务领域的模式实践。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

使用大型语言模型（LLMs）进行数据清洗和整理的Python库。

databonsai是一个Python库，利用大型语言模型（LLMs）执行数据清洗任务。它提供了一系列工具，包括数据分类、转换和提取，以及对LLM输出的验证，支持批量处理以节省令牌，并且具备重试逻辑以处理速率限制和瞬时错误。

专为智能手机设计的高效大型语言模型推理框架

PowerInfer-2是一个为智能手机特别优化的推理框架，支持高达47B参数的MoE模型，实现了每秒11.68个token的推理速度，比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术，显著减少了内存使用，并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景，以增强数据隐私和性能。

Dria-Agent-α是基于Python的大型语言模型工具交互框架。

Dria-Agent-α是Hugging Face推出的大型语言模型（LLM）工具交互框架。它通过Python代码来调用工具，与传统的JSON模式相比，能更充分地发挥LLM的推理能力，使模型能够以更接近人类自然语言的方式进行复杂问题的解决。该框架利用Python的流行性和接近伪代码的语法，使LLM在代理场景中表现更佳。Dria-Agent-α的开发使用了合成数据生成工具Dria，通过多阶段管道生成逼真的场景，训练模型进行复杂问题解决。目前已有Dria-Agent-α-3B和Dria-Agent-α-7B两个模型在Hugging Face上发布。

高质量开放数据集平台，为大型模型提供数据支持

OpenDataLab是一个开源数据平台，提供高质量的开放数据集，支持大型AI模型的训练和应用。平台容量巨大，包含5500多个数据集，涵盖1500多种任务类型，总数据量达到80TB以上，下载量超过1064500次。平台提供30多种应用场景、20多种标注类型和5种数据类型，支持数据结构、标注格式和在线可视化的统一标准，实现数据的开放共享和智能搜索，提供结构化的数据信息和可视化的注释和数据分布，方便用户阅读和筛选。平台提供快速下载服务，无需VPN即可从国内云端快速下载数据。

定制化大型语言模型的训练平台

Entry Point AI是一款训练大型语言模型的平台，可以快速高效地进行训练、管理和评估自定义模型，无需编写代码。它提供了跨平台的训练工具，可以比较模型性能、标注数据集、生成合成数据，并以速度和质量优于基于对话的模型。

大型语言模型，支持多语言和编程语言文本生成。

Nemotron-4-340B-Base是由NVIDIA开发的大型语言模型，拥有3400亿参数，支持4096个token的上下文长度，适用于生成合成数据，帮助研究人员和开发者构建自己的大型语言模型。模型经过9万亿token的预训练，涵盖50多种自然语言和40多种编程语言。NVIDIA开放模型许可允许商业使用和派生模型的创建与分发，不声明对使用模型或派生模型生成的任何输出拥有所有权。

保护您的身份和数据免受大型语言模型隐私泄露威胁

ZeroTrusted.ai是一家先驱性的公司,专门从事生成式人工智能安全领域。他们的LLM防火墙产品旨在保护您免受由于语言模型训练数据集可能包含您的敏感信息而带来的数据曝光和被不道德的语言模型提供商或恶意行为者利用的风险。该产品提供匿名功能以保护提示语隐私,通过ztPolicyServer和ztDataPrivacy确保数据安全和隐私,优化提示语和验证结果以提高准确性并防止模型编造,并支持与LangChain、Zapier等多种工具集成。该产品分为免费版、标准版、商业版和企业版等多个定价方案,功能和服务级别有所不同。ZeroTrusted.ai致力于简化安全合规,通过云无关的零信任解决方案、动态自适应加密等技术最大程度地保护应用程序和数据。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

易用、灵活、高效的开源大模型应用开发框架。

Agently是一个开源的大模型应用开发框架，旨在帮助开发者快速构建基于大语言模型的AI agent原生应用。它通过提供一系列工具和接口，简化了与大型语言模型的交互过程，使得开发者可以更专注于业务逻辑的实现。Agently框架支持多种模型，易于安装和配置，具有高度的灵活性和扩展性。

结合视觉语音处理与大型语言模型的框架

VSP-LLM是一个结合视觉语音处理（Visual Speech Processing）与大型语言模型（LLMs）的框架，旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务，通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器（LoRA），可以高效地进行训练。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

多维奖励模型，助力构建自定义大型语言模型。

Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型，用于合成数据生成管道，帮助研究人员和开发者构建自己的大型语言模型（LLMs）。该模型由Nemotron-4-340B-Base模型和一个线性层组成，能够将响应末尾的标记转换为五个标量值，对应于HelpSteer2属性。它支持最多4096个标记的上下文长度，并能够对每个助手轮次的五个属性进行评分。

一款基于生物医学数据的8亿参数大型语言模型

Llama-3[8B] Meditron V1.0是一款专为生物医学领域设计的8亿参数的大型语言模型（LLM），在Meta发布Llama-3后24小时内完成微调。该模型在MedQA和MedMCQA等标准基准测试中超越了同参数级别的所有现有开放模型，并且接近70B参数级别医学领域领先的开放模型Llama-2[70B]-Meditron的性能。该工作展示了开放基础模型的创新潜力，是确保资源匮乏地区公平参与访问该技术更大倡议的一部分。

TOFU数据集为大型语言模型的虚构遗忘任务提供基准。

TOFU数据集包含根据不存在的200位作者虚构生成的问答对,用于评估大型语言模型在真实任务上的遗忘性能。该任务的目标是遗忘在各种遗忘集比例上经过微调的模型。该数据集采用问答格式,非常适合用于流行的聊天模型,如Llama2、Mistral或Qwen。但是,它也适用于任何其他大型语言模型。对应的代码库是针对Llama2聊天和Phi-1.5模型编写的,但可以轻松地适配到其他模型。

连接大型语言模型与谷歌数据共享平台，减少AI幻觉现象。

DataGemma是世界上首个开放模型，旨在通过谷歌数据共享平台的大量真实世界统计数据，帮助解决AI幻觉问题。这些模型通过两种不同的方法增强了语言模型的事实性和推理能力，从而减少幻觉现象，提升AI的准确性和可靠性。DataGemma模型的推出，是AI技术在提升数据准确性和减少错误信息传播方面的重要进步，对于研究人员、决策者以及普通用户来说，都具有重要的意义。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

轻量级Python库，用于使用大型语言模型进行网站抓取。

Parsera是一个轻量级的Python库，专门设计用于与大型语言模型（LLMs）结合，以简化网站数据抓取的过程。它通过使用最少的令牌来提高速度并降低成本，使得数据抓取变得更加高效和经济。Parsera支持多种聊天模型，并且可以自定义使用不同的模型，如OpenAI或Azure。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。