产品库

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

Hermes系列的最新版大型语言模型

Hermes 3是Nous Research公司推出的Hermes系列最新版大型语言模型（LLM），相较于Hermes 2，它在代理能力、角色扮演、推理、多轮对话、长文本连贯性等方面都有显著提升。Hermes系列模型的核心理念是将LLM与用户对齐，赋予终端用户强大的引导能力和控制权。Hermes 3在Hermes 2的基础上，进一步增强了功能调用和结构化输出能力，提升了通用助手能力和代码生成技能。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

高效单遍统一生成和检索框架，适用于大型语言模型。

OneGen是一个为大型语言模型（LLMs）设计的高效单遍生成和检索框架，用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中，通过将检索任务分配给以自回归方式生成的检索令牌，使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本，还显著减少了推理成本，因为它避免了对查询进行两次前向传递计算的需求。

使大型语言模型在长文本问答中生成细粒度引用

LongCite是一个开源的模型，它通过训练大型语言模型（LLMs）来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度，使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度，并且提供了两个模型：LongCite-glm4-9b和LongCite-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。

利用大型语言模型增量构建知识图谱

iText2KG是一个Python包，旨在利用大型语言模型从文本文档中提取实体和关系，增量构建一致的知识图谱。它具备零样本能力，允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块，确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示，支持交互式探索和分析结构化数据。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

大型语言模型，支持多种参数规模

Meta Llama 3 是 Meta 推出的最新大型语言模型，旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本，支持预训练和指令调优。模型通过 GitHub 仓库提供，用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用，具有广泛的研究和商业潜力。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

大型语言模型，支持多语言和代码数据

Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型（LLM），是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练，显著优于大小相似或更小的现有模型。其主要特点包括：支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头（GQA）、2^17词汇量（约128k）、旋转嵌入（theta=1M）。该模型在多种基准测试中表现出色，如HellaSwag（0-shot）、Winogrande（0-shot）、OpenBookQA（0-shot）等。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

哔哩哔哩自主研发的轻量级大语言模型

Index-1.9B系列是哔哩哔哩公司自主研发的轻量级大语言模型，包含多种版本，如base、pure、chat和character等，适用于中英文为主的语料预训练，并在多个评测基准上表现优异。模型支持SFT和DPO对齐，以及RAG技术实现角色扮演定制，适用于对话生成、角色扮演等场景。

表情包视觉标注数据集

emo-visual-data 是一个公开的表情包视觉标注数据集，它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注，收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型，对于理解图像内容和文本描述之间的关系具有重要意义。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

大型语言模型的详细列表和信息

Models Table 提供了一个包含300多个大型语言模型的列表，这些模型被所有主要的AI实验室使用，包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性，对于AI研究者和开发者来说是一个宝贵的资源。

高效的检索增强生成研究工具包

FlashRAG是一个Python工具包，用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架，包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件，允许灵活组装复杂流程。此外，FlashRAG还提供了高效的预处理阶段和优化的执行，支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

大型语言模型，支持指令式对话和功能调用。

Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型，它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本，适合于需要交互式对话和自动化任务的场景。

一种大型语言模型，具有扩展词汇量。

Mistral-7B-v0.3是由Mistral AI团队开发的大型语言模型(Large Language Model, LLM)，它是Mistral-7B-v0.2的升级版，具有扩展到32768的词汇量。该模型支持文本生成，适合于需要文本生成能力的应用场景。目前，该模型没有内容审核机制，团队正在寻求社区合作，以实现更精细的内容审核，满足需要内容审核的部署环境。

一款具有128k有效上下文长度的70B参数的大型语言模型。

Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型，它通过PoSE和动态NTK插值的训练方法，具有更长的有效上下文长度，能够处理大量的文本数据。该模型在训练中使用了约1.5B个token，并且通过适配器转换技术，将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上，以提高模型的性能。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

一个由真实世界用户与ChatGPT交互构成的语料库。

WildChat数据集是一个由100万真实世界用户与ChatGPT交互组成的语料库，特点是语言多样和用户提示的多样性。该数据集用于微调Meta的Llama-2，创建了WildLlama-7b-user-assistant聊天机器人，能够预测用户提示和助手回应。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

高质量英文网页数据集

FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据，来源于CommonCrawl。该数据集专为大型语言模型预训练设计，旨在推动开源模型的发展。数据集经过精心处理和筛选，以确保高质量，适用于各种自然语言处理任务。