产品库

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

开源大型语言模型的托管、部署、构建和微调一站式解决方案。

AIKit 是一个开源工具，旨在简化大型语言模型（LLMs）的托管、部署、构建和微调过程。它提供了与OpenAI API兼容的REST API，支持多种推理能力和格式，使用户可以使用任何兼容的客户端发送请求。此外，AIKit 还提供了一个可扩展的微调接口，支持Unsloth，为用户提供快速、内存高效且易于使用的微调体验。

定制化大型语言模型的专业微调工具

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

Mistral Small 24B 是一款多语言、高性能的指令微调型大型语言模型，适用于多种应用场景。

Mistral Small 24B 是一款由 Mistral AI 团队开发的大型语言模型，拥有 240 亿参数，支持多语言对话和指令处理。该模型通过指令微调，能够生成高质量的文本内容，适用于聊天、写作、编程辅助等多种场景。其主要优点包括强大的语言生成能力、多语言支持以及高效推理能力。该模型适合需要高性能语言处理的个人和企业用户，具有开源许可，支持本地部署和量化优化，适合对数据隐私有要求的场景。

开源大型语言模型工具集合

Open Source LLM Tools是一个专注于收集和展示开源大型语言模型（LLM）工具的平台。它提供了一个更新频繁的资源库，帮助开发者和研究者发现和利用最新的开源AI工具。该平台的主要优点在于其高更新频率和对活跃开源AI开发者的聚焦，使得用户能够及时获取到行业的最新动态和技术进展。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

一款基于指令微调的大型语言模型

Mistral-7B-Instruct-v0.2 是一款基于 Mistral-7B-v0.2 模型进行指令微调的大型语言模型。它拥有 32k 的上下文窗口和 1e6 的 Rope Theta 值等特性。该模型可以根据给定的指令生成相应的文本输出,支持各种任务,如问答、写作、翻译等。通过指令微调,模型可以更好地理解和执行指令。虽然该模型目前还没有针对性的审核机制,但未来将继续优化,以支持更多场景的部署。

70亿参数的多语言大型语言模型

Llama-3.3-70B-Instruct是由Meta开发的一个70亿参数的大型语言模型，专门针对多语言对话场景进行了优化。该模型使用优化的Transformer架构，并通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)来提高其有用性和安全性。它支持多种语言，并能够处理文本生成任务，是自然语言处理领域的一项重要技术。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

一个新的高效开源大型语言模型标准

DBRX是一个由Databricks的Mosaic研究团队构建的通用大型语言模型(LLM),在标准基准测试中表现优于所有现有开源模型。它采用Mixture-of-Experts (MoE)架构,使用362亿个参数,拥有出色的语言理解、编程、数学和逻辑推理能力。DBRX旨在推动高质量开源LLM的发展,并且便于企业根据自身数据对模型进行定制。Databricks为企业用户提供了交互式使用DBRX、利用其长上下文能力构建检索增强系统,并基于自身数据构建定制DBRX模型的能力。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

一款开源大型语言模型，适用于中英文

MediaTek Research发布了名为MR Breeze-7B的新开源大型语言模型，拥有70亿参数，擅长处理中英文。相比先前的BLOOM-3B，MR Breeze-7B吸收了20倍的知识，使其能够精准处理传统中文语言的文化和语言细微差别。优化后，MR Breeze-7B在处理速度上胜过其他模型，为用户带来更流畅的体验。定价免费。

先进的医疗领域大型语言模型

HuatuoGPT-o1-8B 是一个专为高级医疗推理设计的医疗领域大型语言模型（LLM）。它在提供最终响应之前会生成一个复杂的思考过程，反映并完善其推理过程。该模型基于LLaMA-3.1-8B构建，支持英文，并且采用'thinks-before-it-answers'的方法，输出格式包括推理过程和最终响应。此模型在医疗领域具有重要意义，因为它能够处理复杂的医疗问题并提供深思熟虑的答案，这对于提高医疗决策的质量和效率至关重要。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

糖尿病护理专用的大型语言模型

Diabetica-7B是一个针对糖尿病护理领域优化的大型语言模型。它在糖尿病相关的多种任务上表现出色，包括诊断、治疗建议、药物管理、生活方式建议、患者教育等。该模型基于开源模型进行微调，使用特定疾病数据集和微调技术，提供了一个可复现的框架，可以加速AI辅助医疗的发展。此外，它还经过了全面的评估和临床试验，以验证其在临床应用中的有效性。

一款基于生物医学数据的8亿参数大型语言模型

Llama-3[8B] Meditron V1.0是一款专为生物医学领域设计的8亿参数的大型语言模型（LLM），在Meta发布Llama-3后24小时内完成微调。该模型在MedQA和MedMCQA等标准基准测试中超越了同参数级别的所有现有开放模型，并且接近70B参数级别医学领域领先的开放模型Llama-2[70B]-Meditron的性能。该工作展示了开放基础模型的创新潜力，是确保资源匮乏地区公平参与访问该技术更大倡议的一部分。

Seed-Coder 是一个开源的 8B 代码大型语言模型系列。

Seed-Coder 是字节跳动 Seed 团队推出的开源代码大型语言模型系列，包含基础、指令和推理模型，旨在通过最小的人力投入，自主管理代码训练数据，从而显著提升编程能力。该模型在同类开源模型中表现优越，适合于各种编码任务，定位于推动开源 LLM 生态的发展，适用于研究和工业界。

基于大型语言模型的高性能MacOS聊天应用

ChatMLX是一款现代、开源、高性能的MacOS聊天应用程序，基于大型语言模型构建。它利用MLX的强大性能和苹果硅芯片，支持多种模型，为用户提供丰富的对话选择。ChatMLX在本地运行大型语言模型，以确保用户隐私和安全。

医疗领域复杂推理的大型语言模型

HuatuoGPT-o1是一个专为医疗复杂推理设计的大语言模型，能够识别错误、探索替代策略并完善答案。该模型通过利用可验证的医疗问题和专门的医疗验证器，推进了复杂推理的发展。HuatuoGPT-o1的主要优点包括：使用验证器指导复杂推理轨迹的搜索，以微调大型语言模型；应用基于验证器奖励的强化学习（PPO）进一步提升复杂推理能力。HuatuoGPT-o1的开源模型、数据和代码，使其在医疗教育和研究领域具有重要价值。

开源工具包，用于大型语言模型水印技术的研究和应用。

MarkLLM是一个开源工具包，旨在促进大型语言模型(Large Language Models, LLM)中水印技术的研究和应用。随着LLM的广泛使用，确保机器生成文本的真实性和来源变得至关重要。MarkLLM通过提供一个统一的、可扩展的平台，简化了水印技术的访问、理解和评估。它支持多种水印算法，包括KGW家族和EXP家族的算法，并提供了可视化工具和评估模块，帮助研究人员和开发者评估水印技术的可检测性、稳健性和对文本质量的影响。

70亿参数的大型多语言文本生成模型

Meta Llama 3.1是Meta公司推出的大型语言模型，拥有70亿个参数，支持8种语言的文本生成。该模型采用优化的Transformer架构，并通过监督式微调和人类反馈强化学习进一步优化，以符合人类对帮助性和安全性的偏好。模型在多语言对话使用案例中表现优异，超越了许多现有的开源和封闭聊天模型。

专为软件改进设计的开源大型语言模型。

Lingma SWE-GPT是一个开源的大型语言模型，专注于软件工程领域的任务，旨在提供智能化的开发支持。该模型基于Qwen系列基础模型，经过额外训练以增强其在复杂软件工程任务中的能力。它在软件工程智能代理的权威排行榜上表现出色，适合需要自动化软件改进的开发团队和研究人员。

最前沿的开源AI模型，支持多语言和高级功能。

Llama 3.1是Meta AI推出的最新一代大型语言模型，具有128K的上下文长度扩展、支持八种语言，并首次开源了405B参数级别的前沿AI模型。该模型在通用知识、可控性、数学、工具使用和多语言翻译方面具有最先进的能力，能够与最好的闭源模型相媲美。Llama 3.1的发布，将为开发者提供解锁新工作流程的工具，例如合成数据生成和模型蒸馏。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

7B参数的大型语言模型，提升自然语言处理能力

OLMo 2 7B是由Allen Institute for AI (Ai2)开发的一款7B参数的大型语言模型，它在多个自然语言处理任务上展现出色的表现。该模型通过在大规模数据集上的训练，能够理解和生成自然语言，支持多种语言模型相关的科研和应用。OLMo 2 7B的主要优点包括其大规模的参数量，使得模型能够捕捉到更加细微的语言特征，以及其开源的特性，促进了学术界和工业界的进一步研究和应用。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。