产品库

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

医疗领域复杂推理的大型语言模型

HuatuoGPT-o1是一个专为医疗复杂推理设计的大语言模型，能够识别错误、探索替代策略并完善答案。该模型通过利用可验证的医疗问题和专门的医疗验证器，推进了复杂推理的发展。HuatuoGPT-o1的主要优点包括：使用验证器指导复杂推理轨迹的搜索，以微调大型语言模型；应用基于验证器奖励的强化学习（PPO）进一步提升复杂推理能力。HuatuoGPT-o1的开源模型、数据和代码，使其在医疗教育和研究领域具有重要价值。

先进的大型语言模型，具备推理和编程能力。

Mistral-Large-Instruct-2407是一个拥有123B参数的先进大型语言模型(LLM)，具备最新的推理、知识和编程能力。它支持多语言，包括中文、英语、法语等十种语言，并且在80多种编程语言上受过训练，如Python、Java等。此外，它还具备代理中心能力和先进的数学及推理能力。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

先进的医疗领域大型语言模型

HuatuoGPT-o1-8B 是一个专为高级医疗推理设计的医疗领域大型语言模型（LLM）。它在提供最终响应之前会生成一个复杂的思考过程，反映并完善其推理过程。该模型基于LLaMA-3.1-8B构建，支持英文，并且采用'thinks-before-it-answers'的方法，输出格式包括推理过程和最终响应。此模型在医疗领域具有重要意义，因为它能够处理复杂的医疗问题并提供深思熟虑的答案，这对于提高医疗决策的质量和效率至关重要。

开源大型语言模型工具集合

Open Source LLM Tools是一个专注于收集和展示开源大型语言模型（LLM）工具的平台。它提供了一个更新频繁的资源库，帮助开发者和研究者发现和利用最新的开源AI工具。该平台的主要优点在于其高更新频率和对活跃开源AI开发者的聚焦，使得用户能够及时获取到行业的最新动态和技术进展。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

高效长序列大型语言模型推理技术

Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制，旨在提高基于Transformer的大型语言模型（LLM）在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度，同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容，无需额外训练或微调即可直接使用，并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用，进一步提升性能。

提升大型语言模型的推理准确性和效率

Buffer of Thoughts (BoT) 是一种新型的思考增强推理方法，旨在提高大型语言模型（LLMs）的准确性、效率和鲁棒性。通过引入一个元缓冲区来存储从各种任务的问题解决过程中提取的高级思考模板，称为思考模板。对于每个问题，检索一个相关的思考模板，并适应性地将其实例化为特定的推理结构以进行高效推理。此外，还提出了一个缓冲区管理器来动态更新元缓冲区，从而随着解决更多任务而增强其容量。

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

医疗领域先进的大型语言模型

HuatuoGPT-o1-70B是由FreedomIntelligence开发的医疗领域大型语言模型（LLM），专为复杂的医疗推理设计。该模型在提供最终响应之前，会生成一个复杂的思考过程，反映并完善其推理。HuatuoGPT-o1-70B能够处理复杂的医疗问题，提供深思熟虑的答案，这对于提高医疗决策的质量和效率至关重要。该模型基于LLaMA-3.1-70B架构，支持英文，并且可以部署在多种工具上，如vllm或Sglang，或者直接进行推理。

高速大型语言模型本地部署推理引擎

PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点，通过预加载热激活的神经元到 GPU 上，从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符，优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理，比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

开源代码语言模型，提升编程和数学推理能力。

DeepSeek-Coder-V2是一个开源的专家混合模型(Mixture-of-Experts, MoE)，专为代码语言设计，其性能与GPT4-Turbo相当。它在代码特定任务上表现优异，同时在通用语言任务上保持了相当的性能。与DeepSeek-Coder-33B相比，V2版本在代码相关任务和推理能力上都有显著提升。此外，它支持的编程语言从86种扩展到了338种，上下文长度也从16K扩展到了128K。

先进的代码优化和编译器推理的大型语言模型。

LLM Compiler-7b是Meta开发的一款专注于代码优化和编译器推理的大型语言模型。它基于Code Llama模型，通过深度学习优化代码，支持编译器中间表示、汇编语言和优化的理解。此模型在减少代码大小和从汇编到编译器中间表示的反编译方面展现出卓越的性能，是编译器研究人员和工程师的有力工具。

一个新的高效开源大型语言模型标准

DBRX是一个由Databricks的Mosaic研究团队构建的通用大型语言模型(LLM),在标准基准测试中表现优于所有现有开源模型。它采用Mixture-of-Experts (MoE)架构,使用362亿个参数,拥有出色的语言理解、编程、数学和逻辑推理能力。DBRX旨在推动高质量开源LLM的发展,并且便于企业根据自身数据对模型进行定制。Databricks为企业用户提供了交互式使用DBRX、利用其长上下文能力构建检索增强系统,并基于自身数据构建定制DBRX模型的能力。

123B参数的大型语言模型，具备先进推理和编码能力。

Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型，它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言，并在80多种编程语言上进行了训练，包括但不限于Python、Java、C、C++等。它以代理为中心，具备原生函数调用和JSON输出能力，是进行科研和开发的理想选择。

通过强化学习提升大型语言模型在开源软件演变中的推理能力

SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术，旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制，优化模型的推理能力，使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用，为软件工程领域带来了新的可能性。该技术目前处于研究阶段，尚未明确商业化定价，但其在提升开发效率和代码质量方面具有显著潜力。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

InternLM3-8B-Instruct是一个开源的80亿参数指令模型，用于通用用途和高级推理。

InternLM3-8B-Instruct是InternLM团队开发的大型语言模型，具有卓越的推理能力和知识密集型任务处理能力。该模型在仅使用4万亿高质量词元进行训练的情况下，实现了比同级别模型低75%以上的训练成本，同时在多个基准测试中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式，能够通过长思维链解决复杂的推理任务，同时也具备流畅的用户交互能力。该模型基于Apache-2.0许可证开源，适用于需要高效推理和知识处理的各种应用场景。

DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型，专注于推理和对话能力。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型，基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色，支持多种应用场景，包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力，同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。

一款开源大型语言模型，适用于中英文

MediaTek Research发布了名为MR Breeze-7B的新开源大型语言模型，拥有70亿参数，擅长处理中英文。相比先前的BLOOM-3B，MR Breeze-7B吸收了20倍的知识，使其能够精准处理传统中文语言的文化和语言细微差别。优化后，MR Breeze-7B在处理速度上胜过其他模型，为用户带来更流畅的体验。定价免费。

大型语言模型是视觉推理协调器

Cola是一种使用语言模型（LM）来聚合2个或更多视觉-语言模型（VLM）输出的方法。我们的模型组装方法被称为Cola（COordinative LAnguage model or visual reasoning）。Cola在LM微调（称为Cola-FT）时效果最好。Cola在零样本或少样本上下文学习（称为Cola-Zero）时也很有效。除了性能提升外，Cola还对VLM的错误更具鲁棒性。我们展示了Cola可以应用于各种VLM（包括大型多模态模型如InstructBLIP）和7个数据集（VQA v2、OK-VQA、A-OKVQA、e-SNLI-VE、VSR、CLEVR、GQA），并且它始终提高了性能。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。