产品库

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

高速大型语言模型本地部署推理引擎

PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点，通过预加载热激活的神经元到 GPU 上，从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符，优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理，比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。

先进的大型语言模型，具备推理和编程能力。

Mistral-Large-Instruct-2407是一个拥有123B参数的先进大型语言模型(LLM)，具备最新的推理、知识和编程能力。它支持多语言，包括中文、英语、法语等十种语言，并且在80多种编程语言上受过训练，如Python、Java等。此外，它还具备代理中心能力和先进的数学及推理能力。

DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型，专注于推理和对话能力。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型，基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色，支持多种应用场景，包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力，同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。

DeepHermes 3 是一款支持推理和常规响应模式的大型语言模型。

DeepHermes 3 是 NousResearch 开发的先进语言模型，能够通过系统性推理提升回答准确性。它支持推理模式和常规响应模式，用户可以通过系统提示切换。该模型在多轮对话、角色扮演、推理等方面表现出色，旨在为用户提供更强大和灵活的语言生成能力。模型基于 Llama-3.1-8B 微调，参数量达 80.3 亿，支持多种应用场景，如推理、对话、函数调用等。

一款高效的推理与聊天大语言模型。

Llama-3.1-Nemotron-Ultra-253B-v1 是一个基于 Llama-3.1-405B-Instruct 的大型语言模型，经过多阶段的后训练以提升推理和聊天能力。该模型支持高达 128K 的上下文长度，具备较好的准确性和效率平衡，适用于商业用途，旨在为开发者提供强大的 AI 助手功能。

医疗领域复杂推理的大型语言模型

HuatuoGPT-o1是一个专为医疗复杂推理设计的大语言模型，能够识别错误、探索替代策略并完善答案。该模型通过利用可验证的医疗问题和专门的医疗验证器，推进了复杂推理的发展。HuatuoGPT-o1的主要优点包括：使用验证器指导复杂推理轨迹的搜索，以微调大型语言模型；应用基于验证器奖励的强化学习（PPO）进一步提升复杂推理能力。HuatuoGPT-o1的开源模型、数据和代码，使其在医疗教育和研究领域具有重要价值。

前沿语言模型，具有先进的推理能力。

Grok-2是xAI的前沿语言模型，具有最先进的推理能力。此次发布包括Grok家族的两个成员：Grok-2和Grok-2 mini。这两个模型现在都在𝕏平台上发布给Grok用户。Grok-2是Grok-1.5的重要进步，具有聊天、编程和推理方面的前沿能力。同时，xAI引入了Grok-2 mini，一个小巧但功能强大的Grok-2的兄弟模型。Grok-2的早期版本已经在LMSYS排行榜上以“sus-column-r”的名字进行了测试。它在整体Elo得分方面超过了Claude 3.5 Sonnet和GPT-4-Turbo。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

多语言对话生成模型

Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种规模的模型，专为多语言对话使用案例优化，性能优于许多开源和闭源聊天模型。

微软最新的小型语言模型，专注于复杂推理

Phi-4是微软Phi系列小型语言模型的最新成员，拥有14B参数，擅长数学等复杂推理领域。Phi-4通过使用高质量的合成数据集、精选有机数据和后训练创新，在大小与质量之间取得了平衡。Phi-4体现了微软在小型语言模型（SLM）领域的技术进步，推动了AI技术的边界。Phi-4目前已在Azure AI Foundry上提供，并将在未来几周登陆Hugging Face平台。

大型语言模型是视觉推理协调器

Cola是一种使用语言模型（LM）来聚合2个或更多视觉-语言模型（VLM）输出的方法。我们的模型组装方法被称为Cola（COordinative LAnguage model or visual reasoning）。Cola在LM微调（称为Cola-FT）时效果最好。Cola在零样本或少样本上下文学习（称为Cola-Zero）时也很有效。除了性能提升外，Cola还对VLM的错误更具鲁棒性。我们展示了Cola可以应用于各种VLM（包括大型多模态模型如InstructBLIP）和7个数据集（VQA v2、OK-VQA、A-OKVQA、e-SNLI-VE、VSR、CLEVR、GQA），并且它始终提高了性能。

多语言大型语言模型，优化对话场景。

Meta Llama 3.1是一系列多语言的大型预训练和指令调整的生成模型，包含8B、70B和405B大小的版本。这些模型专为多语言对话用例而优化，并在常见行业基准测试中表现优于许多开源和闭源聊天模型。模型使用优化的transformer架构，并通过监督式微调(SFT)和强化学习与人类反馈(RLHF)进行调整，以符合人类对有用性和安全性的偏好。

医疗领域大型语言模型，用于高级医疗推理

HuatuoGPT-o1-7B是由FreedomIntelligence开发的医疗领域大型语言模型（LLM），专为高级医疗推理设计。该模型在提供最终回答之前，会生成复杂的思考过程，反映并完善其推理。HuatuoGPT-o1-7B支持中英文，能够处理复杂的医疗问题，并以'思考-回答'的格式输出结果，这对于提高医疗决策的透明度和可靠性至关重要。该模型基于Qwen2.5-7B，经过特殊训练以适应医疗领域的需求。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

开源代码语言模型，提升编程和数学推理能力。

DeepSeek-Coder-V2是一个开源的专家混合模型(Mixture-of-Experts, MoE)，专为代码语言设计，其性能与GPT4-Turbo相当。它在代码特定任务上表现优异，同时在通用语言任务上保持了相当的性能。与DeepSeek-Coder-33B相比，V2版本在代码相关任务和推理能力上都有显著提升。此外，它支持的编程语言从86种扩展到了338种，上下文长度也从16K扩展到了128K。

高效长序列大型语言模型推理技术

Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制，旨在提高基于Transformer的大型语言模型（LLM）在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度，同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容，无需额外训练或微调即可直接使用，并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用，进一步提升性能。

通过角色扮演进行对话的大型语言模型

Peach-9B-8k-Roleplay是一个经过微调的大型语言模型，专门用于角色扮演对话。它基于01-ai/Yi-1.5-9B模型，通过数据合成方法在超过100K的对话上进行训练。尽管模型参数较小，但可能在34B以下参数的语言模型中表现最佳。

小型语言模型用于推理和理解任务

Orca 2 是一个用于研究目的的助手，通过提供单轮响应来帮助推理和理解任务，如数据推理、阅读理解、数学问题解决和文本摘要。该模型特别擅长推理。我们公开发布 Orca 2，以促进在开发、评估和对齐更小的语言模型方面的进一步研究。

多模态大语言模型，提升多模态推理能力

InternVL2-8B-MPO是一个多模态大语言模型（MLLM），通过引入混合偏好优化（MPO）过程，增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线，并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面，InternVL2-8B-MPO基于InternVL2-8B初始化，并使用MMPR数据集进行微调，展现出更强的多模态推理能力，且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率，超越InternVL2-8B 8.7个点，且表现接近于大10倍的InternVL2-76B。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

提升大型语言模型的推理准确性和效率

Buffer of Thoughts (BoT) 是一种新型的思考增强推理方法，旨在提高大型语言模型（LLMs）的准确性、效率和鲁棒性。通过引入一个元缓冲区来存储从各种任务的问题解决过程中提取的高级思考模板，称为思考模板。对于每个问题，检索一个相关的思考模板，并适应性地将其实例化为特定的推理结构以进行高效推理。此外，还提出了一个缓冲区管理器来动态更新元缓冲区，从而随着解决更多任务而增强其容量。

NVIDIA的高级语言模型，优化于英文对话场景。

Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM)，专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度，经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上，通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好，并且能够为多种用例生成高质量的合成数据。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

大型语言模型，支持指令式对话和功能调用。

Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型，它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本，适合于需要交互式对话和自动化任务的场景。

汇总和比较全球主要AI模型提供商的价格信息

AIGCRank大语言模型API价格对比是一个专门汇总和比较全球主要AI模型提供商的价格信息的工具。它为用户提供最新的大语言模型（LLM）的价格数据，包括一些免费的AI大模型API。通过这个平台，用户可以轻松查找和比较OpenAI、Claude、Mixtral、Kimi、星火大模型、通义千问、文心一语、Llama 3、GPT-4、AWS和Google等国内外主要API提供商的最新价格，确保找到最适合自己项目的模型定价。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。