产品库

基于PRIME方法训练的7B参数语言模型，专为提升推理能力而设计。

PRIME-RL/Eurus-2-7B-PRIME是一个基于PRIME方法训练的7B参数的语言模型，旨在通过在线强化学习提升语言模型的推理能力。该模型从Eurus-2-7B-SFT开始训练，利用Eurus-2-RL-Data数据集进行强化学习。PRIME方法通过隐式奖励机制，使模型在生成过程中更加注重推理过程，而不仅仅是结果。该模型在多项推理基准测试中表现出色，相较于其SFT版本平均提升了16.7%。其主要优点包括高效的推理能力提升、较低的数据和模型资源需求，以及在数学和编程任务中的优异表现。该模型适用于需要复杂推理能力的场景，如编程问题解答和数学问题求解。

一款高效率的2.4亿参数轻量级语言模型

YuLan-Mini是由中国人民大学AI Box团队开发的一款轻量级语言模型，具有2.4亿参数，尽管仅使用1.08T的预训练数据，但其性能可与使用更多数据训练的行业领先模型相媲美。该模型特别擅长数学和代码领域，为了促进可复现性，团队将开源相关的预训练资源。

稳定代码3B - 用于文本生成的预训练语言模型

Stable Code 3B是一个拥有27亿参数的仅解码器语言模型，预训练于1300亿个多样的文本和代码数据标记。Stable Code 3B在18种编程语言上进行了训练，并在使用BigCode的评估工具进行测试时，在多种编程语言上展现出与同等规模模型相比的最先进性能。它支持长上下文，使用了长度达16384的序列进行训练，并具有填充中间功能（FIM）。用户可以通过Hugging Face网站上的代码片段开始使用Stable Code 3B生成文本。该模型由Stability AI开发，基于GPT-NeoX库，可用于英文和编程语言。

一种无需实时检索的语言模型增强方法，通过预加载知识缓存来提高生成效率。

CAG（Cache-Augmented Generation）是一种创新的语言模型增强技术，旨在解决传统RAG（Retrieval-Augmented Generation）方法中存在的检索延迟、检索错误和系统复杂性等问题。通过在模型上下文中预加载所有相关资源并缓存其运行时参数，CAG能够在推理过程中直接生成响应，无需进行实时检索。这种方法不仅显著降低了延迟，提高了可靠性，还简化了系统设计，使其成为一种实用且可扩展的替代方案。随着大型语言模型（LLMs）上下文窗口的不断扩展，CAG有望在更复杂的应用场景中发挥作用。

Eurus-2-7B-SFT是一个经过数学能力优化的大型语言模型，专注于推理和问题解决.

Eurus-2-7B-SFT是基于Qwen2.5-Math-7B模型进行微调的大型语言模型，专注于数学推理和问题解决能力的提升。该模型通过模仿学习（监督微调）的方式，学习推理模式，能够有效解决复杂的数学问题和编程任务。其主要优点在于强大的推理能力和对数学问题的准确处理，适用于需要复杂逻辑推理的场景。该模型由PRIME-RL团队开发，旨在通过隐式奖励的方式提升模型的推理能力。

EurusPRM-Stage1是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage1是PRIME-RL项目的一部分，旨在通过隐式过程奖励来增强生成模型的推理能力。该模型利用隐式过程奖励机制，无需额外标注过程标签，即可在推理过程中获得过程奖励。其主要优点是能够有效地提升生成模型在复杂任务中的表现，同时降低了标注成本。该模型适用于需要复杂推理和生成能力的场景，如数学问题解答、自然语言生成等。

PRIME通过隐式奖励增强在线强化学习，提升语言模型的推理能力。

PRIME是一个开源的在线强化学习解决方案，通过隐式过程奖励来增强语言模型的推理能力。该技术的主要优点在于能够在不依赖显式过程标签的情况下，有效地提供密集的奖励信号，从而加速模型的训练和推理能力的提升。PRIME在数学竞赛基准测试中表现出色，超越了现有的大型语言模型。其背景信息包括由多个研究者共同开发，并在GitHub上发布了相关代码和数据集。PRIME的定位是为需要复杂推理任务的用户提供强大的模型支持。

医疗领域大型语言模型，用于高级医疗推理

HuatuoGPT-o1-7B是由FreedomIntelligence开发的医疗领域大型语言模型（LLM），专为高级医疗推理设计。该模型在提供最终回答之前，会生成复杂的思考过程，反映并完善其推理。HuatuoGPT-o1-7B支持中英文，能够处理复杂的医疗问题，并以'思考-回答'的格式输出结果，这对于提高医疗决策的透明度和可靠性至关重要。该模型基于Qwen2.5-7B，经过特殊训练以适应医疗领域的需求。

用于强化学习验证的数学问题数据集

RLVR-GSM-MATH-IF-Mixed-Constraints数据集是一个专注于数学问题的数据集，它包含了多种类型的数学问题和相应的解答，用于训练和验证强化学习模型。这个数据集的重要性在于它能够帮助开发更智能的教育辅助工具，提高学生解决数学问题的能力。产品背景信息显示，该数据集由allenai在Hugging Face平台上发布，包含了GSM8k和MATH两个子集，以及带有可验证约束的IF Prompts，适用于MIT License和ODC-BY license。

高性能英文语言模型，适用于多样化任务

OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型，主要针对英文，旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分，旨在推动语言模型的科学研究。模型训练基于Dolma数据集，并公开代码、检查点、日志和训练细节。

QwQ是一款专注于深度推理能力的AI研究模型。

QwQ（Qwen with Questions）是一款由Qwen团队开发的实验性研究模型，旨在提升人工智能的推理能力。它以一种哲学精神，对每个问题都抱有真正的好奇和怀疑，通过自我提问和反思来寻求更深层次的真理。QwQ在数学和编程领域表现出色，尤其是在处理复杂问题时。尽管它仍在学习和成长，但它已经展现出了在技术领域深度推理的重要潜力。

开源的先进语言模型后训练框架

Tülu 3是一系列开源的先进语言模型，它们经过后训练以适应更多的任务和用户。这些模型通过结合专有方法的部分细节、新颖技术和已建立的学术研究，实现了复杂的训练过程。Tülu 3的成功根植于精心的数据管理、严格的实验、创新的方法论和改进的训练基础设施。通过公开分享数据、配方和发现，Tülu 3旨在赋予社区探索新的和创新的后训练方法的能力。

基于熵的采样技术，优化模型输出的多样性和准确性

Entropy-based sampling 是一种基于熵理论的采样技术，用于提升语言模型在生成文本时的多样性和准确性。该技术通过计算概率分布的熵和方差熵来评估模型的不确定性，从而在模型可能陷入局部最优或过度自信时调整采样策略。这种方法有助于避免模型输出的单调重复，同时在模型不确定性较高时增加输出的多样性。

AMD训练的高性能语言模型

AMD-Llama-135m是一个基于LLaMA2模型架构训练的语言模型，能够在AMD MI250 GPU上流畅加载使用。该模型支持生成文本和代码，适用于多种自然语言处理任务。

可视化和透明的开源ChatGPT替代品

Show-Me是一个开源应用程序，旨在提供传统大型语言模型(如ChatGPT)交互的可视化和透明替代方案。它通过将复杂问题分解成一系列推理子任务，使用户能够理解语言模型的逐步思考过程。该应用程序使用LangChain与语言模型交互，并通过动态图形界面可视化推理过程。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

高效能的第三代MiniCPM系列模型

MiniCPM3-4B是MiniCPM系列的第三代产品，整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多近期的7B至9B模型相当。与前两代相比，MiniCPM3-4B具有更强大的多功能性，支持函数调用和代码解释器，使其能够更广泛地应用于各种场景。此外，MiniCPM3-4B拥有32k的上下文窗口，配合LLMxMapReduce技术，理论上可以处理无限上下文，而无需大量内存。

高效能混合专家语言模型

Yuan2.0-M32-hf-int8是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。该模型通过采用新的路由网络——注意力路由器，提高了专家选择的效率，使得准确率比使用传统路由网络的模型提高了3.8%。Yuan2.0-M32从头开始训练，使用了2000亿个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。该模型在编程、数学和各种专业领域展现出竞争力，并且只使用37亿个活跃参数，占总参数40亿的一小部分，每个token的前向计算仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B，分别达到了55.9%和95.8%的准确率。

高效能的混合专家语言模型

Yuan2.0-M32是一个具有32个专家的混合专家(MoE)语言模型，其中2个处于活跃状态。引入了新的路由网络——注意力路由器，以提高专家选择的效率，使模型在准确性上比使用传统路由器网络的模型提高了3.8%。Yuan2.0-M32从头开始训练，使用了2000亿个token，其训练计算量仅为同等参数规模密集型模型所需计算量的9.25%。在编码、数学和各种专业领域表现出竞争力，Yuan2.0-M32在总参数40亿中只有3.7亿活跃参数，每个token的前向计算量为7.4 GFLOPS，仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B，准确率分别达到了55.9%和95.8%。

前沿语言模型，具有先进的推理能力。

Grok-2是xAI的前沿语言模型，具有最先进的推理能力。此次发布包括Grok家族的两个成员：Grok-2和Grok-2 mini。这两个模型现在都在𝕏平台上发布给Grok用户。Grok-2是Grok-1.5的重要进步，具有聊天、编程和推理方面的前沿能力。同时，xAI引入了Grok-2 mini，一个小巧但功能强大的Grok-2的兄弟模型。Grok-2的早期版本已经在LMSYS排行榜上以“sus-column-r”的名字进行了测试。它在整体Elo得分方面超过了Claude 3.5 Sonnet和GPT-4-Turbo。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

专注于数学和科学任务的模型

Mathstral 7B 是一个专注于数学和科学任务的模型，基于 Mistral 7B。该模型在数学和科学领域的文本生成和推理方面表现出色，适用于需要高度精确和复杂计算的应用场景。模型的开发团队包括多位专家，确保了其在行业内的领先地位和可靠性。

一种高效的遮蔽扩散语言模型。

Masked Diffusion Language Models (MDLM) 是一种新型的语言模型，它通过遮蔽和扩散机制来生成高质量的文本数据。MDLM 通过改进的训练方法和简化的目标函数，提高了遮蔽扩散模型的性能，使其在语言建模基准测试中达到了新的最佳状态，并接近自回归模型的困惑度。MDLM 的主要优点包括高效的采样器、支持生成任意长度的文本，以及在长程依赖和可控生成方面的优势。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

在浏览器中尝试Cleanlab的可信任语言模型（TLM）

TLM Playground是Cleanlab的一个工具，用于在浏览器中使用可信任语言模型（TLM）。它提供了一个交互式界面，用户可以输入文本并获得模型生成的响应。TLM是一种基于深度学习的语言模型，它可以用于生成自然语言文本，例如回答问题、翻译、文本摘要等。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

强大的数学和编程模型，具备高度连贯性和多轮对话能力。

Mistral-22b-v.02 是一个强大的模型，展现出出色的数学才能和编程能力。相较于V1，V2模型在连贯性和多轮对话能力方面有显著提升。该模型经过重新调整取消了审查，能够回答任何问题。训练数据主要包括多轮对话，特别强调编程内容。此外，模型具备智能体能力，可执行真实世界任务。训练采用了32k的上下文长度。在使用时需遵循GUANACO提示格式。

一个基于稀疏专家模型的大型语言模型

Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型。它由Mistral AI团队开发,旨在推进人工智能的开放发展。该模型具有141B个参数,支持多种优化部署方式,如半精度、量化等,以满足不同的硬件和应用场景需求。Mixtral-8x22B可以用于文本生成、问答、翻译等自然语言处理任务。

谷歌开源的大型语言模型,能够生成高质量的文本内容

RecurrentGemma是谷歌开发的一系列开放语言模型,采用创新的循环架构设计,在文本生成任务上性能优异,包括问答、摘要和推理等。与Gemma模型相比,RecurrentGemma所需的内存更少,生成长序列的推理速度更快。该模型提供了预训练和针对指令的微调版本,可广泛应用于内容创作、对话AI等场景。