产品库

通过生成推理扩大过程奖励模型的测试时间计算。

GenPRM 是一种新兴的过程奖励模型（PRM），通过生成推理来提高在测试时的计算效率。这项技术能够在处理复杂任务时提供更准确的奖励评估，适用于多种机器学习和人工智能领域的应用。其主要优点是能够在资源有限的情况下优化模型性能，并在实际应用中降低计算成本。

EurusPRM-Stage2是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage2是一个先进的强化学习模型，通过隐式过程奖励来优化生成模型的推理过程。该模型利用因果语言模型的对数似然比来计算过程奖励，从而在不增加额外标注成本的情况下提升模型的推理能力。其主要优点在于能够在仅使用响应级标签的情况下，隐式地学习到过程奖励，从而提高生成模型的准确性和可靠性。该模型在数学问题解答等任务中表现出色，适用于需要复杂推理和决策的场景。

EurusPRM-Stage1是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage1是PRIME-RL项目的一部分，旨在通过隐式过程奖励来增强生成模型的推理能力。该模型利用隐式过程奖励机制，无需额外标注过程标签，即可在推理过程中获得过程奖励。其主要优点是能够有效地提升生成模型在复杂任务中的表现，同时降低了标注成本。该模型适用于需要复杂推理和生成能力的场景，如数学问题解答、自然语言生成等。

PRIME通过隐式奖励增强在线强化学习，提升语言模型的推理能力。

PRIME是一个开源的在线强化学习解决方案，通过隐式过程奖励来增强语言模型的推理能力。该技术的主要优点在于能够在不依赖显式过程标签的情况下，有效地提供密集的奖励信号，从而加速模型的训练和推理能力的提升。PRIME在数学竞赛基准测试中表现出色，超越了现有的大型语言模型。其背景信息包括由多个研究者共同开发，并在GitHub上发布了相关代码和数据集。PRIME的定位是为需要复杂推理任务的用户提供强大的模型支持。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

一个用于训练高性能奖励模型的开源数据集。

HelpSteer2是由NVIDIA发布的一个开源数据集，旨在支持训练能够对齐模型以使其更加有帮助、事实正确和连贯，同时在响应的复杂性和冗余度方面具有可调节性。该数据集与Scale AI合作创建，当与Llama 3 70B基础模型一起使用时，在RewardBench上达到了88.8%的表现，是截至2024年6月12日最佳的奖励模型之一。

语言模型自我奖励训练

本产品是一种自奖励语言模型，通过 LLM 作为裁判，使用模型自身提供的奖励信号进行训练。通过迭代的 DPO 训练，模型不仅可以提高遵循指令的能力，还能提供高质量的自我奖励。经过三次迭代的 Fine-tuning，本产品在 AlpacaEval 2.0 排行榜上超过了许多现有系统，包括 Claude 2、Gemini Pro 和 GPT-4 0613。这项工作虽然只是初步研究，但为模型在两个方面持续改进的可能性打开了大门。

人类级奖励设计算法，通过编码大型语言模型实现

Eureka是一种人类级奖励设计算法，通过编码大型语言模型实现。它利用最先进的语言模型（如GPT-4）的零样本生成、编写代码和上下文改进能力，对奖励代码进行进化优化。生成的奖励可以用于通过强化学习获得复杂的技能。Eureka生成的奖励函数在29个开源强化学习环境中，包括10种不同的机器人形态，优于人类专家设计的奖励函数。Eureka还能够灵活地改进奖励函数，以提高生成奖励的质量和安全性。通过与课程学习相结合，使用Eureka奖励函数，我们首次展示了一个模拟的Shadow Hand能够进行旋转笔的技巧，熟练地以快速的速度在圆圈中操纵笔。

70亿参数的多方面奖励模型

Llama3-70B-SteerLM-RM是一个70亿参数的语言模型，用作属性预测模型，一个多方面的奖励模型，它在多个方面对模型响应进行评分，而不是传统奖励模型中的单一分数。该模型使用HelpSteer2数据集训练，并通过NVIDIA NeMo-Aligner进行训练，这是一个可扩展的工具包，用于高效和高效的模型对齐。

机器学习模型运行和部署的工具

Replicate是一款机器学习模型运行和部署的工具，无需自行配置环境，可以快速运行和部署机器学习模型。Replicate提供了Python库和API接口，支持运行和查询模型。社区共享了成千上万个可用的机器学习模型，涵盖了文本理解、视频编辑、图像处理等多个领域。使用Replicate和相关工具，您可以快速构建自己的项目并进行部署。

微软最新的小型语言模型，专注于复杂推理

Phi-4是微软Phi系列小型语言模型的最新成员，拥有14B参数，擅长数学等复杂推理领域。Phi-4通过使用高质量的合成数据集、精选有机数据和后训练创新，在大小与质量之间取得了平衡。Phi-4体现了微软在小型语言模型（SLM）领域的技术进步，推动了AI技术的边界。Phi-4目前已在Azure AI Foundry上提供，并将在未来几周登陆Hugging Face平台。

Apple官方机器学习模型训练框架

Create ML是一个Apple官方发布的机器学习模型训练框架,可以非常方便地在Mac设备上训练Core ML模型。它提供了图像、视频、文本等多种模型类型,用户只需要准备数据集和设置参数,就可以开始模型训练。Create ML还提供了Swift API,支持在iOS等平台进行模型训练。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

Atom of Thoughts (AoT) 是一种用于提升大语言模型推理性能的框架。

Atom of Thoughts (AoT) 是一种新型推理框架，通过将解决方案表示为原子问题的组合，将推理过程转化为马尔可夫过程。该框架通过分解和收缩机制，显著提升了大语言模型在推理任务上的性能，同时减少了计算资源的浪费。AoT 不仅可以作为独立的推理方法，还可以作为现有测试时扩展方法的插件，灵活结合不同方法的优势。该框架开源且基于 Python 实现，适合研究人员和开发者在自然语言处理和大语言模型领域进行实验和应用。

小米首个推理大模型MiMo开源，专为推理任务设计，性能卓越。

Xiaomi MiMo是小米公司开源的首个推理大模型，专为推理任务设计，具备卓越的数学推理和代码生成能力。该模型在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上表现出色，仅用7B的参数规模就超越了OpenAI的o1-mini和阿里Qwen的QwQ-32B-Preview等更大规模的模型。MiMo通过预训练和后训练阶段的多层面创新，包括数据挖掘、训练策略和强化学习算法等，显著提升了推理能力。该模型的开源为研究人员和开发者提供了强大的工具，推动了人工智能在推理领域的进一步发展。

通过加权平均奖励模型提高大型语言模型的效率和可靠性。

WARM是一种通过加权平均奖励模型（WARM）来对齐大型语言模型（LLMs）与人类偏好的解决方案。首先，WARM对多个奖励模型进行微调，然后在权重空间中对它们进行平均。通过加权平均，WARM相对于传统的预测集成方法提高了效率，同时改善了在分布转移和偏好不一致性下的可靠性。我们的实验表明，WARM在摘要任务上的表现优于传统方法，使用最佳N和RL方法，WARM提高了LLM预测的整体质量和对齐性。

基于Gemma-2-27B架构的先进奖励模型

Skywork-Reward-Gemma-2-27B是一个基于Gemma-2-27B架构的先进奖励模型，专为处理复杂场景中的偏好而设计。该模型使用了80K高质量的偏好对数据进行训练，这些数据来源包括数学、编程和安全等多个领域。Skywork-Reward-Gemma-2-27B在2024年9月的RewardBench排行榜上位居第一，展示了其在偏好处理方面的强大能力。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

在浏览器中直接运行先进的机器学习模型。

transformers.js 是一个JavaScript库，旨在为网页提供先进的机器学习能力。它允许用户在浏览器中直接运行预训练的Transformers模型，无需服务器支持。该库使用ONNX Runtime作为后端，支持将PyTorch、TensorFlow或JAX模型转换为ONNX格式。transformers.js 与 Hugging Face 的 transformers Python 库功能等价，提供相似的API，使得开发者能够轻松地将现有代码迁移到网页端。

DeepSeek-R1-Distill-Qwen-7B 是一个开源的推理模型，专注于数学、代码和推理任务。

DeepSeek-R1-Distill-Qwen-7B 是一个经过强化学习优化的推理模型，基于 Qwen-7B 进行了蒸馏优化。它在数学、代码和推理任务上表现出色，能够生成高质量的推理链和解决方案。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和效率，适用于需要复杂推理和逻辑分析的场景。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

谷歌开发的AI模型，提供推理能力更强的响应。

Gemini 2.0 Flash Thinking Mode是谷歌推出的一个实验性AI模型，旨在生成模型在响应过程中的“思考过程”。相较于基础的Gemini 2.0 Flash模型，Thinking Mode在响应中展现出更强的推理能力。该模型在Google AI Studio和Gemini API中均可使用，是谷歌在人工智能领域的重要技术成果，对于开发者和研究人员来说，提供了一个强大的工具来探索和实现复杂的AI应用。

基于深度推理的神经机器翻译模型

DRT-o1-14B是一个神经机器翻译模型，旨在通过长链推理来提升翻译的深度和准确性。该模型通过挖掘含有比喻或隐喻的英文句子，并采用多代理框架（包括翻译者、顾问和评估者）来合成长思考的机器翻译样本。DRT-o1-14B基于Qwen2.5-14B-Instruct作为主干进行训练，具有14.8B的参数量，支持BF16张量类型。该模型的重要性在于其能够处理复杂的翻译任务，尤其是在需要深入理解和推理的情况下，提供了一种新的解决方案。

开源生成模型训练、调优与推理框架

SCEPTER是一个开源代码库,致力于生成式模型的训练、调优和推理,涵盖图像生成、迁移、编辑等一系列下游任务。它整合了社区主流实现以及阿里巴巴通逸实验室自研方法,为生成式领域的研究人员和从业者提供全面、通用的工具集。这个多功能库旨在促进创新,加速这个快速发展的领域的进步。

逆向绘画技术，重现绘画过程

Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够处理多种艺术风格，并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解，定义了一组绘画指令，并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格，还能为广泛的艺术风格和流派提供合理的结果。

面向生成场景的可控大语言模型

孟子生成式大模型（孟子 GPT）是一个面向生成场景的可控大语言模型，能够通过多轮的方式帮助用户完成特定场景中的多种工作任务。它支持知识问答、多语言翻译、通用写作和金融场景任务等功能，具有更可控、更灵活、更个性、更专业的优势。具体定价和使用方式请咨询官方网站。

构建和部署AI模型的机器学习框架

Cerebrium是一个机器学习框架，通过几行代码轻松训练、部署和监控机器学习模型。我们在无服务器的CPU/GPU上运行所有内容，并仅根据使用量收费。您可以从Pytorch、Huggingface、Tensorflow等库部署模型。

AI模型部署和推理优化的专家

Neural Magic是一家专注于AI模型优化和部署的公司，提供领先的企业级推理解决方案，以最大化性能和提高硬件效率。公司的产品支持在GPU和CPU基础设施上运行领先的开源大型语言模型（LLMs），帮助企业在云、私有数据中心或边缘环境中安全、高效地部署AI模型。Neural Magic的产品背景信息强调了其在机器学习模型优化方面的专业知识，以及与科研机构合作开发的创新LLM压缩技术，如GPTQ和SparseGPT。产品价格和定位方面，Neural Magic提供了免费试用和付费服务，旨在帮助企业降低成本、提高效率，并保持数据隐私和安全。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。