产品库

Kimi k1.5 是一个通过强化学习扩展的多模态语言模型，专注于提升推理和逻辑能力。

Kimi k1.5 是由 MoonshotAI 开发的多模态语言模型，通过强化学习和长上下文扩展技术，显著提升了模型在复杂推理任务中的表现。该模型在多个基准测试中达到了行业领先水平，例如在 AIME 和 MATH-500 等数学推理任务中超越了 GPT-4o 和 Claude Sonnet 3.5。其主要优点包括高效的训练框架、强大的多模态推理能力以及对长上下文的支持。Kimi k1.5 主要面向需要复杂推理和逻辑分析的应用场景，如编程辅助、数学解题和代码生成等。

JaxMARL - 多智能体强化学习库

JaxMARL 是一个多智能体强化学习库，结合了易用性和 GPU 加速效能。它支持常用的多智能体强化学习环境以及流行的基准算法。目标是提供一个全面评估多智能体强化学习方法的库，并与相关基准进行比较。同时，它还引入了 SMAX，这是一个简化版的流行的星际争霸多智能体挑战环境，无需运行星际争霸 II 游戏引擎。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

R1-Omni 是一个结合强化学习的全模态情绪识别模型，专注于提升多模态情绪识别的可解释性。

R1-Omni 是一个创新的多模态情绪识别模型，通过强化学习提升模型的推理能力和泛化能力。该模型基于 HumanOmni-0.5B 开发，专注于情绪识别任务，能够通过视觉和音频模态信息进行情绪分析。其主要优点包括强大的推理能力、显著提升的情绪识别性能以及在分布外数据上的出色表现。该模型适用于需要多模态理解的场景，如情感分析、智能客服等领域，具有重要的研究和应用价值。

PRIME通过隐式奖励增强在线强化学习，提升语言模型的推理能力。

PRIME是一个开源的在线强化学习解决方案，通过隐式过程奖励来增强语言模型的推理能力。该技术的主要优点在于能够在不依赖显式过程标签的情况下，有效地提供密集的奖励信号，从而加速模型的训练和推理能力的提升。PRIME在数学竞赛基准测试中表现出色，超越了现有的大型语言模型。其背景信息包括由多个研究者共同开发，并在GitHub上发布了相关代码和数据集。PRIME的定位是为需要复杂推理任务的用户提供强大的模型支持。

大规模强化学习用于扩散模型

Text-to-image扩散模型是一类深度生成模型，展现了出色的图像生成能力。然而，这些模型容易受到来自网页规模的文本-图像训练对的隐含偏见的影响，可能无法准确地对我们关心的图像方面进行建模。这可能导致次优样本、模型偏见以及与人类伦理和偏好不符的图像。本文介绍了一种有效可扩展的算法，利用强化学习（RL）改进扩散模型，涵盖了多样的奖励函数，如人类偏好、组成性和公平性，覆盖了数百万张图像。我们阐明了我们的方法如何大幅优于现有方法，使扩散模型与人类偏好保持一致。我们进一步阐明了如何这显著改进了预训练的稳定扩散（SD）模型，生成的样本被人类偏好80.3%，同时改善了生成样本的组成和多样性。

DeepSeek-R1-Zero 是一款通过大规模强化学习训练的推理模型，无需监督微调即可实现卓越推理能力。

DeepSeek-R1-Zero 是由 DeepSeek 团队开发的推理模型，专注于通过强化学习提升模型的推理能力。该模型在无需监督微调的情况下，展现出强大的推理行为，如自我验证、反思和生成长链推理。其主要优点包括高效推理能力、无需预训练即可使用，以及在数学、代码和推理任务上的卓越表现。该模型基于 DeepSeek-V3 架构开发，支持大规模推理任务，适用于研究和商业应用。

基于深度强化学习的模型微调框架

ReFT是一个开源的研究项目，旨在通过深度强化学习技术对大型语言模型进行微调，以提高其在特定任务上的表现。该项目提供了详细的代码和数据，以便研究人员和开发者能够复现论文中的结果。ReFT的主要优点包括能够利用强化学习自动调整模型参数，以及通过微调提高模型在特定任务上的性能。产品背景信息显示，ReFT基于Codellama和Galactica模型，遵循Apache2.0许可证。

用于强化学习的Unitree机器人平台

Unitree RL GYM是一个基于Unitree机器人的强化学习平台，支持Unitree Go2、H1、H1_2、G1等型号。该平台提供了一个集成环境，允许研究人员和开发者训练和测试强化学习算法在真实或模拟的机器人上的表现。它的重要性在于推动机器人自主性和智能技术的发展，特别是在需要复杂决策和运动控制的应用中。Unitree RL GYM是开源的，可以免费使用，主要面向科研人员和机器人爱好者。

多目标强化学习框架，文本转图像生成

Parrot 是一种多目标强化学习框架，专为文本转图像生成而设计。它通过批量 Pareto 最优选择的方式，自动识别在 T2I 生成的 RL 优化过程中不同奖励之间的最佳权衡。此外，Parrot采用了 T2I 模型和提示扩展网络的联合优化方法，促进了生成质量感知的文本提示，从而进一步提高了最终图像质量。为了抵消由于提示扩展而可能导致的原始用户提示的潜在灾难性遗忘，我们在推理时引入了原始提示中心化指导，确保生成的图像忠实于用户输入。大量实验和用户研究表明，Parrot在各种质量标准，包括美学、人类偏好、图像情感和文本-图像对齐方面，均优于几种基线方法。

使用自主强化学习训练野外设备控制代理

DigiRL是一个创新的在线强化学习算法，用于训练能够在野外环境中控制设备的智能代理。它通过自主价值评估模型（VLM）来解决开放式的、现实世界中的Android任务。DigiRL的主要优点包括能够利用现有的非最优离线数据集，并通过离线到在线的强化学习来鼓励代理从自身的尝试和错误中学习。该模型使用指令级价值函数来隐式构建自动课程，优先考虑对代理最有价值的任务，并通过步进级价值函数挑选出在轨迹中对目标有贡献的有利动作。

用于强化学习验证的数学问题数据集

RLVR-GSM-MATH-IF-Mixed-Constraints数据集是一个专注于数学问题的数据集，它包含了多种类型的数学问题和相应的解答，用于训练和验证强化学习模型。这个数据集的重要性在于它能够帮助开发更智能的教育辅助工具，提高学生解决数学问题的能力。产品背景信息显示，该数据集由allenai在Hugging Face平台上发布，包含了GSM8k和MATH两个子集，以及带有可验证约束的IF Prompts，适用于MIT License和ODC-BY license。

DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型，专注于推理和对话能力。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型，基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色，支持多种应用场景，包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力，同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。

多模态大语言模型，提升多模态推理能力

InternVL2-8B-MPO是一个多模态大语言模型（MLLM），通过引入混合偏好优化（MPO）过程，增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线，并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面，InternVL2-8B-MPO基于InternVL2-8B初始化，并使用MMPR数据集进行微调，展现出更强的多模态推理能力，且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率，超越InternVL2-8B 8.7个点，且表现接近于大10倍的InternVL2-76B。

SERL是一个高效的机器人强化学习软件套件

SERL是一个经过精心实现的代码库,包含了一个高效的离策略深度强化学习方法,以及计算奖励和重置环境的方法,一个高质量的广泛采用的机器人控制器,以及一些具有挑战性的示例任务。它为社区提供了一个资源,描述了它的设计选择,并呈现了实验结果。令人惊讶的是,我们发现我们的实现可以实现非常高效的学习,仅需25到50分钟的训练即可获得PCB装配、电缆布线和物体重定位等策略,改进了文献中报告的类似任务的最新结果。这些策略实现了完美或接近完美的成功率,即使在扰动下也具有极强的鲁棒性,并呈现出新兴的恢复和修正行为。我们希望这些有前途的结果和我们的高质量开源实现能为机器人社区提供一个工具,以促进机器人强化学习的进一步发展。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

通过强化学习提升大型语言模型在开源软件演变中的推理能力

SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术，旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制，优化模型的推理能力，使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用，为软件工程领域带来了新的可能性。该技术目前处于研究阶段，尚未明确商业化定价，但其在提升开发效率和代码质量方面具有显著潜力。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

基于多模态的 AI 模型，无缝进行图像、视频、音频和代码的推理

Google Gemini 是一款基于多模态的 AI 模型，能够无缝进行图像、视频、音频和代码的推理。Gemini 是 DeepMind 推出的最先进的 AI 模型，能够在 MMLU（大规模多任务语言理解）等各项测试中超越人类专家。Gemini 具有出色的推理能力，在各种多模态任务中取得了最先进的性能。

通过强化学习微调大型视觉-语言模型作为决策代理

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。

EurusPRM-Stage2是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage2是一个先进的强化学习模型，通过隐式过程奖励来优化生成模型的推理过程。该模型利用因果语言模型的对数似然比来计算过程奖励，从而在不增加额外标注成本的情况下提升模型的推理能力。其主要优点在于能够在仅使用响应级标签的情况下，隐式地学习到过程奖励，从而提高生成模型的准确性和可靠性。该模型在数学问题解答等任务中表现出色，适用于需要复杂推理和决策的场景。

模块化仿人机器人，用于强化学习训练

Agibot X1是由Agibot开发的模块化仿人机器人，具有高自由度，基于Agibot开源框架AimRT作为中间件，并使用强化学习进行运动控制。该项目是Agibot X1使用的强化学习训练代码，可以与Agibot X1提供的推理软件结合用于真实机器人和模拟步行调试，或导入其他机器人模型进行训练。

一个基于强化学习优化的大型语言模型，专注于数学问题解决能力的提升。

DeepScaleR-1.5B-Preview 是一个经过强化学习优化的大型语言模型，专注于提升数学问题解决能力。该模型通过分布式强化学习算法，显著提高了在长文本推理场景下的准确率。其主要优点包括高效的训练策略、显著的性能提升以及开源的灵活性。该模型由加州大学伯克利分校的 Sky Computing Lab 和 Berkeley AI Research 团队开发，旨在推动人工智能在教育领域的应用，尤其是在数学教育和竞赛数学领域。模型采用 MIT 开源许可，完全免费供研究人员和开发者使用。

一个高效的强化学习框架，用于训练推理和搜索引擎调用的语言模型。

Search-R1 是一个强化学习框架，旨在训练能够进行推理和调用搜索引擎的语言模型（LLMs）。它基于 veRL 构建，支持多种强化学习方法和不同的 LLM 架构，使得在工具增强的推理研究和开发中具备高效性和可扩展性。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

大规模多模态推理与指令调优平台

MAmmoTH-VL是一个大规模多模态推理平台，它通过指令调优技术，显著提升了多模态大型语言模型（MLLMs）在多模态任务中的表现。该平台使用开放模型创建了一个包含1200万指令-响应对的数据集，覆盖了多样化的、推理密集型的任务，并提供了详细且忠实的理由。MAmmoTH-VL在MathVerse、MMMU-Pro和MuirBench等基准测试中取得了最先进的性能，展现了其在教育和研究领域的重要性。

先进的多模态大型语言模型，具备卓越的多模态推理能力。

InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型，旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色，能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术，使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景，如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。

EurusPRM-Stage1是一个基于隐式过程奖励的强化学习模型，用于提升生成模型的推理能力。

EurusPRM-Stage1是PRIME-RL项目的一部分，旨在通过隐式过程奖励来增强生成模型的推理能力。该模型利用隐式过程奖励机制，无需额外标注过程标签，即可在推理过程中获得过程奖励。其主要优点是能够有效地提升生成模型在复杂任务中的表现，同时降低了标注成本。该模型适用于需要复杂推理和生成能力的场景，如数学问题解答、自然语言生成等。

增强LLM推理能力的ReFT

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。