产品库

用于强化学习的Unitree机器人平台

Unitree RL GYM是一个基于Unitree机器人的强化学习平台，支持Unitree Go2、H1、H1_2、G1等型号。该平台提供了一个集成环境，允许研究人员和开发者训练和测试强化学习算法在真实或模拟的机器人上的表现。它的重要性在于推动机器人自主性和智能技术的发展，特别是在需要复杂决策和运动控制的应用中。Unitree RL GYM是开源的，可以免费使用，主要面向科研人员和机器人爱好者。

大规模强化学习用于扩散模型

Text-to-image扩散模型是一类深度生成模型，展现了出色的图像生成能力。然而，这些模型容易受到来自网页规模的文本-图像训练对的隐含偏见的影响，可能无法准确地对我们关心的图像方面进行建模。这可能导致次优样本、模型偏见以及与人类伦理和偏好不符的图像。本文介绍了一种有效可扩展的算法，利用强化学习（RL）改进扩散模型，涵盖了多样的奖励函数，如人类偏好、组成性和公平性，覆盖了数百万张图像。我们阐明了我们的方法如何大幅优于现有方法，使扩散模型与人类偏好保持一致。我们进一步阐明了如何这显著改进了预训练的稳定扩散（SD）模型，生成的样本被人类偏好80.3%，同时改善了生成样本的组成和多样性。

JaxMARL - 多智能体强化学习库

JaxMARL 是一个多智能体强化学习库，结合了易用性和 GPU 加速效能。它支持常用的多智能体强化学习环境以及流行的基准算法。目标是提供一个全面评估多智能体强化学习方法的库，并与相关基准进行比较。同时，它还引入了 SMAX，这是一个简化版的流行的星际争霸多智能体挑战环境，无需运行星际争霸 II 游戏引擎。

SERL是一个高效的机器人强化学习软件套件

SERL是一个经过精心实现的代码库,包含了一个高效的离策略深度强化学习方法,以及计算奖励和重置环境的方法,一个高质量的广泛采用的机器人控制器,以及一些具有挑战性的示例任务。它为社区提供了一个资源,描述了它的设计选择,并呈现了实验结果。令人惊讶的是,我们发现我们的实现可以实现非常高效的学习,仅需25到50分钟的训练即可获得PCB装配、电缆布线和物体重定位等策略,改进了文献中报告的类似任务的最新结果。这些策略实现了完美或接近完美的成功率,即使在扰动下也具有极强的鲁棒性,并呈现出新兴的恢复和修正行为。我们希望这些有前途的结果和我们的高质量开源实现能为机器人社区提供一个工具,以促进机器人强化学习的进一步发展。

基于深度强化学习的模型微调框架

ReFT是一个开源的研究项目，旨在通过深度强化学习技术对大型语言模型进行微调，以提高其在特定任务上的表现。该项目提供了详细的代码和数据，以便研究人员和开发者能够复现论文中的结果。ReFT的主要优点包括能够利用强化学习自动调整模型参数，以及通过微调提高模型在特定任务上的性能。产品背景信息显示，ReFT基于Codellama和Galactica模型，遵循Apache2.0许可证。

为真实世界机器人提供最先进的机器学习模型、数据集和工具。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

模块化仿人机器人，用于强化学习训练

Agibot X1是由Agibot开发的模块化仿人机器人，具有高自由度，基于Agibot开源框架AimRT作为中间件，并使用强化学习进行运动控制。该项目是Agibot X1使用的强化学习训练代码，可以与Agibot X1提供的推理软件结合用于真实机器人和模拟步行调试，或导入其他机器人模型进行训练。

使用自主强化学习训练野外设备控制代理

DigiRL是一个创新的在线强化学习算法，用于训练能够在野外环境中控制设备的智能代理。它通过自主价值评估模型（VLM）来解决开放式的、现实世界中的Android任务。DigiRL的主要优点包括能够利用现有的非最优离线数据集，并通过离线到在线的强化学习来鼓励代理从自身的尝试和错误中学习。该模型使用指令级价值函数来隐式构建自动课程，优先考虑对代理最有价值的任务，并通过步进级价值函数挑选出在轨迹中对目标有贡献的有利动作。

提高大学生自学效率和质量的智能学习助手

夸克App推出的AI学习助手基于自研大模型，通过智能化的解题思路和讲解方式，提升大学生自学效率和质量。采用夸克宝宝的虚拟形象进行题目讲解，提供“考点分析”“详解步骤”“答案总结”等详细内容。并通过夸克网盘实现学习资料备份和使用，以及夸克扫描王提取核心复习内容。覆盖英语等学科的选择题、填空题、阅读题等常考题型，后续将加入数学等学科。

多目标强化学习框架，文本转图像生成

Parrot 是一种多目标强化学习框架，专为文本转图像生成而设计。它通过批量 Pareto 最优选择的方式，自动识别在 T2I 生成的 RL 优化过程中不同奖励之间的最佳权衡。此外，Parrot采用了 T2I 模型和提示扩展网络的联合优化方法，促进了生成质量感知的文本提示，从而进一步提高了最终图像质量。为了抵消由于提示扩展而可能导致的原始用户提示的潜在灾难性遗忘，我们在推理时引入了原始提示中心化指导，确保生成的图像忠实于用户输入。大量实验和用户研究表明，Parrot在各种质量标准，包括美学、人类偏好、图像情感和文本-图像对齐方面，均优于几种基线方法。

用于强化学习验证的数学问题数据集

RLVR-GSM-MATH-IF-Mixed-Constraints数据集是一个专注于数学问题的数据集，它包含了多种类型的数学问题和相应的解答，用于训练和验证强化学习模型。这个数据集的重要性在于它能够帮助开发更智能的教育辅助工具，提高学生解决数学问题的能力。产品背景信息显示，该数据集由allenai在Hugging Face平台上发布，包含了GSM8k和MATH两个子集，以及带有可验证约束的IF Prompts，适用于MIT License和ODC-BY license。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

通过强化学习微调大型视觉-语言模型作为决策代理

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。

通过模仿学习实现手术任务的机器人

Surgical Robot Transformer 是一种通过模仿学习在达芬奇机器人上执行手术操作任务的模型。该模型通过相对动作公式克服了达芬奇系统的前向运动学不准确的问题，使得机器人能够成功地训练和部署政策。这种方法的一个显著优势是可以直接利用包含近似运动学的大量临床数据进行机器人学习，而无需进一步校正。该模型展示了在执行三个基本手术任务（包括组织操作、针头处理和结扎）方面的成功。

UIED用户体验学习平台是由UIED设计团队创建的专注于AIGC技术领域的学习平台。

UIED用户体验学习平台是由UIED设计团队创建的专注于AIGC技术领域的学习平台。该平台旨在为希望深入了解AIGC和AI技术的设计师提供全面的教程、案例分析和实战项目。通过UIED，设计师可以学习AIGC工具的操作方法、探索AI在设计中的应用案例，并利用这些技术优化设计流程，提升创作质量。

个性化学习平台，提升学习效率。

KnoWhiz是一个在线教育平台，专注于将课程转化为高效、个性化的学习计划。它提供个性化的闪卡、结构化学习模块和即时反馈的测验，帮助用户更快地实现学习目标。平台支持按月或按年订阅，提供基础、高级和专业三种不同的学习计划。

个性化学习路径的AI助手

EducUp Study是一个致力于使学习变得简单和有趣的教育技术初创公司。它使用人工智能技术将任何想法、视频、网站、PDF或文本转化为定制化的、游戏化的学习课程，以满足用户的个性化学习需求。

人类动作模仿与自主技能学习系统

HumanPlus是一个研究项目，旨在通过模仿人类动作来训练人形机器人，从而实现自主技能学习。该项目通过模拟强化学习训练低级策略，并将这些策略应用到真实世界中，实现实时跟踪人类身体和手部动作。通过影子模仿技术，操作员可以远程操作机器人收集全身数据，用于学习不同任务。此外，通过行为克隆技术，机器人能够模仿人类技能，完成各种任务。

基于《Factorio》游戏的大语言模型测试与学习环境

Factorio Learning Environment（FLE）是基于《Factorio》游戏构建的新型框架，用于评估大型语言模型（LLMs）在长期规划、程序合成和资源优化方面的能力。随着LLMs逐渐饱和现有基准测试，FLE提供了新的开放式评估方式。它的重要性在于能让研究人员更全面、深入地了解LLMs的优势与不足。主要优点是提供了开放式且难度呈指数级增长的挑战，拥有结构化任务和开放式任务两种评估协议。该项目由Jack Hopkins等人开发，以开源形式发布，免费使用，定位是推动AI研究人员对复杂、开放式领域中智能体能力的研究。

PRIME通过隐式奖励增强在线强化学习，提升语言模型的推理能力。

PRIME是一个开源的在线强化学习解决方案，通过隐式过程奖励来增强语言模型的推理能力。该技术的主要优点在于能够在不依赖显式过程标签的情况下，有效地提供密集的奖励信号，从而加速模型的训练和推理能力的提升。PRIME在数学竞赛基准测试中表现出色，超越了现有的大型语言模型。其背景信息包括由多个研究者共同开发，并在GitHub上发布了相关代码和数据集。PRIME的定位是为需要复杂推理任务的用户提供强大的模型支持。

个性化学习路径，学习任何技能

Learniverse AI是一款个性化学习平台，可以帮助用户在几分钟内学习任何技能。它提供了个性化的课程、项目和测验，根据用户的实际目标进行优化。无论是想提升工作技能、学习新的兴趣爱好，还是探索新的领域，Learniverse AI都能帮助你实现。

个性化学习路径和互动练习，自主学习任何主题。

Learn Earth是一款AI-First自适应学习平台，利用先进的人工智能模型生成高质量学习材料，为用户提供个性化学习路径和互动练习，适应用户的知识水平。

学习利器，智能学习工具

Peer是一款基于人工智能的教育科技工具，帮助学生加快学习进程，提供个性化学习材料和技巧。功能包括AI学习工具、个性化学习材料和互动测验。Peer通过适应每个学生的学习风格，提供个性化的学习材料和技巧，帮助学生更高效地学习和记忆知识。定价和定位请登录官方网站了解更多信息。

个性化学习，AI辅助教育

Chat2Course是一款创新的AI聊天机器人，提供个性化学习体验。它根据用户的偏好、学习风格和目标，定制独特的学习课程。通过与我们的聊天机器人一起制定教育目标，您将获得一个真正适合您需求的课程。Chat2Course是为您量身打造的教育革命。

通过强化学习提升大型语言模型在开源软件演变中的推理能力

SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术，旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制，优化模型的推理能力，使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用，为软件工程领域带来了新的可能性。该技术目前处于研究阶段，尚未明确商业化定价，但其在提升开发效率和代码质量方面具有显著潜力。

一个用于强化学习人类反馈训练过程可视化的工具，帮助深度理解与调试。

RLLoggingBoard 是一个专注于强化学习人类反馈（RLHF）训练过程可视化的工具。它通过细粒度的指标监控，帮助研究人员和开发者直观理解训练过程，快速定位问题，并优化训练效果。该工具支持多种可视化模块，包括奖励曲线、响应排序和 token 级别指标等，旨在辅助现有的训练框架，提升训练效率和效果。它适用于任何支持保存所需指标的训练框架，具有高度的灵活性和可扩展性。

机器学习加速 API

DirectML 是Windows上的机器学习平台API,为硬件供应商提供了一个通用的抽象层来暴露他们的机器学习加速器。它可以与任何兼容DirectX 12的设备一起使用,包括GPU和NPU。通过减少编写机器学习代码的成本,DirectML使得AI功能集成更加容易。

AI驱动的个性化学习工具

Nurovant AI 是一款由人工智能驱动的教育应用程序,致力于通过人工智能和教育的结合,为每个人创造直观的学习工具,使复杂的教育内容简单化,让学习变得轻松有趣。该产品可以根据每个学生的学习进度和喜好,自动生成个性化的学习计划,设计适合不同需求的课程内容和练习,让学习者主动掌握知识。它还具有AI助手功能,可以提问、解释概念、纠正误解,像私人老师一样提供一对一的学习支持。该产品旨在让学习变得更智能、更有效率。

一款开源的14B参数量的数学模型，通过强化学习训练，性能卓越。

Light-R1-14B-DS 是由北京奇虎科技有限公司开发的开源数学模型。该模型基于 DeepSeek-R1-Distill-Qwen-14B 进行强化学习训练，在 AIME24 和 AIME25 数学竞赛基准测试中分别达到了 74.0 和 60.2 的高分，超越了许多 32B 参数量的模型。它在轻量级预算下成功实现了对已经长链推理微调模型的强化学习尝试，为开源社区提供了一个强大的数学模型工具。该模型的开源有助于推动自然语言处理在教育领域的应用，特别是数学问题解决方面，为研究人员和开发者提供了宝贵的研究基础和实践工具。