产品库

Steiner 是一个基于合成数据训练的推理模型，旨在探索多种推理路径并自主验证。

Steiner 是由 Yichao 'Peak' Ji 开发的推理模型系列，专注于通过强化学习在合成数据上训练，能够在推理时探索多种路径并自主验证或回溯。该模型的目标是复现 OpenAI o1 的推理能力，并验证推理时的扩展曲线。Steiner-preview 是一个正在进行中的项目，其开源目的是为了分享知识并获取更多真实用户的反馈。尽管该模型在某些基准测试中表现出色，但尚未完全实现 OpenAI o1 的推理扩展能力，因此仍处于开发阶段。

DeepSeek-R1-Distill-Qwen-7B 是一个开源的推理模型，专注于数学、代码和推理任务。

DeepSeek-R1-Distill-Qwen-7B 是一个经过强化学习优化的推理模型，基于 Qwen-7B 进行了蒸馏优化。它在数学、代码和推理任务上表现出色，能够生成高质量的推理链和解决方案。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和效率，适用于需要复杂推理和逻辑分析的场景。

DeepSeek-R1-Zero 是一款通过大规模强化学习训练的推理模型，无需监督微调即可实现卓越推理能力。

DeepSeek-R1-Zero 是由 DeepSeek 团队开发的推理模型，专注于通过强化学习提升模型的推理能力。该模型在无需监督微调的情况下，展现出强大的推理行为，如自我验证、反思和生成长链推理。其主要优点包括高效推理能力、无需预训练即可使用，以及在数学、代码和推理任务上的卓越表现。该模型基于 DeepSeek-V3 架构开发，支持大规模推理任务，适用于研究和商业应用。

DeepSeek-R1 是一款高性能推理模型，支持多种语言和任务，适用于研究和商业应用。

DeepSeek-R1 是 DeepSeek 团队推出的第一代推理模型，通过大规模强化学习训练，无需监督微调即可展现出卓越的推理能力。该模型在数学、代码和推理任务上表现优异，与 OpenAI-o1 模型相当。DeepSeek-R1 还提供了多种蒸馏模型，适用于不同规模和性能需求的场景。其开源特性为研究社区提供了强大的工具，支持商业使用和二次开发。

NotaGen 是一个用于符号音乐生成的模型，采用大语言模型训练范式，专注于生成高质量古典乐谱。

NotaGen 是一款创新的符号音乐生成模型，通过预训练、微调和强化学习三个阶段提升音乐生成质量。它利用大语言模型技术，能够生成高质量的古典乐谱，为音乐创作带来新的可能性。该模型的主要优点包括高效生成、风格多样和高质量输出。它适用于音乐创作、教育和研究等领域，具有广泛的应用前景。

通过强化学习提升大型语言模型在开源软件演变中的推理能力

SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术，旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制，优化模型的推理能力，使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用，为软件工程领域带来了新的可能性。该技术目前处于研究阶段，尚未明确商业化定价，但其在提升开发效率和代码质量方面具有显著潜力。

MLGym是一个用于推进AI研究代理的新框架和基准。

MLGym是由Meta的GenAI团队和UCSB NLP团队开发的一个开源框架和基准，用于训练和评估AI研究代理。它通过提供多样化的AI研究任务，推动强化学习算法的发展，帮助研究人员在真实世界的研究场景中训练和评估模型。该框架支持多种任务，包括计算机视觉、自然语言处理和强化学习等领域，旨在为AI研究提供一个标准化的测试平台。

VLM-R1 是一个稳定且通用的强化视觉语言模型，专注于视觉理解任务。

VLM-R1 是一种基于强化学习的视觉语言模型，专注于视觉理解任务，如指代表达理解（Referring Expression Comprehension, REC）。该模型通过结合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在领域内和领域外数据上的出色性能。VLM-R1 的主要优点包括其稳定性和泛化能力，使其能够在多种视觉语言任务中表现出色。该模型基于 Qwen2.5-VL 构建，利用了先进的深度学习技术，如闪存注意力机制（Flash Attention 2），以提高计算效率。VLM-R1 旨在为视觉语言任务提供一种高效且可靠的解决方案，适用于需要精确视觉理解的应用场景。

NovaSky 是一个专注于代码生成和推理模型优化的人工智能技术平台。

NovaSky 是一个专注于提升代码生成和推理模型性能的人工智能技术平台。它通过创新的测试时扩展技术（如 S*）、强化学习蒸馏推理等技术，显著提升了非推理模型的性能，使其在代码生成领域表现出色。该平台致力于为开发者提供高效、低成本的模型训练和优化解决方案，帮助他们在编程任务中实现更高的效率和准确性。NovaSky 的技术背景源于 Sky Computing Lab @ Berkeley，具有强大的学术支持和前沿的技术研究基础。目前，NovaSky 提供多种模型优化方法，包括但不限于推理成本优化和模型蒸馏技术，满足不同开发者的需求。

AlphaMaze 是一款专注于视觉推理任务的解码器语言模型，旨在解决传统语言模型在视觉任务上的不足。

AlphaMaze 是一款专为解决视觉推理任务而设计的解码器语言模型。它通过针对迷宫解谜任务的训练，展示了语言模型在视觉推理方面的潜力。该模型基于 15 亿参数的 Qwen 模型构建，并通过监督微调（SFT）和强化学习（RL）进行训练。其主要优点在于能够将视觉任务转化为文本格式进行推理，从而弥补传统语言模型在空间理解上的不足。该模型的开发背景是提升 AI 在视觉任务上的表现，尤其是在需要逐步推理的场景中。目前，AlphaMaze 作为研究项目，暂未明确其商业化定价和市场定位。

HOMIE 是一种新型的人形机器人遥操作系统，集成人体运动捕捉与强化学习训练框架，用于实现精准的行走与操作任务。

HOMIE 是一种创新的人形机器人遥操作解决方案，旨在通过强化学习和低成本的外骨骼硬件系统，实现精准的行走与操作任务。该技术的重要性在于它解决了传统遥操作系统的低效性和不稳定性问题，通过人体运动捕捉和强化学习训练框架，使机器人能够更加自然地执行复杂的任务。其主要优点包括高效的任务完成能力、无需复杂的运动捕捉设备以及快速的训练时间。该产品主要面向机器人研究机构、制造业和物流行业，价格未明确公开，但其硬件系统成本较低，具有较高的性价比。

UIGEN-T1-Qwen-7b 是一个基于 Qwen2.5-Coder-7B-Instruct 的 70 亿参数模型，用于推理生成 HTML 和 CSS 基础的 UI 组件。

UIGEN-T1-Qwen-7b 是一个专注于 UI 推理生成的大型语言模型。它通过复杂的推理链路方法生成基于 HTML 和 CSS 的 UI 组件，能够为前端开发提供快速的布局生成方案。该模型基于 Qwen2.5-Coder-7B-Instruct 微调而成，专注于基本前端应用的生成，如仪表盘、登录页面和注册表单。其主要优点在于能够快速生成结构化的 HTML/CSS 代码，并通过推理生成符合设计原则的 UI 布局。该模型的主要应用场景是简化前端开发流程，提高开发效率，并为低代码/无代码工具提供支持。

OpenThinker-32B 是一款强大的开源推理模型，专为提升开放数据推理能力而设计。

OpenThinker-32B 是由 Open Thoughts 团队开发的一款开源推理模型。它通过扩展数据规模、验证推理路径和扩展模型大小来实现强大的推理能力。该模型在数学、代码和科学等推理基准测试中表现卓越，超越了现有的开放数据推理模型。其主要优点包括开源数据、高性能和可扩展性。该模型基于 Qwen2.5-32B-Instruct 进行微调，并在大规模数据集上训练，旨在为研究人员和开发者提供强大的推理工具。

一个基于强化学习优化的大型语言模型，专注于数学问题解决能力的提升。

DeepScaleR-1.5B-Preview 是一个经过强化学习优化的大型语言模型，专注于提升数学问题解决能力。该模型通过分布式强化学习算法，显著提高了在长文本推理场景下的准确率。其主要优点包括高效的训练策略、显著的性能提升以及开源的灵活性。该模型由加州大学伯克利分校的 Sky Computing Lab 和 Berkeley AI Research 团队开发，旨在推动人工智能在教育领域的应用，尤其是在数学教育和竞赛数学领域。模型采用 MIT 开源许可，完全免费供研究人员和开发者使用。

Neosync 是一款开源的数据匿名化和合成数据生成工具，帮助开发者安全地使用生产数据进行本地开发和测试。

Neosync 是一款专注于数据隐私和安全的平台，通过匿名化和合成数据技术，为开发者提供安全、高质量的生产数据副本，用于本地开发和测试。其主要优点包括强大的数据处理能力、灵活的配置选项以及与多种数据库的无缝集成。Neosync 旨在解决传统手动创建模拟数据的低效和不安全问题，通过自动化流程大幅缩短数据准备时间，同时确保数据符合隐私法规如 GDPR、HIPAA 等。该产品提供免费试用，适合需要在本地环境中安全使用生产数据的开发团队。

s1是一个基于Qwen2.5-32B-Instruct微调的推理模型，仅用1000个样本进行训练。

s1是一个推理模型，专注于通过少量样本实现高效的文本生成能力。它通过预算强制技术在测试时进行扩展，能够匹配o1-preview的性能。该模型由Niklas Muennighoff等人开发，相关研究发表在arXiv上。模型使用Safetensors技术，具有328亿参数，支持文本生成任务。其主要优点是能够通过少量样本实现高质量的推理，适合需要高效文本生成的场景。

一个专注于整理最佳开源推理数据集的社区项目

Open Thoughts 是一个由 Bespoke Labs 和 DataComp 社区主导的项目，旨在整理高质量的开源推理数据集，用于训练先进的小模型。该项目汇集了来自斯坦福大学、加州大学伯克利分校、华盛顿大学等多所高校和研究机构的研究人员与工程师，致力于通过优质数据集推动推理模型的发展。其背景是当前推理模型在数学和代码推理等领域的应用需求日益增长，而高质量的数据集是提升模型性能的关键。该项目目前免费开放，主要面向研究人员、开发者以及对推理模型感兴趣的专业人士，其数据集和工具的开源性使其成为推动人工智能教育和研究的重要资源。

低成本强化视觉语言模型的泛化能力，仅需不到3美元。

R1-V是一个专注于强化视觉语言模型（VLM）泛化能力的项目。它通过可验证奖励的强化学习（RLVR）技术，显著提升了VLM在视觉计数任务中的泛化能力，尤其是在分布外（OOD）测试中表现出色。该技术的重要性在于，它能够在极低的成本下（仅需2.62美元的训练成本），实现对大规模模型的高效优化，为视觉语言模型的实用化提供了新的思路。项目背景基于对现有VLM训练方法的改进，目标是通过创新的训练策略，提升模型在复杂视觉任务中的表现。R1-V的开源性质也使其成为研究者和开发者探索和应用先进VLM技术的重要资源。

Dolphin R1是一个用于训练推理模型的数据集，包含80万条样本。

Dolphin R1是一个由Cognitive Computations团队创建的数据集，旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源，有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持，这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布，为自然语言处理领域的研究和开发提供了重要的基础，推动了相关技术的发展。

OpenAI o3-mini 是 OpenAI 推出的最新高性价比推理模型，专为 STEM 领域优化。

OpenAI o3-mini 是 OpenAI 推出的最新推理模型，专为科学、技术、工程和数学（STEM）领域优化。它在保持低成本和低延迟的同时，提供了强大的推理能力，尤其在数学、科学和编程方面表现出色。该模型支持多种开发者功能，如函数调用、结构化输出等，并且可以根据需求选择不同的推理强度。o3-mini 的推出进一步降低了推理模型的使用成本，使其更适合广泛的应用场景。

Tülu 3 405B 是一个大规模开源语言模型，通过强化学习提升性能。

Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型，具有 4050 亿参数。该模型通过创新的强化学习框架（RLVR）提升性能，尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化，采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具，适用于需要高性能语言模型的各种应用场景。

CUA 是一种能够通过图形界面与数字世界交互的通用接口。

Computer-Using Agent (CUA) 是 OpenAI 开发的一种先进的人工智能模型，结合了 GPT-4o 的视觉能力和通过强化学习的高级推理能力。它能够像人类一样与图形用户界面（GUI）交互，无需依赖特定操作系统的 API 或网络接口。CUA 的灵活性使其能够在多种数字环境中执行任务，如填写表单、浏览网页等。这一技术的出现标志着 AI 发展的下一步，为 AI 在日常工具中的应用开辟了新的可能性。CUA 目前处于研究预览阶段，通过 Operator 提供给美国的 Pro 用户使用。

DeepSeek-R1-Distill-Qwen-1.5B 是一款高效推理的开源语言模型，适用于多种自然语言处理任务。

DeepSeek-R1-Distill-Qwen-1.5B 是由 DeepSeek 团队开发的开源语言模型，基于 Qwen2.5 系列进行蒸馏优化。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和性能，同时保持了较小的模型体积。它在多项基准测试中表现出色，尤其在数学、代码生成和推理任务中具有显著优势。该模型支持商业使用，并允许用户进行修改和衍生作品开发，适合研究机构和企业用于开发高性能的自然语言处理应用。

DeepSeek-R1-Distill-Llama-8B 是一个高性能的开源语言模型，适用于文本生成和推理任务。

DeepSeek-R1-Distill-Llama-8B 是 DeepSeek 团队开发的高性能语言模型，基于 Llama 架构并经过强化学习和蒸馏优化。该模型在推理、代码生成和多语言任务中表现出色，是开源社区中首个通过纯强化学习提升推理能力的模型。它支持商业使用，允许修改和衍生作品，适合学术研究和企业应用。

DeepSeek-R1-Distill-Qwen-14B 是一款高性能的文本生成模型，适用于多种推理和生成任务。

DeepSeek-R1-Distill-Qwen-14B 是 DeepSeek 团队开发的一款基于 Qwen-14B 的蒸馏模型，专注于推理和文本生成任务。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和生成质量，同时降低了计算资源需求。其主要优点包括高性能、低资源消耗和广泛的适用性，适用于需要高效推理和文本生成的场景。

DeepSeek-R1-Distill-Qwen-32B 是一款高性能的开源语言模型，适用于多种文本生成任务。

DeepSeek-R1-Distill-Qwen-32B 是由 DeepSeek 团队开发的高性能语言模型，基于 Qwen-2.5 系列进行蒸馏优化。该模型在多项基准测试中表现出色，尤其是在数学、代码和推理任务上。其主要优点包括高效的推理能力、强大的多语言支持以及开源特性，便于研究人员和开发者进行二次开发和应用。该模型适用于需要高性能文本生成的场景，如智能客服、内容创作和代码辅助等，具有广泛的应用前景。

DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型，专注于推理和对话能力。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型，基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色，支持多种应用场景，包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力，同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。

PaSa 是一个由大语言模型驱动的先进学术论文搜索代理，能够自主决策并获取准确结果。

PaSa 是由字节跳动开发的一种先进学术论文搜索代理，基于大语言模型（LLM）技术，能够自主调用搜索工具、阅读论文并筛选相关参考文献，以获取复杂学术查询的全面准确结果。该技术通过强化学习优化，使用合成数据集 AutoScholarQuery 进行训练，并在真实世界查询数据集 RealScholarQuery 上表现出色，显著优于传统搜索引擎和基于 GPT 的方法。PaSa 的主要优势在于其高召回率和精准率，能够为研究人员提供更高效的学术搜索体验。

Kimi k1.5 是一个通过强化学习扩展的多模态语言模型，专注于提升推理和逻辑能力。

Kimi k1.5 是由 MoonshotAI 开发的多模态语言模型，通过强化学习和长上下文扩展技术，显著提升了模型在复杂推理任务中的表现。该模型在多个基准测试中达到了行业领先水平，例如在 AIME 和 MATH-500 等数学推理任务中超越了 GPT-4o 和 Claude Sonnet 3.5。其主要优点包括高效的训练框架、强大的多模态推理能力以及对长上下文的支持。Kimi k1.5 主要面向需要复杂推理和逻辑分析的应用场景，如编程辅助、数学解题和代码生成等。

一个用于强化学习人类反馈训练过程可视化的工具，帮助深度理解与调试。

RLLoggingBoard 是一个专注于强化学习人类反馈（RLHF）训练过程可视化的工具。它通过细粒度的指标监控，帮助研究人员和开发者直观理解训练过程，快速定位问题，并优化训练效果。该工具支持多种可视化模块，包括奖励曲线、响应排序和 token 级别指标等，旨在辅助现有的训练框架，提升训练效率和效果。它适用于任何支持保存所需指标的训练框架，具有高度的灵活性和可扩展性。