产品库

DeepSeek-R1 是一款高性能推理模型，支持多种语言和任务，适用于研究和商业应用。

DeepSeek-R1 是 DeepSeek 团队推出的第一代推理模型，通过大规模强化学习训练，无需监督微调即可展现出卓越的推理能力。该模型在数学、代码和推理任务上表现优异，与 OpenAI-o1 模型相当。DeepSeek-R1 还提供了多种蒸馏模型，适用于不同规模和性能需求的场景。其开源特性为研究社区提供了强大的工具，支持商业使用和二次开发。

Light-R1 是一个专注于长链推理（Long COT）的开源项目，通过课程式 SFT、DPO 和 RL 提供从零开始的训练方法。

Light-R1 是一个由 Qihoo360 开发的开源项目，旨在通过课程式监督微调（SFT）、直接偏好优化（DPO）和强化学习（RL）训练长链推理模型。该项目通过去污染数据集和高效的训练方法，实现了从零开始的长链推理能力。其主要优点包括开源的训练数据、低成本的训练方式以及在数学推理领域的卓越性能。项目背景基于当前长链推理模型的训练需求，旨在提供一种透明且可复现的训练方法。项目目前免费开源，适合研究机构和开发者使用。

Steiner 是一个基于合成数据训练的推理模型，旨在探索多种推理路径并自主验证。

Steiner 是由 Yichao 'Peak' Ji 开发的推理模型系列，专注于通过强化学习在合成数据上训练，能够在推理时探索多种路径并自主验证或回溯。该模型的目标是复现 OpenAI o1 的推理能力，并验证推理时的扩展曲线。Steiner-preview 是一个正在进行中的项目，其开源目的是为了分享知识并获取更多真实用户的反馈。尽管该模型在某些基准测试中表现出色，但尚未完全实现 OpenAI o1 的推理扩展能力，因此仍处于开发阶段。

NotaGen 是一个用于符号音乐生成的模型，采用大语言模型训练范式，专注于生成高质量古典乐谱。

NotaGen 是一款创新的符号音乐生成模型，通过预训练、微调和强化学习三个阶段提升音乐生成质量。它利用大语言模型技术，能够生成高质量的古典乐谱，为音乐创作带来新的可能性。该模型的主要优点包括高效生成、风格多样和高质量输出。它适用于音乐创作、教育和研究等领域，具有广泛的应用前景。

NovaSky 是一个专注于代码生成和推理模型优化的人工智能技术平台。

NovaSky 是一个专注于提升代码生成和推理模型性能的人工智能技术平台。它通过创新的测试时扩展技术（如 S*）、强化学习蒸馏推理等技术，显著提升了非推理模型的性能，使其在代码生成领域表现出色。该平台致力于为开发者提供高效、低成本的模型训练和优化解决方案，帮助他们在编程任务中实现更高的效率和准确性。NovaSky 的技术背景源于 Sky Computing Lab @ Berkeley，具有强大的学术支持和前沿的技术研究基础。目前，NovaSky 提供多种模型优化方法，包括但不限于推理成本优化和模型蒸馏技术，满足不同开发者的需求。

OpenThinker-32B 是一款强大的开源推理模型，专为提升开放数据推理能力而设计。

OpenThinker-32B 是由 Open Thoughts 团队开发的一款开源推理模型。它通过扩展数据规模、验证推理路径和扩展模型大小来实现强大的推理能力。该模型在数学、代码和科学等推理基准测试中表现卓越，超越了现有的开放数据推理模型。其主要优点包括开源数据、高性能和可扩展性。该模型基于 Qwen2.5-32B-Instruct 进行微调，并在大规模数据集上训练，旨在为研究人员和开发者提供强大的推理工具。

一个基于强化学习优化的大型语言模型，专注于数学问题解决能力的提升。

DeepScaleR-1.5B-Preview 是一个经过强化学习优化的大型语言模型，专注于提升数学问题解决能力。该模型通过分布式强化学习算法，显著提高了在长文本推理场景下的准确率。其主要优点包括高效的训练策略、显著的性能提升以及开源的灵活性。该模型由加州大学伯克利分校的 Sky Computing Lab 和 Berkeley AI Research 团队开发，旨在推动人工智能在教育领域的应用，尤其是在数学教育和竞赛数学领域。模型采用 MIT 开源许可，完全免费供研究人员和开发者使用。

一个专注于整理最佳开源推理数据集的社区项目

Open Thoughts 是一个由 Bespoke Labs 和 DataComp 社区主导的项目，旨在整理高质量的开源推理数据集，用于训练先进的小模型。该项目汇集了来自斯坦福大学、加州大学伯克利分校、华盛顿大学等多所高校和研究机构的研究人员与工程师，致力于通过优质数据集推动推理模型的发展。其背景是当前推理模型在数学和代码推理等领域的应用需求日益增长，而高质量的数据集是提升模型性能的关键。该项目目前免费开放，主要面向研究人员、开发者以及对推理模型感兴趣的专业人士，其数据集和工具的开源性使其成为推动人工智能教育和研究的重要资源。

OpenAI o3-mini 是 OpenAI 推出的最新高性价比推理模型，专为 STEM 领域优化。

OpenAI o3-mini 是 OpenAI 推出的最新推理模型，专为科学、技术、工程和数学（STEM）领域优化。它在保持低成本和低延迟的同时，提供了强大的推理能力，尤其在数学、科学和编程方面表现出色。该模型支持多种开发者功能，如函数调用、结构化输出等，并且可以根据需求选择不同的推理强度。o3-mini 的推出进一步降低了推理模型的使用成本，使其更适合广泛的应用场景。

Tülu 3 405B 是一个大规模开源语言模型，通过强化学习提升性能。

Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型，具有 4050 亿参数。该模型通过创新的强化学习框架（RLVR）提升性能，尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化，采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具，适用于需要高性能语言模型的各种应用场景。

DeepSeek-R1-Distill-Qwen-7B 是一个开源的推理模型，专注于数学、代码和推理任务。

DeepSeek-R1-Distill-Qwen-7B 是一个经过强化学习优化的推理模型，基于 Qwen-7B 进行了蒸馏优化。它在数学、代码和推理任务上表现出色，能够生成高质量的推理链和解决方案。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和效率，适用于需要复杂推理和逻辑分析的场景。

PaSa 是一个由大语言模型驱动的先进学术论文搜索代理，能够自主决策并获取准确结果。

PaSa 是由字节跳动开发的一种先进学术论文搜索代理，基于大语言模型（LLM）技术，能够自主调用搜索工具、阅读论文并筛选相关参考文献，以获取复杂学术查询的全面准确结果。该技术通过强化学习优化，使用合成数据集 AutoScholarQuery 进行训练，并在真实世界查询数据集 RealScholarQuery 上表现出色，显著优于传统搜索引擎和基于 GPT 的方法。PaSa 的主要优势在于其高召回率和精准率，能够为研究人员提供更高效的学术搜索体验。

DeepSeek-R1-Zero 是一款通过大规模强化学习训练的推理模型，无需监督微调即可实现卓越推理能力。

DeepSeek-R1-Zero 是由 DeepSeek 团队开发的推理模型，专注于通过强化学习提升模型的推理能力。该模型在无需监督微调的情况下，展现出强大的推理行为，如自我验证、反思和生成长链推理。其主要优点包括高效推理能力、无需预训练即可使用，以及在数学、代码和推理任务上的卓越表现。该模型基于 DeepSeek-V3 架构开发，支持大规模推理任务，适用于研究和商业应用。

一个用于强化学习人类反馈训练过程可视化的工具，帮助深度理解与调试。

RLLoggingBoard 是一个专注于强化学习人类反馈（RLHF）训练过程可视化的工具。它通过细粒度的指标监控，帮助研究人员和开发者直观理解训练过程，快速定位问题，并优化训练效果。该工具支持多种可视化模块，包括奖励曲线、响应排序和 token 级别指标等，旨在辅助现有的训练框架，提升训练效率和效果。它适用于任何支持保存所需指标的训练框架，具有高度的灵活性和可扩展性。

一个实时适应未见任务的自适应大型语言模型框架。

SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架，旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型（LLMs）以适应未见任务：首先，调度系统识别任务属性；然后，使用强化学习训练的任务特定'专家'向量被动态混合，以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发，目前在GitHub上开源，拥有195颗星和12次分叉。

新一代最强推理模型

OpenAI o3模型是继o1之后的新一代推理模型，包括o3和o3-mini两个版本。o3在某些条件下接近于通用人工智能（AGI），在ARC-AGI基准测试中得分高达87.5%，远超人类平均水平。它在数学和编程任务中表现出色，在2024年美国数学邀请赛（AIME）中得分96.7%，在Codeforces评级中达到2727分。o3能够自我事实核查，通过“私人思维链”进行推理，提高答案的准确性。o3是首个使用“审议对齐”技术训练的模型，以符合安全原则。目前，o3模型尚未广泛可用，但安全研究人员可以注册预览o3-mini模型。o3 mini版将在1月底推出，之后不久推出o3完整版。

首款基于行为基础模型的虚拟物理人形代理控制工具

Meta Motivo是由Meta FAIR发布的首款行为基础模型，通过一种新颖的无监督强化学习算法预训练，用于控制复杂的虚拟人形代理完成全身任务。该模型能够在测试时，通过提示解决未见过的任务，如动作跟踪、姿势达到和奖励优化，无需额外学习或微调。这一技术的重要性在于其零样本学习能力，能够处理多种复杂任务，同时保持行为的鲁棒性。Meta Motivo的开发背景是基于对更复杂任务和不同类型代理的泛化能力的追求，其开源的预训练模型和训练代码鼓励社区进一步发展行为基础模型的研究。

上海人工智能实验室开发的强推理AI模型

InternThinker是上海人工智能实验室（上海AI实验室）研发的一款强推理AI模型，致力于通过“通专融合”路径探索开放、可控、可信的通用人工智能（AGI）。该模型具备长思维能力，并能在推理过程中进行自我反思和纠正，从而在数学、代码、推理谜题等多种复杂推理任务上取得更优结果。InternThinker的创新之处在于其元动作思考能力，能够自主生成高智力密度数据，并通过大规模沙盒环境获取反馈，实现高质量思维链的独立构建，大幅提升模型的复杂任务处理性能。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

用于测量和训练 AI 通用智能的软件平台

Universe 是一个软件平台,能够通过各种游戏、网站和其他应用程序,测量和训练人工智能的通用智能能力。它允许 AI 代理像人类一样使用计算机,通过观察屏幕像素和操作虚拟键盘和鼠标来与系统交互。该平台集成了包括 Flash 游戏、网页任务、视频游戏等上千种环境,旨在通过构建能够灵活应用过往经验快速掌握陌生环境的 AI 代理,从而实现通用人工智能的重大突破。

增强LLM推理能力的ReFT

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。

从人工智能反馈中获得内在动机

Motif 是一个基于 PyTorch 的项目，通过从 LLM（大型语言模型）的偏好中获取奖励函数，训练 AI 代理在 NetHack 上进行。它可以生成与人类行为直觉一致的行为，并且可以通过提示修改进行引导。

LG AI 推出的开源推理 AI 模型，具备卓越的推理能力。

EXAONE Deep 是 LG AI Research 推出的先进推理 AI 模型，标志着韩国在全球 AI 市场中的竞争力。它具备 32 亿参数，表现卓越，尤其在数学和科学问题解决方面展现出色。该模型的发布使得 LG 在 AI 领域迈入了自主决策的时代，其开源特性使得更多开发者能够利用这一技术进行研究与开发。EXAONE Deep 的轻量级和在设备上的模型设计使得其适用于多个行业，包括教育、科学研究、编程等。

o1-pro 模型通过强化学习提升复杂推理能力，提供更优答案。

o1-pro 模型是一种先进的人工智能语言模型，专为提供高质量文本生成和复杂推理设计。其在推理和响应准确性上表现优越，适合需要高精度文本处理的应用场景。该模型的定价基于使用的 tokens，输入每百万 tokens 价格为 150 美元，输出每百万 tokens 价格为 600 美元，适合企业和开发者在其应用中集成高效的文本生成能力。

一个开源文本转语音系统，致力于实现人类语音的自然化。

Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统，旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力，适合各种实时应用场景。该产品是免费的，旨在为开发者和研究者提供便捷的语音合成工具。

增强文本与视觉任务处理能力的开源模型。

Mistral-Small-3.1-24B-Base-2503 是一款具有 240 亿参数的先进开源模型，支持多语言和长上下文处理，适用于文本与视觉任务。它是 Mistral Small 3.1 的基础模型，具有较强的多模态能力，适合企业需求。

Cohere Command 是专为企业设计的高效能语言模型。

Cohere Command 是一个高可扩展性的语言模型系列，旨在为企业提供可靠的人工智能解决方案，助力团队专注于重要工作。其主要优点包括：高性能、强准确性、可私人部署和自定义，适合多种真实世界的企业应用场景。

一个帮助用户寻找工作的智能平台。

OpenJobs AI 是一个创新的在线平台，旨在通过人工智能技术帮助求职者找到理想的职位。该平台提供个性化的职位推荐，用户友好的界面，以及强大的简历生成工具，为求职者提供了无缝的求职体验。平台免费提供基本功能，用户可以通过上传简历和搜索职位来快速找到合适的工作机会。

通过拍照轻松追踪卡路里。

Cal AI 是一款利用先进的人工智能技术，通过拍照快速计算食物的卡路里和营养成分的应用程序。它结合深度传感器和多模态 AI 模型，为用户提供准确的饮食跟踪。适合关注健康饮食和卡路里管理的用户，Cal AI 的使用非常简单，帮助用户轻松获取食物信息，并提高饮食意识。