一个基于强化学习优化的大型语言模型,专注于数学问题解决能力的提升。
DeepScaleR-1.5B-Preview 是一个经过强化学习优化的大型语言模型,专注于提升数学问题解决能力。该模型通过分布式强化学习算法,显著提高了在长文本推理场景下的准确率。其主要优点包括高效的训练策略、显著的性能提升以及开源的灵活性。该模型由加州大学伯克利分校的 Sky Computing Lab 和 Berkeley AI Research 团队开发,旨在推动人工智能在教育领域的应用,尤其是在数学教育和竞赛数学领域。模型采用 MIT 开源许可,完全免费供研究人员和开发者使用。
低成本强化视觉语言模型的泛化能力,仅需不到3美元。
R1-V是一个专注于强化视觉语言模型(VLM)泛化能力的项目。它通过可验证奖励的强化学习(RLVR)技术,显著提升了VLM在视觉计数任务中的泛化能力,尤其是在分布外(OOD)测试中表现出色。该技术的重要性在于,它能够在极低的成本下(仅需2.62美元的训练成本),实现对大规模模型的高效优化,为视觉语言模型的实用化提供了新的思路。项目背景基于对现有VLM训练方法的改进,目标是通过创新的训练策略,提升模型在复杂视觉任务中的表现。R1-V的开源性质也使其成为研究者和开发者探索和应用先进VLM技术的重要资源。
Tülu 3 405B 是一个大规模开源语言模型,通过强化学习提升性能。
Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型,具有 4050 亿参数。该模型通过创新的强化学习框架(RLVR)提升性能,尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化,采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具,适用于需要高性能语言模型的各种应用场景。
CUA 是一种能够通过图形界面与数字世界交互的通用接口。
Computer-Using Agent (CUA) 是 OpenAI 开发的一种先进的人工智能模型,结合了 GPT-4o 的视觉能力和通过强化学习的高级推理能力。它能够像人类一样与图形用户界面(GUI)交互,无需依赖特定操作系统的 API 或网络接口。CUA 的灵活性使其能够在多种数字环境中执行任务,如填写表单、浏览网页等。这一技术的出现标志着 AI 发展的下一步,为 AI 在日常工具中的应用开辟了新的可能性。CUA 目前处于研究预览阶段,通过 Operator 提供给美国的 Pro 用户使用。
DeepSeek-R1-Distill-Qwen-1.5B 是一款高效推理的开源语言模型,适用于多种自然语言处理任务。
DeepSeek-R1-Distill-Qwen-1.5B 是由 DeepSeek 团队开发的开源语言模型,基于 Qwen2.5 系列进行蒸馏优化。该模型通过大规模强化学习和数据蒸馏技术,显著提升了推理能力和性能,同时保持了较小的模型体积。它在多项基准测试中表现出色,尤其在数学、代码生成和推理任务中具有显著优势。该模型支持商业使用,并允许用户进行修改和衍生作品开发,适合研究机构和企业用于开发高性能的自然语言处理应用。
DeepSeek-R1-Distill-Qwen-7B 是一个开源的推理模型,专注于数学、代码和推理任务。
DeepSeek-R1-Distill-Qwen-7B 是一个经过强化学习优化的推理模型,基于 Qwen-7B 进行了蒸馏优化。它在数学、代码和推理任务上表现出色,能够生成高质量的推理链和解决方案。该模型通过大规模强化学习和数据蒸馏技术,显著提升了推理能力和效率,适用于需要复杂推理和逻辑分析的场景。
DeepSeek-R1-Distill-Llama-8B 是一个高性能的开源语言模型,适用于文本生成和推理任务。
DeepSeek-R1-Distill-Llama-8B 是 DeepSeek 团队开发的高性能语言模型,基于 Llama 架构并经过强化学习和蒸馏优化。该模型在推理、代码生成和多语言任务中表现出色,是开源社区中首个通过纯强化学习提升推理能力的模型。它支持商业使用,允许修改和衍生作品,适合学术研究和企业应用。
DeepSeek-R1-Distill-Qwen-14B 是一款高性能的文本生成模型,适用于多种推理和生成任务。
DeepSeek-R1-Distill-Qwen-14B 是 DeepSeek 团队开发的一款基于 Qwen-14B 的蒸馏模型,专注于推理和文本生成任务。该模型通过大规模强化学习和数据蒸馏技术,显著提升了推理能力和生成质量,同时降低了计算资源需求。其主要优点包括高性能、低资源消耗和广泛的适用性,适用于需要高效推理和文本生成的场景。
DeepSeek-R1-Distill-Qwen-32B 是一款高性能的开源语言模型,适用于多种文本生成任务。
DeepSeek-R1-Distill-Qwen-32B 是由 DeepSeek 团队开发的高性能语言模型,基于 Qwen-2.5 系列进行蒸馏优化。该模型在多项基准测试中表现出色,尤其是在数学、代码和推理任务上。其主要优点包括高效的推理能力、强大的多语言支持以及开源特性,便于研究人员和开发者进行二次开发和应用。该模型适用于需要高性能文本生成的场景,如智能客服、内容创作和代码辅助等,具有广泛的应用前景。
DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型,专注于推理和对话能力。
DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型,基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色,支持多种应用场景,包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力,同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。
PaSa 是一个由大语言模型驱动的先进学术论文搜索代理,能够自主决策并获取准确结果。
PaSa 是由字节跳动开发的一种先进学术论文搜索代理,基于大语言模型(LLM)技术,能够自主调用搜索工具、阅读论文并筛选相关参考文献,以获取复杂学术查询的全面准确结果。该技术通过强化学习优化,使用合成数据集 AutoScholarQuery 进行训练,并在真实世界查询数据集 RealScholarQuery 上表现出色,显著优于传统搜索引擎和基于 GPT 的方法。PaSa 的主要优势在于其高召回率和精准率,能够为研究人员提供更高效的学术搜索体验。
Kimi k1.5 是一个通过强化学习扩展的多模态语言模型,专注于提升推理和逻辑能力。
Kimi k1.5 是由 MoonshotAI 开发的多模态语言模型,通过强化学习和长上下文扩展技术,显著提升了模型在复杂推理任务中的表现。该模型在多个基准测试中达到了行业领先水平,例如在 AIME 和 MATH-500 等数学推理任务中超越了 GPT-4o 和 Claude Sonnet 3.5。其主要优点包括高效的训练框架、强大的多模态推理能力以及对长上下文的支持。Kimi k1.5 主要面向需要复杂推理和逻辑分析的应用场景,如编程辅助、数学解题和代码生成等。
DeepSeek-R1-Zero 是一款通过大规模强化学习训练的推理模型,无需监督微调即可实现卓越推理能力。
DeepSeek-R1-Zero 是由 DeepSeek 团队开发的推理模型,专注于通过强化学习提升模型的推理能力。该模型在无需监督微调的情况下,展现出强大的推理行为,如自我验证、反思和生成长链推理。其主要优点包括高效推理能力、无需预训练即可使用,以及在数学、代码和推理任务上的卓越表现。该模型基于 DeepSeek-V3 架构开发,支持大规模推理任务,适用于研究和商业应用。
DeepSeek-R1 是一款高性能推理模型,支持多种语言和任务,适用于研究和商业应用。
DeepSeek-R1 是 DeepSeek 团队推出的第一代推理模型,通过大规模强化学习训练,无需监督微调即可展现出卓越的推理能力。该模型在数学、代码和推理任务上表现优异,与 OpenAI-o1 模型相当。DeepSeek-R1 还提供了多种蒸馏模型,适用于不同规模和性能需求的场景。其开源特性为研究社区提供了强大的工具,支持商业使用和二次开发。
一个用于强化学习人类反馈训练过程可视化的工具,帮助深度理解与调试。
RLLoggingBoard 是一个专注于强化学习人类反馈(RLHF)训练过程可视化的工具。它通过细粒度的指标监控,帮助研究人员和开发者直观理解训练过程,快速定位问题,并优化训练效果。该工具支持多种可视化模块,包括奖励曲线、响应排序和 token 级别指标等,旨在辅助现有的训练框架,提升训练效率和效果。它适用于任何支持保存所需指标的训练框架,具有高度的灵活性和可扩展性。
一个实时适应未见任务的自适应大型语言模型框架。
SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架,旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型(LLMs)以适应未见任务:首先,调度系统识别任务属性;然后,使用强化学习训练的任务特定'专家'向量被动态混合,以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发,目前在GitHub上开源,拥有195颗星和12次分叉。
基于PRIME方法训练的7B参数语言模型,专为提升推理能力而设计。
PRIME-RL/Eurus-2-7B-PRIME是一个基于PRIME方法训练的7B参数的语言模型,旨在通过在线强化学习提升语言模型的推理能力。该模型从Eurus-2-7B-SFT开始训练,利用Eurus-2-RL-Data数据集进行强化学习。PRIME方法通过隐式奖励机制,使模型在生成过程中更加注重推理过程,而不仅仅是结果。该模型在多项推理基准测试中表现出色,相较于其SFT版本平均提升了16.7%。其主要优点包括高效的推理能力提升、较低的数据和模型资源需求,以及在数学和编程任务中的优异表现。该模型适用于需要复杂推理能力的场景,如编程问题解答和数学问题求解。
EurusPRM-Stage2是一个基于隐式过程奖励的强化学习模型,用于提升生成模型的推理能力。
EurusPRM-Stage2是一个先进的强化学习模型,通过隐式过程奖励来优化生成模型的推理过程。该模型利用因果语言模型的对数似然比来计算过程奖励,从而在不增加额外标注成本的情况下提升模型的推理能力。其主要优点在于能够在仅使用响应级标签的情况下,隐式地学习到过程奖励,从而提高生成模型的准确性和可靠性。该模型在数学问题解答等任务中表现出色,适用于需要复杂推理和决策的场景。
© 2025 AIbase 备案号:闽ICP备08105208号-14