Phi-4-mini-instruct 是一款轻量级的开源语言模型,专注于高质量推理密集型数据。
Phi-4-mini-instruct 是微软推出的一款轻量级开源语言模型,属于 Phi-4 模型家族。它基于合成数据和经过筛选的公开网站数据进行训练,专注于高质量、推理密集型数据。该模型支持 128K 令牌上下文长度,并通过监督微调和直接偏好优化来增强指令遵循能力和安全性。Phi-4-mini-instruct 在多语言支持、推理能力(尤其是数学和逻辑推理)以及低延迟场景下表现出色,适用于资源受限的环境。该模型于 2025 年 2 月发布,支持多种语言,包括英语、中文、日语等。
先进的多模态大型语言模型,具备卓越的多模态推理能力。
InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型,旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色,能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术,使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景,如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。
基于PRIME方法训练的7B参数语言模型,专为提升推理能力而设计。
PRIME-RL/Eurus-2-7B-PRIME是一个基于PRIME方法训练的7B参数的语言模型,旨在通过在线强化学习提升语言模型的推理能力。该模型从Eurus-2-7B-SFT开始训练,利用Eurus-2-RL-Data数据集进行强化学习。PRIME方法通过隐式奖励机制,使模型在生成过程中更加注重推理过程,而不仅仅是结果。该模型在多项推理基准测试中表现出色,相较于其SFT版本平均提升了16.7%。其主要优点包括高效的推理能力提升、较低的数据和模型资源需求,以及在数学和编程任务中的优异表现。该模型适用于需要复杂推理能力的场景,如编程问题解答和数学问题求解。
EurusPRM-Stage1是一个基于隐式过程奖励的强化学习模型,用于提升生成模型的推理能力。
EurusPRM-Stage1是PRIME-RL项目的一部分,旨在通过隐式过程奖励来增强生成模型的推理能力。该模型利用隐式过程奖励机制,无需额外标注过程标签,即可在推理过程中获得过程奖励。其主要优点是能够有效地提升生成模型在复杂任务中的表现,同时降低了标注成本。该模型适用于需要复杂推理和生成能力的场景,如数学问题解答、自然语言生成等。
PRIME通过隐式奖励增强在线强化学习,提升语言模型的推理能力。
PRIME是一个开源的在线强化学习解决方案,通过隐式过程奖励来增强语言模型的推理能力。该技术的主要优点在于能够在不依赖显式过程标签的情况下,有效地提供密集的奖励信号,从而加速模型的训练和推理能力的提升。PRIME在数学竞赛基准测试中表现出色,超越了现有的大型语言模型。其背景信息包括由多个研究者共同开发,并在GitHub上发布了相关代码和数据集。PRIME的定位是为需要复杂推理任务的用户提供强大的模型支持。
通过自博弈相互推理,提升小型语言模型的解决问题能力。
rStar是一个自我博弈相互推理方法,它通过将推理过程分解为解决方案生成和相互验证,显著提升了小型语言模型(SLMs)的推理能力,无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索(MCTS)和人类推理动作的结合,构建更高质量的推理轨迹,并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验,证明了其在解决多样化推理问题方面的有效性。
© 2025 AIbase 备案号:闽ICP备08105208号-14