简介:

小米首个推理大模型MiMo开源,专为推理任务设计,性能卓越。

功能:

预训练阶段,着重挖掘富推理语料,合成约200B tokens推理数据,确保模型见过更多推理模式。

进行三阶段训练,逐步提升训练难度,总训练量达到25T tokens,全面提升模型的推理能力。

在后训练阶段,提出Test Difficulty Driven Reward策略,缓解困难算法问题中的奖励稀疏问题,引入Easy Data Re-Sampling策略,稳定RL训练。

设计Seamless Rollout系统,加速RL训练和验证,分别提升2.29倍和1.96倍的效率。

在数学推理和代码竞赛公开测评集上,MiMo-7B的性能显著领先于其他同规模模型。

MiMo-7B全系列已开源,提供4个模型至HuggingFace,方便研究人员和开发者使用。

技术细节已在GitHub公开,包括完整的训练报告和技术文档,方便社区交流和进一步研究。

MiMo模型由小米大模型Core团队开发,展示了小米在人工智能领域的创新能力和技术实力。

需求人群:

"Xiaomi MiMo适合需要高效推理能力的研究人员、开发者和企业。其强大的数学推理和代码生成能力使其在学术研究、软件开发、数据分析和教育等领域具有广泛的应用前景。对于研究人员来说,MiMo提供了强大的推理工具,有助于推动人工智能在推理领域的研究。对于开发者而言,MiMo可以集成到各种应用中,提升应用的智能水平。对于企业来说,MiMo可以用于优化业务流程,提高决策效率。"

浏览量:148

打开站点

类似产品

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图