简介:

高效能的混合专家语言模型

功能:

混合专家(MoE)模型,具有32个专家,其中2个活跃。

使用注意力路由器进行更高效的专家选择。

从头开始训练,使用2000亿个token。

训练计算量仅占同等参数规模模型的9.25%。

在编码、数学和专业领域表现出竞争力。

具有较低的前向计算需求,每个token仅需7.4 GFLOPS。

在MATH和ARC-Challenge基准测试中表现优异。

需求人群:

"Yuan2.0-M32模型适用于需要处理大量数据和复杂计算任务的开发者和研究人员,特别是在编程、数学计算和专业领域知识的应用中。它的高效能和较低的计算需求使其成为大规模语言模型应用的理想选择。"

浏览量:15

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图