简介:

高效能混合专家注意力路由语言模型

功能:

混合专家(MoE)模型,拥有32个专家,其中2个活跃

采用新的注意力路由网络,提高模型选择专家的效率

从零开始训练,使用了2000B个token,训练计算量低

在编码、数学和专业领域表现出色,具有竞争力

在MATH和ARC-Challenge基准测试中超越其他模型

模型操作仅使用3.7B个活跃参数,计算效率高

需求人群:

"Yuan2.0-M32适合需要在编码、数学和专业领域进行高效计算和推理的开发者和研究人员。其低计算量和高准确性使其成为大规模语言模型应用的理想选择。"

浏览量:13

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图