Skywork-MoE-Base-FP8

简介:

146亿参数的高性能MoE模型

功能:

具有146亿参数的大规模MoE模型

16个专家和22亿激活参数

门控逻辑归一化技术

自适应辅助损失系数调整

在多个基准测试中表现出色

支持fp8精度运行,优化资源利用

需求人群:

"Skywork-MoE模型适合需要处理大规模语言模型训练和推理的研究人员和开发者。它提供了高效的参数利用和强大的计算性能,尤其适合在资源受限或需要快速推理的场景中使用。"

浏览量:9

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图