Skywork-MoE

优质新品

简介:

146亿参数的高性能MoE模型

功能:

Gating Logit Normalization技术,增强专家多样化

Adaptive Auxiliary Loss Coefficients技术,允许层特定的辅助损失系数调整

与Hugging Face、ModelScope、Wisemodel等平台兼容

支持在8xA100/A800或更高GPU硬件配置上进行推理

提供vLLM模型推理的快速部署方法

支持fp8精度,可在8*4090上运行Skywork-MoE-Base模型

提供详细的技术报告和社区许可协议

需求人群:

"Skywork-MoE模型适合需要处理大规模语言模型训练和推理的研究人员和开发者。它的高参数量和专家多样化技术使其在处理复杂语言任务时表现出色,同时自适应辅助损失系数的调整能力允许模型针对特定层进行优化,提高模型性能和效率。"

浏览量:54

打开站点

类似产品

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图