Skywork-MoE

Skywork-MoE

优质新品

Skywork-MoE是一个具有146亿参数的高性能混合专家(MoE)模型,包含16个专家和22亿激活参数。该模型从Skywork-13B模型的密集型检查点初始化而来,并引入了两种创新技术:门控逻辑归一化增强专家多样化,以及自适应辅助损失系数允许层特定的辅助损失系数调整。Skywork-MoE在性能上与参数更多或激活参数更多的模型如Grok-1、DBRX、Mistral 8*22和Deepseek-V2相当或更优。

需求人群:

"Skywork-MoE模型适合需要处理大规模语言模型训练和推理的研究人员和开发者。它的高参数量和专家多样化技术使其在处理复杂语言任务时表现出色,同时自适应辅助损失系数的调整能力允许模型针对特定层进行优化,提高模型性能和效率。"

使用场景示例:

在C-Eval、MMLU、CMMLU等流行基准测试上的评估

使用HuggingFace进行Skywork-MoE-Base模型的推理示例

基于vLLM的Skywork-MoE-Base模型快速部署示例

产品特色:

Gating Logit Normalization技术,增强专家多样化

Adaptive Auxiliary Loss Coefficients技术,允许层特定的辅助损失系数调整

与Hugging Face、ModelScope、Wisemodel等平台兼容

支持在8xA100/A800或更高GPU硬件配置上进行推理

提供vLLM模型推理的快速部署方法

支持fp8精度,可在8*4090上运行Skywork-MoE-Base模型

提供详细的技术报告和社区许可协议

使用教程:

安装必要的依赖,包括pytorch-nightly版本和vllm-flash-attn

克隆Skywork提供的vllm源代码

根据本地环境配置并编译安装vllm

使用docker运行vllm,设置模型路径和工作目录

通过vllm的LLM类和SamplingParams类进行文本生成

浏览量:33

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

5.16m

平均访问时长

00:06:42

每次访问页数

5.81

跳出率

37.20%

流量来源

直接访问

52.27%

自然搜索

32.92%

邮件

0.05%

外链引荐

12.52%

社交媒体

2.15%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

11.99%

德国

3.63%

印度

9.20%

俄罗斯

5.25%

美国

19.02%

类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图