RWKV-6 Mixture of Experts

简介:

RWKV家族中最大的模型,采用MoE技术提升效率。

功能:

- 11亿活跃参数,37亿总参数的MoE RWKV-6架构。

- 利用MoE技术,在训练和推理中节省时间和计算资源。

- 通过hash routing实现token到专家的均匀分布,提高推理效率。

- 共享专家和新专家结合,提供动态选择的双宽度FFN。

- 使用高初始学习率训练新专家,并随着训练进展逐渐降低至原始模型的学习率。

- 支持在新专家中应用token-shift,提高模型效率。

- 在多种行业标准基准测试中表现与Finch 14B模型相当。

需求人群:

"目标受众为AI研究者、数据科学家和机器学习工程师,他们需要处理大规模数据集并寻求提高模型训练和推理的效率。Flock of Finches通过MoE技术提供了一个具有更高参数总数但计算效率更高的模型,适合需要在有限资源下进行大规模模型训练和部署的专业用户。"

浏览量:3

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图