Zamba2-7B

优质新品

简介:

高效能小型语言模型

功能:

在小型语言模型中,以质量和性能领先,特别适合需要快速响应和低延迟的场合。

实现了比现有最先进模型更快的推理效率,包括更快的首个token生成时间、更高的每秒token数和显著降低的内存使用。

采用了创新的共享注意力架构,允许更多的参数分配给Mamba2主干,保持了丰富的交叉序列依赖性。

使用了3万亿token的预训练数据集,该数据集由Zyda和公开可用数据集组成,经过积极过滤和去重,达到了与现有顶级开源预训练数据集相比的最佳消融质量。

有一个单独的“退火”预训练阶段,该阶段在100B高质量tokens上快速衰减学习率,退火集从不同高质量源中精心策划和整理。

利用并扩展了原始的Zamba混合SSM-注意力架构,通过在每个共享MLP块上应用LoRA投影矩阵,增加了每个块的表达能力,并允许每个共享块在保持额外参数开销小的同时,稍微专业化到其独特的位置。

需求人群:

"Zamba2-7B的目标受众是研究人员、开发者和企业,他们需要一个强大但资源消耗较低的语言模型来处理自然语言任务。由于其出色的性能和效率,它特别适合需要快速响应和低延迟的应用场景,如聊天机器人、内容生成和企业自动化。"

浏览量:21

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图