简介:

高效优化的小型语言模型,专为设备端应用设计。

功能:

• 优化的变换器架构:专为设备端应用设计的轻量级模型。

• 多种关键技术集成:包括SwiGLU激活函数、深度薄架构等。

• 零样本常识推理:在多个常识推理任务上超越了前代模型。

• 支持HuggingFace平台:方便加载预训练模型进行微调和评估。

• 支持自定义代码:提供MobileLLM代码库,支持自定义训练和评估。

• 多模型尺寸:提供从125M到1.5B不同参数量的模型选择。

• 高效训练成本:使用32个NVIDIA A100 80G GPU训练1T个token的时间成本。

需求人群:

"目标受众为需要在资源受限的设备端部署自然语言处理应用的开发者和研究人员。MobileLLM-125M因其优化的架构和高效的推理能力,特别适合移动设备、IoT设备等场景,能够提供接近SoTA的性能而消耗更少的资源。"

浏览量:2

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图