MobileLLM-600M

简介:

高效优化的600M参数语言模型,专为设备端应用设计。

功能:

• 优化的Transformer架构:专为设备端应用设计的轻量级模型。

• 支持零样本常识推理任务:在多个常识推理任务上展现出色性能。

• 集成关键技术:包括SwiGLU激活函数、深度薄架构等。

• 支持HuggingFace平台:可通过HuggingFace平台加载预训练模型进行微调或评估。

• 提供MobileLLM代码库:包含预训练代码,方便用户进行自定义训练和评估。

• 支持多种模型尺寸:从125M到1.5B参数的多种模型尺寸可供选择。

• 训练成本效益:在1T tokens数据上的训练时间从3天到18天不等,取决于模型大小。

需求人群:

"目标受众为自然语言处理领域的研究人员和开发者,特别是那些需要在资源受限的设备端部署语言模型的应用开发者。MobileLLM-600M的轻量级和优化设计使其适合于移动设备、嵌入式系统等场景,能够有效提升这些设备的语言理解和生成能力。"

浏览量:3

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图