MobileLLM-350M

简介:

高效优化的子十亿参数语言模型,专为设备端应用设计

功能:

- 优化的Transformer架构:专为设备端应用设计的高效模型架构。

- 多种关键技术集成:包括SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力。

- 零样本常识推理能力:在多个常识推理任务上展现出色的表现。

- 多模型尺寸选择:提供从125M到1.5B不同参数规模的模型,以适应不同的应用需求。

- 支持Hugging Face平台:可以直接在Hugging Face平台上加载和使用预训练模型。

- 支持自定义代码:提供MobileLLM的预训练代码,方便用户进行自定义训练和评估。

- 高效的资源利用:在保持性能的同时,优化了模型的计算资源消耗。

需求人群:

"目标受众为自然语言处理领域的研究者和开发者,特别是那些需要在资源受限的设备端部署语言模型的专业人士。MobileLLM-350M的优化设计使其非常适合在移动设备或嵌入式系统中实现高效的语言理解和生成任务。"

浏览量:2

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图