产品库

为边缘设备定制的小型语言模型

MobiLlama是一个为资源受限设备设计的小型语言模型（SLM），它旨在提供准确且轻量级的解决方案，以满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发，通过精心设计的参数共享方案来降低预训练和部署成本。

Octopus-V2-2B是一款在移动设备上运行的2B LLMs，性能优于GPT-4

Octopus-V2-2B是由斯坦福大学NexaAI开发的开源大型语言模型，具有20亿参数，专门为Android API的功能调用定制。它采用了独特的功能性标记策略，用于训练和推理阶段，使其达到与GPT-4相当的性能水平，并提高了推理速度。Octopus-V2-2B特别适合边缘计算设备，能够在设备上直接运行，支持广泛的应用场景。

优化的小型语言模型，适用于移动设备

MobileLLM是一种针对移动设备优化的小型语言模型，专注于设计少于十亿参数的高质量LLMs，以适应移动部署的实用性。与传统观念不同，该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构，结合嵌入共享和分组查询注意力机制，MobileLLM在准确性上取得了显著提升，并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外，MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进，并在API调用任务中接近LLaMA-v2 7B的正确性，突出了小型模型在普通设备用例中的能力。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

高效、轻量级的量化Llama模型，提升移动设备上的运行速度并减少内存占用。

Llama模型是Meta公司推出的大型语言模型，通过量化技术，使得模型体积更小、运行速度更快，同时保持了模型的质量和安全性。这些模型特别适用于移动设备和边缘部署，能够在资源受限的设备上提供快速的设备内推理，同时减少内存占用。量化Llama模型的开发，标志着在移动AI领域的一个重要进步，使得更多的开发者能够在不需要大量计算资源的情况下，构建和部署高质量的AI应用。

Lora 是一个为移动设备优化的本地语言模型，支持 iOS 和 Android 平台。

Lora 是一款为移动设备优化的本地语言模型，通过其 SDK 可以快速集成到移动应用中。它支持 iOS 和 Android 平台，性能与 GPT-4o-mini 相当，拥有 1.5GB 大小和 24 亿参数，专为实时移动推理进行了优化。Lora 的主要优点包括低能耗、轻量化和快速响应，相比其他模型，它在能耗、体积和速度上都有显著优势。Lora 由 PeekabooLabs 提供，主要面向开发者和企业客户，帮助他们快速将先进的语言模型能力集成到移动应用中，提升用户体验和应用竞争力。

快速准确的边缘设备自动语音识别模型

Moonshine 是一系列为资源受限设备优化的语音转文本模型，非常适合实时、设备上的应用程序，如现场转录和语音命令识别。在 HuggingFace 维护的 OpenASR 排行榜中使用的测试数据集上，Moonshine 的词错误率（WER）优于同样大小的 OpenAI Whisper 模型。此外，Moonshine 的计算需求随着输入音频的长度而变化，这意味着较短的输入音频处理得更快，与 Whisper 模型不同，后者将所有内容都作为 30 秒的块来处理。Moonshine 处理 10 秒音频片段的速度是 Whisper 的 5 倍，同时保持相同或更好的 WER。

为边缘设备提供无代码人工智能

Neuton TinyML 是一款无代码人工智能平台，可自动构建极小模型并嵌入到任何微控制器和传感器中。它基于专利神经网络框架，能够在保持准确性的同时实现极小的模型大小。

自主多模移动设备代理

Mobile-Agent是一款自主多模移动设备代理，利用多模大语言模型（MLLM）技术，首先利用视觉感知工具准确识别和定位应用程序前端界面中的视觉和文字元素。基于感知的视觉环境，它自主规划和分解复杂操作任务，并通过逐步操作来导航移动应用程序。与之前依赖于应用程序的XML文件或移动系统元数据的解决方案不同，Mobile-Agent以视觉为中心的方式在各种移动操作环境中具有更大的适应性，从而消除了对特定系统定制的必要性。为了评估Mobile-Agent的性能，我们引入了Mobile-Eval，这是一个用于评估移动设备操作的基准。基于Mobile-Eval，我们对Mobile-Agent进行了全面评估。实验结果表明，Mobile-Agent实现了显着的准确性和完成率。即使在具有挑战性的指令下，例如多应用程序操作，Mobile-Agent仍然可以完成要求。

中国移动旗下云计算服务品牌

移动云是中国移动推出的云计算服务品牌,为用户提供云主机、对象存储、CDN、数据库等服务,安全稳定,性价比高,支持按需付费,免费试用热门产品,适合企业客户使用。

世界上最快的边缘部署音频语言模型

OmniAudio-2.6B是一个2.6B参数的多模态模型，能够无缝处理文本和音频输入。该模型结合了Gemma-2B、Whisper turbo和一个自定义投影模块，与传统的将ASR和LLM模型串联的方法不同，它将这两种能力统一在一个高效的架构中，以最小的延迟和资源开销实现。这使得它能够安全、快速地在智能手机、笔记本电脑和机器人等边缘设备上直接处理音频文本。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

解锁边缘计算中人工智能的潜力

Blaize 是一款 AI 边缘计算硬件和软件平台，更高效、更灵活、更准确、更经济实惠。它能够在边缘部署 AI 而无需牺牲性能，为市场转型和工作生活方式改善带来了巨大的价值。

AI预算优化工具，比较和计算大型语言模型API的最新价格。

LLM Price Check是一个在线工具，它允许用户比较和计算不同大型语言模型（LLM）API的价格，这些API由领先的提供商如OpenAI、Anthropic、Google等提供。该工具可以帮助用户优化他们的AI预算，通过比较不同模型的价格和性能，用户可以做出更明智的选择。

多语言大型语言模型，优化对话场景。

Meta Llama 3.1是一系列多语言的大型预训练和指令调整的生成模型，包含8B、70B和405B大小的版本。这些模型专为多语言对话用例而优化，并在常见行业基准测试中表现优于许多开源和闭源聊天模型。模型使用优化的transformer架构，并通过监督式微调(SFT)和强化学习与人类反馈(RLHF)进行调整，以符合人类对有用性和安全性的偏好。

一个多图像视觉语言模型，具有训练、推理和评估方案，可从云端部署到边缘设备（如Jetson Orin和笔记本电脑）。

VILA是一个预训练的视觉语言模型（VLM），它通过大规模的交错图像-文本数据进行预训练，从而实现视频理解和多图像理解能力。VILA通过AWQ 4bit量化和TinyChat框架在边缘设备上可部署。主要优点包括：1) 交错图像-文本数据对于提升性能至关重要；2) 在交错图像-文本预训练期间不冻结大型语言模型（LLM）可以促进上下文学习；3) 重新混合文本指令数据对于提升VLM和纯文本性能至关重要；4) 标记压缩可以扩展视频帧数。VILA展示了包括视频推理、上下文学习、视觉思维链和更好的世界知识等引人入胜的能力。

先进的代码优化和编译器推理的大型语言模型。

LLM Compiler-7b是Meta开发的一款专注于代码优化和编译器推理的大型语言模型。它基于Code Llama模型，通过深度学习优化代码，支持编译器中间表示、汇编语言和优化的理解。此模型在减少代码大小和从汇编到编译器中间表示的反编译方面展现出卓越的性能，是编译器研究人员和工程师的有力工具。

On-device Sora 是一个基于扩散模型的移动设备端文本到视频生成项目。

On-device Sora 是一个开源项目，旨在通过线性比例跳跃（LPL）、时间维度标记合并（TDTM）和动态加载并发推理（CI-DL）等技术，实现在移动设备（如 iPhone 15 Pro）上高效的视频生成。该项目基于 Open-Sora 模型开发，能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景，如短视频创作、广告制作等。项目目前开源，用户可以免费使用。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

定制化大型语言模型的专业微调工具

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

70B参数量的大型语言模型，专为工具使用优化

Llama-3-70B-Tool-Use是一种70B参数量的大型语言模型，专为高级工具使用和功能调用任务设计。该模型在Berkeley功能调用排行榜（BFCL）上的总体准确率达到90.76%，表现优于所有开源的70B语言模型。该模型优化了变换器架构，并通过完整的微调和直接偏好优化（DPO）在Llama 3 70B基础模型上进行了训练。输入为文本，输出为文本，增强了工具使用和功能调用的能力。尽管其主要用途是工具使用和功能调用，但在一般知识或开放式任务中，可能更适用通用语言模型。该模型可能在某些情况下产生不准确或有偏见的内容，用户应注意实现适合其特定用例的适当安全措施。该模型对温度和top_p采样配置非常敏感。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

多模态大型语言模型，提升视觉与语言的交互能力

InternVL2_5-8B-MPO-AWQ是OpenGVLab推出的一款多模态大型语言模型，它基于InternVL2.5系列，并采用混合偏好优化（Mixed Preference Optimization, MPO）技术。该模型在视觉和语言的理解与生成方面展现了卓越的性能，尤其在多模态任务中表现出色。它通过结合视觉部分InternViT和语言部分InternLM或Qwen，使用随机初始化的MLP投影器进行增量预训练，实现了对图像和文本的深入理解与交互。该技术的重要性在于它能够处理包括单图像、多图像以及视频数据在内的多种数据类型，为多模态人工智能领域提供了新的解决方案。

高效优化的小型语言模型，专为设备端应用设计。

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

多语言大型语言模型，优化对话和文本生成。

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种大小的模型，专门针对多语言对话使用案例进行了优化，并在行业基准测试中表现优异。该模型使用优化的transformer架构，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）进一步与人类偏好对齐，以确保其有用性和安全性。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。