产品库

为边缘设备定制的小型语言模型

MobiLlama是一个为资源受限设备设计的小型语言模型（SLM），它旨在提供准确且轻量级的解决方案，以满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发，通过精心设计的参数共享方案来降低预训练和部署成本。

优化的小型语言模型，适用于移动设备

MobileLLM是一种针对移动设备优化的小型语言模型，专注于设计少于十亿参数的高质量LLMs，以适应移动部署的实用性。与传统观念不同，该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构，结合嵌入共享和分组查询注意力机制，MobileLLM在准确性上取得了显著提升，并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外，MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进，并在API调用任务中接近LLaMA-v2 7B的正确性，突出了小型模型在普通设备用例中的能力。

高效小型语言模型

SmolLM是一系列最新的小型语言模型，包含135M、360M和1.7B参数的版本。这些模型在精心策划的高质量训练语料库上进行训练，能够实现在本地设备上运行，显著降低推理成本并提高用户隐私。SmolLM模型在多种基准测试中表现优异，测试了常识推理和世界知识。

快速准确的边缘设备自动语音识别模型

Moonshine 是一系列为资源受限设备优化的语音转文本模型，非常适合实时、设备上的应用程序，如现场转录和语音命令识别。在 HuggingFace 维护的 OpenASR 排行榜中使用的测试数据集上，Moonshine 的词错误率（WER）优于同样大小的 OpenAI Whisper 模型。此外，Moonshine 的计算需求随着输入音频的长度而变化，这意味着较短的输入音频处理得更快，与 Whisper 模型不同，后者将所有内容都作为 30 秒的块来处理。Moonshine 处理 10 秒音频片段的速度是 Whisper 的 5 倍，同时保持相同或更好的 WER。

为边缘设备提供无代码人工智能

Neuton TinyML 是一款无代码人工智能平台，可自动构建极小模型并嵌入到任何微控制器和传感器中。它基于专利神经网络框架，能够在保持准确性的同时实现极小的模型大小。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

高效优化的小型语言模型，专为设备端应用设计。

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

小型语言模型调研、测量与洞察

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

Octopus-V2-2B是一款在移动设备上运行的2B LLMs，性能优于GPT-4

Octopus-V2-2B是由斯坦福大学NexaAI开发的开源大型语言模型，具有20亿参数，专门为Android API的功能调用定制。它采用了独特的功能性标记策略，用于训练和推理阶段，使其达到与GPT-4相当的性能水平，并提高了推理速度。Octopus-V2-2B特别适合边缘计算设备，能够在设备上直接运行，支持广泛的应用场景。

世界上最快的边缘部署音频语言模型

OmniAudio-2.6B是一个2.6B参数的多模态模型，能够无缝处理文本和音频输入。该模型结合了Gemma-2B、Whisper turbo和一个自定义投影模块，与传统的将ASR和LLM模型串联的方法不同，它将这两种能力统一在一个高效的架构中，以最小的延迟和资源开销实现。这使得它能够安全、快速地在智能手机、笔记本电脑和机器人等边缘设备上直接处理音频文本。

小型语言模型结合增强视觉词汇

Vary-toy是一个小型Vary模型，基于Qwen-1.8B作为基础“大”语言模型。Vary-toy引入了改进的视觉词汇，使模型不仅具备Vary的所有特性，还具有更广泛的泛化能力。具体来说，在生成视觉词汇的过程中，我们用目标检测驱动的正样本数据替换自然图像的负样本，更充分地利用了词汇网络的容量，使其能够高效地编码与自然物体对应的视觉信息。在实验中，Vary-toy在DocVQA上实现了65.6%的ANLS，在ChartQA上实现了59.1%的准确率，在RefCOCO上实现了88.1%的准确率，在MMVet上实现了29%的准确率。定价：免费试用，付费版本定价待定。定位：为研究人员提供在资源有限的情况下在普通GPU上训练和部署LVLMs的解决方案。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

全球大语言模型资源汇总

awesome-LLM-resourses是一个汇总了全球大语言模型（LLM）资源的平台，提供了从数据获取、微调、推理、评估到实际应用等一系列资源和工具。它的重要性在于为研究人员和开发者提供了一个全面的资源库，以便于他们能够更高效地开发和优化自己的语言模型。该平台由王荣胜维护，持续更新，为LLM领域的发展提供了强有力的支持。

Lora 是一个为移动设备优化的本地语言模型，支持 iOS 和 Android 平台。

Lora 是一款为移动设备优化的本地语言模型，通过其 SDK 可以快速集成到移动应用中。它支持 iOS 和 Android 平台，性能与 GPT-4o-mini 相当，拥有 1.5GB 大小和 24 亿参数，专为实时移动推理进行了优化。Lora 的主要优点包括低能耗、轻量化和快速响应，相比其他模型，它在能耗、体积和速度上都有显著优势。Lora 由 PeekabooLabs 提供，主要面向开发者和企业客户，帮助他们快速将先进的语言模型能力集成到移动应用中，提升用户体验和应用竞争力。

高效、轻量级的量化Llama模型，提升移动设备上的运行速度并减少内存占用。

Llama模型是Meta公司推出的大型语言模型，通过量化技术，使得模型体积更小、运行速度更快，同时保持了模型的质量和安全性。这些模型特别适用于移动设备和边缘部署，能够在资源受限的设备上提供快速的设备内推理，同时减少内存占用。量化Llama模型的开发，标志着在移动AI领域的一个重要进步，使得更多的开发者能够在不需要大量计算资源的情况下，构建和部署高质量的AI应用。

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

一个多图像视觉语言模型，具有训练、推理和评估方案，可从云端部署到边缘设备（如Jetson Orin和笔记本电脑）。

VILA是一个预训练的视觉语言模型（VLM），它通过大规模的交错图像-文本数据进行预训练，从而实现视频理解和多图像理解能力。VILA通过AWQ 4bit量化和TinyChat框架在边缘设备上可部署。主要优点包括：1) 交错图像-文本数据对于提升性能至关重要；2) 在交错图像-文本预训练期间不冻结大型语言模型（LLM）可以促进上下文学习；3) 重新混合文本指令数据对于提升VLM和纯文本性能至关重要；4) 标记压缩可以扩展视频帧数。VILA展示了包括视频推理、上下文学习、视觉思维链和更好的世界知识等引人入胜的能力。

定制化大型语言模型的专业微调工具

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

用于角色扮演、检索增强生成和功能调用的小型语言模型

Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型，通过蒸馏、剪枝和量化优化，以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答（RAG QA）和功能调用进行了优化，支持 4096 个令牌的上下文长度，已准备好用于商业用途。

Ai2 OLMoE 是一款可在 iOS 设备上运行的开源语言模型应用

OLMoE 是由 Ai2 开发的开源语言模型应用，旨在为研究人员和开发者提供一个完全开放的工具包，用于在设备上进行人工智能实验。该应用支持在 iPhone 和 iPad 上离线运行，确保用户数据完全私密。它基于高效的 OLMoE 模型构建，通过优化和量化，使其在移动设备上运行时保持高性能。该应用的开源特性使其成为研究和开发新一代设备端人工智能应用的重要基础。

微软研究院开发的小型语言模型

Phi-2是一个2.7亿参数的语言模型,通过优质的数据和创新技术,实现了超越模型规模的表现,在复杂的语言理解和推理测试中,匹敌或超过大25倍规模的模型。

高效低成本的小型语言模型

Phi-3是微软Azure推出的一系列小型语言模型（SLMs），具有突破性的性能，同时成本和延迟都很低。这些模型专为生成式AI解决方案设计，体积更小，计算需求更低。Phi-3模型遵循微软AI原则开发，包括责任、透明度、公平性、可靠性和安全性、隐私和安全性以及包容性，确保了安全性。此外，Phi-3还提供了本地部署、准确相关回答、低延迟场景部署、成本受限任务处理和定制化精度等功能。

高效紧凑的7B参数语言模型

Arcee Spark是一个7B参数的语言模型，它在紧凑的包体中提供高性能，证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型，并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。

汇总和比较全球主要AI模型提供商的价格信息

AIGCRank大语言模型API价格对比是一个专门汇总和比较全球主要AI模型提供商的价格信息的工具。它为用户提供最新的大语言模型（LLM）的价格数据，包括一些免费的AI大模型API。通过这个平台，用户可以轻松查找和比较OpenAI、Claude、Mixtral、Kimi、星火大模型、通义千问、文心一语、Llama 3、GPT-4、AWS和Google等国内外主要API提供商的最新价格，确保找到最适合自己项目的模型定价。

高效开源的视觉语言模型

SmolVLM是一个小型但功能强大的视觉语言模型（VLM），拥有2B参数，以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源，包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署，降低推理成本，并允许用户自定义。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

自主多模移动设备代理

Mobile-Agent是一款自主多模移动设备代理，利用多模大语言模型（MLLM）技术，首先利用视觉感知工具准确识别和定位应用程序前端界面中的视觉和文字元素。基于感知的视觉环境，它自主规划和分解复杂操作任务，并通过逐步操作来导航移动应用程序。与之前依赖于应用程序的XML文件或移动系统元数据的解决方案不同，Mobile-Agent以视觉为中心的方式在各种移动操作环境中具有更大的适应性，从而消除了对特定系统定制的必要性。为了评估Mobile-Agent的性能，我们引入了Mobile-Eval，这是一个用于评估移动设备操作的基准。基于Mobile-Eval，我们对Mobile-Agent进行了全面评估。实验结果表明，Mobile-Agent实现了显着的准确性和完成率。即使在具有挑战性的指令下，例如多应用程序操作，Mobile-Agent仍然可以完成要求。