产品库

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。

高效优化的小型语言模型，专为设备端应用设计。

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

小型语言模型调研、测量与洞察

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

基于熵的采样技术，优化模型输出的多样性和准确性

Entropy-based sampling 是一种基于熵理论的采样技术，用于提升语言模型在生成文本时的多样性和准确性。该技术通过计算概率分布的熵和方差熵来评估模型的不确定性，从而在模型可能陷入局部最优或过度自信时调整采样策略。这种方法有助于避免模型输出的单调重复，同时在模型不确定性较高时增加输出的多样性。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

大型多语言预训练语言模型

Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型，包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构，使用监督式微调（SFT）和强化学习与人类反馈（RLHF）进行调优，以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色，并在行业基准测试中超越了许多现有的开源和封闭聊天模型。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

7亿参数的语言模型，展示数据整理技术的有效性。

DCLM-Baseline-7B是一个7亿参数的语言模型，由DataComp for Language Models (DCLM)团队开发，主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架，优化器为AdamW，学习率为2e-3，权重衰减为0.05，批次大小为2048序列，序列长度为2048个token，总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。

高效紧凑的7B参数语言模型

Arcee Spark是一个7B参数的语言模型，它在紧凑的包体中提供高性能，证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型，并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。

多令牌预测模型，提升语言模型的效率与性能

multi-token prediction模型是Facebook基于大型语言模型研究开发的技术，旨在通过预测多个未来令牌来提高模型的效率和性能。该技术允许模型在单次前向传播中生成多个令牌，从而加快生成速度并可能提高模型的准确性。该模型在非商业研究用途下免费提供，但使用时需遵守Meta的隐私政策和相关法律法规。

一种高效的遮蔽扩散语言模型。

Masked Diffusion Language Models (MDLM) 是一种新型的语言模型，它通过遮蔽和扩散机制来生成高质量的文本数据。MDLM 通过改进的训练方法和简化的目标函数，提高了遮蔽扩散模型的性能，使其在语言建模基准测试中达到了新的最佳状态，并接近自回归模型的困惑度。MDLM 的主要优点包括高效的采样器、支持生成任意长度的文本，以及在长程依赖和可控生成方面的优势。

高效无限上下文语言模型的官方实现

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

基于人类长期记忆的新型RAG框架

HippoRAG是一个启发自人类长期记忆的新型检索增强生成(RAG)框架，它使得大型语言模型(LLMs)能够持续地整合跨外部文档的知识。该框架通过实验表明，HippoRAG能够以更低的计算成本提供通常需要昂贵且高延迟迭代LLM流水线的RAG系统能力。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

在浏览器中尝试Cleanlab的可信任语言模型（TLM）

TLM Playground是Cleanlab的一个工具，用于在浏览器中使用可信任语言模型（TLM）。它提供了一个交互式界面，用户可以输入文本并获得模型生成的响应。TLM是一种基于深度学习的语言模型，它可以用于生成自然语言文本，例如回答问题、翻译、文本摘要等。

扩展LLaVA模型，集成Phi-3和LLaMA-3，提升视觉与语言模型的交互能力。

LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。

OpenELM是一套高效的语言模型家族，具备开源训练和推理框架。

OpenELM是由苹果公司开发的语言模型家族，旨在为开源研究社区提供先进的语言模型。这些模型基于公开可用的数据集训练，不提供任何安全保证，可能产生不准确、有害、有偏见或令人反感的输出。因此，用户和开发者需要进行彻底的安全测试，并实施适当的过滤机制。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

基于 Transformer 的预训练语言模型系列

Qwen1.5 是基于 Transformer 架构的解码器语言模型系列，包括不同规模的模型。具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力等特性。支持多种自然语言和代码。推荐进行后续训练，如 SFT、RLHF 等。定价免费。

一款小型评分器,提升大型多任务语言模型性能

Cappy是一种新型方法,旨在提高大型多任务语言模型的性能和效率。它是一个轻量级的预训练评分器,基于RoBERTa,仅有3.6亿个参数。Cappy可独立解决分类任务,或作为辅助组件提升语言模型性能。在下游任务中微调Cappy,可有效整合监督信息,提高模型表现,且不需要反向传播到语言模型参数,降低了内存需求。Cappy适用于开源和封闭源代码的语言模型,是一种高效的模型微调方法。

深入理解语言模型中的标记化过程

KarpathyLLMChallenge是一个教育性质的网站，专注于解释和展示语言模型（LLMs）中标记化的重要性和复杂性。它通过详细的文章和实例，帮助用户理解标记化如何影响语言模型的性能和能力。

1.8B语言模型，开源免费

H2O-Danube-1.8B是一个基于1T标记训练的1.8B语言模型，遵循LLama 2和Mistral的核心原则。尽管我们的模型在训练时使用的总标记数量明显少于类似规模的参考模型，但在多个基准测试中表现出极具竞争力的指标。此外，我们还发布了一个经过监督微调和直接偏好优化训练的聊天模型。我们将H2O-Danube-1.8B以Apache 2.0许可证开放源代码，进一步将大型语言模型民主化，让更广泛的受众经济地受益。

深入了解大型语言模型的内部工作

LLMs-from-scratch将带您逐步了解LLMs的工作原理。本书将逐步指导您创建自己的LLM，通过清晰的文本、图表和示例解释每个阶段。所描述的用于教育目的的训练和开发自己的小型但功能齐全模型的方法，与创建ChatGPT等大规模基础模型的方法相似。

超千亿参数的大语言模型

百川智能Baichuan 3是一款超千亿参数的大语言模型，在多个权威通用能力评测中展现出色，特别在中文任务上超越了GPT-4。它在自然语言处理、代码生成、医疗任务等领域表现优异，采用了多项创新技术手段提升模型能力，包括动态数据选择、重要度保持和异步CheckPoint存储等。训练过程中采用因果采样的动态训练数据选择方案，保证数据质量；引入了重要度保持的渐进式初始化方法，优化模型训练稳定性；并针对并行训练问题进行了一系列优化，性能提升超过30%。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。