产品库

处理长文本的大型语言模型

LongLLaMA 是一个大型语言模型，能够处理长篇文本。它基于 OpenLLaMA，并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一个较小的 3B 基础模型（未经过指令调整），并在 Hugging Face 上提供了支持更长上下文的推断代码。我们的模型权重可以作为现有实现中 LLaMA 的替代品（适用于最多 2048 个标记的短上下文）。此外，我们还提供了评估结果和与原始 OpenLLaMA 模型的比较。

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

基于熵的采样技术，优化模型输出的多样性和准确性

Entropy-based sampling 是一种基于熵理论的采样技术，用于提升语言模型在生成文本时的多样性和准确性。该技术通过计算概率分布的熵和方差熵来评估模型的不确定性，从而在模型可能陷入局部最优或过度自信时调整采样策略。这种方法有助于避免模型输出的单调重复，同时在模型不确定性较高时增加输出的多样性。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

大型多语言预训练语言模型

Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型，包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构，使用监督式微调（SFT）和强化学习与人类反馈（RLHF）进行调优，以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色，并在行业基准测试中超越了许多现有的开源和封闭聊天模型。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

高效紧凑的7B参数语言模型

Arcee Spark是一个7B参数的语言模型，它在紧凑的包体中提供高性能，证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型，并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。

多令牌预测模型，提升语言模型的效率与性能

multi-token prediction模型是Facebook基于大型语言模型研究开发的技术，旨在通过预测多个未来令牌来提高模型的效率和性能。该技术允许模型在单次前向传播中生成多个令牌，从而加快生成速度并可能提高模型的准确性。该模型在非商业研究用途下免费提供，但使用时需遵守Meta的隐私政策和相关法律法规。

一种高效的遮蔽扩散语言模型。

Masked Diffusion Language Models (MDLM) 是一种新型的语言模型，它通过遮蔽和扩散机制来生成高质量的文本数据。MDLM 通过改进的训练方法和简化的目标函数，提高了遮蔽扩散模型的性能，使其在语言建模基准测试中达到了新的最佳状态，并接近自回归模型的困惑度。MDLM 的主要优点包括高效的采样器、支持生成任意长度的文本，以及在长程依赖和可控生成方面的优势。

高效无限上下文语言模型的官方实现

Samba是一个简单而强大的混合模型，具有无限的上下文长度。它的架构非常简单：Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token，主要基准测试（例如MMLU、GSM8K和HumanEval）上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力，同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务（如长上下文摘要）上表现出色。

基于人类长期记忆的新型RAG框架

HippoRAG是一个启发自人类长期记忆的新型检索增强生成(RAG)框架，它使得大型语言模型(LLMs)能够持续地整合跨外部文档的知识。该框架通过实验表明，HippoRAG能够以更低的计算成本提供通常需要昂贵且高延迟迭代LLM流水线的RAG系统能力。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

在浏览器中尝试Cleanlab的可信任语言模型（TLM）

TLM Playground是Cleanlab的一个工具，用于在浏览器中使用可信任语言模型（TLM）。它提供了一个交互式界面，用户可以输入文本并获得模型生成的响应。TLM是一种基于深度学习的语言模型，它可以用于生成自然语言文本，例如回答问题、翻译、文本摘要等。

扩展LLaVA模型，集成Phi-3和LLaMA-3，提升视觉与语言模型的交互能力。

LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。

OpenELM是一套高效的语言模型家族，具备开源训练和推理框架。

OpenELM是由苹果公司开发的语言模型家族，旨在为开源研究社区提供先进的语言模型。这些模型基于公开可用的数据集训练，不提供任何安全保证，可能产生不准确、有害、有偏见或令人反感的输出。因此，用户和开发者需要进行彻底的安全测试，并实施适当的过滤机制。

一款小型评分器,提升大型多任务语言模型性能

Cappy是一种新型方法,旨在提高大型多任务语言模型的性能和效率。它是一个轻量级的预训练评分器,基于RoBERTa,仅有3.6亿个参数。Cappy可独立解决分类任务,或作为辅助组件提升语言模型性能。在下游任务中微调Cappy,可有效整合监督信息,提高模型表现,且不需要反向传播到语言模型参数,降低了内存需求。Cappy适用于开源和封闭源代码的语言模型,是一种高效的模型微调方法。

LaVague是一个大型动作模型框架，用于自动化浏览器交互

LaVague旨在通过将自然语言指令转换为无缝的浏览器交互来重新定义互联网浏览体验。它利用自然语言处理和Selenium集成，使用户或其他AI能够轻松表达网络工作流程并在浏览器上执行它们。

Twitter洞察的大型语言模型

Twitter-Insight-LLM是一个基于Twitter数据的大型语言模型，旨在提供对Twitter平台上的文本数据进行深入分析的能力。该模型可能用于情感分析、趋势预测、用户行为研究等。

深入理解语言模型中的标记化过程

KarpathyLLMChallenge是一个教育性质的网站，专注于解释和展示语言模型（LLMs）中标记化的重要性和复杂性。它通过详细的文章和实例，帮助用户理解标记化如何影响语言模型的性能和能力。

1.8B语言模型，开源免费

H2O-Danube-1.8B是一个基于1T标记训练的1.8B语言模型，遵循LLama 2和Mistral的核心原则。尽管我们的模型在训练时使用的总标记数量明显少于类似规模的参考模型，但在多个基准测试中表现出极具竞争力的指标。此外，我们还发布了一个经过监督微调和直接偏好优化训练的聊天模型。我们将H2O-Danube-1.8B以Apache 2.0许可证开放源代码，进一步将大型语言模型民主化，让更广泛的受众经济地受益。

深入了解大型语言模型的内部工作

LLMs-from-scratch将带您逐步了解LLMs的工作原理。本书将逐步指导您创建自己的LLM，通过清晰的文本、图表和示例解释每个阶段。所描述的用于教育目的的训练和开发自己的小型但功能齐全模型的方法，与创建ChatGPT等大规模基础模型的方法相似。

超千亿参数的大语言模型

百川智能Baichuan 3是一款超千亿参数的大语言模型，在多个权威通用能力评测中展现出色，特别在中文任务上超越了GPT-4。它在自然语言处理、代码生成、医疗任务等领域表现优异，采用了多项创新技术手段提升模型能力，包括动态数据选择、重要度保持和异步CheckPoint存储等。训练过程中采用因果采样的动态训练数据选择方案，保证数据质量；引入了重要度保持的渐进式初始化方法，优化模型训练稳定性；并针对并行训练问题进行了一系列优化，性能提升超过30%。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。

提高LLM选择性预测能力的框架

ASPIRE是一个设计精良的框架,用于增强大型语言模型的选择性预测能力。它通过参数高效的微调训练LLM进行自我评估,使其能够针对生成的答案输出置信度分数。实验结果表明,ASPIRE在各种问答数据集上明显优于目前的选择性预测方法。

智能内容创作平台

Wiseses AI是一款智能内容创作平台，提供智能写作、智能编辑等功能。它能够帮助用户高效地生成优质的文章、博客、广告文案等内容，大大提升写作效率。Wiseses AI拥有强大的语言模型和自然语言处理技术，能够根据用户的需求自动生成与之匹配的内容。用户可以根据自己的需要定制内容的风格、主题和长度，并进行实时编辑和修改。Wiseses AI还提供多种语言和领域的内容创作模板，方便用户快速生成专业的文案。平台定价灵活，用户可以根据自己的使用情况选择不同的套餐。Wiseses AI适用于个人写作、企业广告文案、新闻报道、博客撰写等各种场景。

高效多模态大型语言模型

TinyGPT-V 是一种高效的多模态大型语言模型，通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力，适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型，具备出色的性能和效率。