产品库

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

RWKV v6 Finch 14B，开源大模型，高效处理长文本。

RWKV v6 Finch 14B是RWKV架构的第六个版本，也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中，提高了处理长文本时的效率。Finch 14B模型在处理提示时，能够更好地管理其长期记忆，从而提供更广泛的应用范围。该模型是开源的，由Linux Foundation认可，并且接受社区的GPU集群时间捐赠以支持训练。

9天内预训练的紧凑型大型语言模型

1.5-Pints是一个开源的紧凑型大型语言模型（LLM），它在9天内使用高质量数据进行预训练，旨在成为与Apple OpenELM和Microsoft Phi相当的AI助手。该模型的代码库和架构公开，以促进模型的复制、实验和进一步的开源开发。

一个正在训练中的开源语言模型，具备“听力”能力。

llama3-s是一个开放的、正在进行中的研究实验，旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术，专注于令牌传递性，将声音令牌扩展到LLM的词汇表中，未来可能扩展到各种输入类型。作为一个开源科学实验，代码库和数据集都是公开的。

300行代码实现基于LLM的语音转录。

WeST是一个开源的语音识别转录模型，以300行代码的简洁形式，基于大型语言模型（LLM）实现语音到文本的转换。它由一个大型语言模型、一个语音编码器和一个投影器组成，其中仅投影器部分可训练。WeST的开发灵感来源于SLAM-ASR和LLaMA 3.1，旨在通过简化的代码实现高效的语音识别功能。

轻量级、先进的2B参数文本生成模型。

Gemma 2 2B是谷歌开发的轻量级、先进的文本生成模型，属于Gemma模型家族。该模型基于与Gemini模型相同的研究和技术构建，是一个文本到文本的解码器仅大型语言模型，提供英文版本。Gemma 2 2B模型适用于问答、摘要和推理等多种文本生成任务，其较小的模型尺寸使其能够部署在资源受限的环境中，如笔记本电脑或桌面电脑，促进了对最先进AI模型的访问，并推动了创新。

开源框架，支持数据驱动的自适应语言代理。

aiwaves-cn/agents 是一个开源框架，专注于数据驱动的自适应语言代理。它提供了一种系统化框架，通过符号学习训练语言代理，灵感来源于用于训练神经网络的连接主义学习过程。该框架实现了反向传播和基于梯度的权重更新，使用基于语言的损失、梯度和权重，支持多代理系统的优化。

轻量级、先进的开放文本生成模型

Gemma-2-27b是由Google开发的一系列轻量级、先进的开放文本生成模型，基于与Gemini模型相同的研究和技术构建。这些模型专为文本生成任务设计，如问答、摘要和推理。它们相对较小的体积使得即使在资源有限的环境中，如笔记本电脑、桌面或个人云基础设施上也能部署，使先进的AI模型更易于访问，并促进创新。

轻量级、先进的文本生成模型

Gemma 2是Google开发的一系列轻量级、先进的开放模型，基于与Gemini模型相同的研究和技术构建。它们是文本到文本的解码器仅大型语言模型，仅提供英文版本，具有开放的权重，适用于预训练变体和指令调整变体。Gemma模型非常适合各种文本生成任务，包括问答、摘要和推理。其相对较小的体积使其能够部署在资源有限的环境中，如笔记本电脑、桌面或您自己的云基础设施，使先进的AI模型的访问民主化，并帮助为每个人促进创新。

52B参数的开源多语言大型语言模型

Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。

轻量级大语言模型，专注于文本生成。

Index-1.9B-Pure是Index系列模型中的轻量版本，专为文本生成而设计。它在2.8T的中英文语料上进行了预训练，与同等级模型相比，在多个评测基准上表现领先。该模型特别过滤了所有指令相关数据，以验证指令对benchmark的影响，适用于需要高质量文本生成的领域。

大型语言模型的详细列表和信息

Models Table 提供了一个包含300多个大型语言模型的列表，这些模型被所有主要的AI实验室使用，包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性，对于AI研究者和开发者来说是一个宝贵的资源。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

一种大型语言模型，具有扩展词汇量。

Mistral-7B-v0.3是由Mistral AI团队开发的大型语言模型(Large Language Model, LLM)，它是Mistral-7B-v0.2的升级版，具有扩展到32768的词汇量。该模型支持文本生成，适合于需要文本生成能力的应用场景。目前，该模型没有内容审核机制，团队正在寻求社区合作，以实现更精细的内容审核，满足需要内容审核的部署环境。

Fugaku-LLM是一个专注于文本生成的人工智能模型。

Fugaku-LLM是一个由Fugaku-LLM团队开发的人工智能语言模型，专注于文本生成领域。它通过先进的机器学习技术，能够生成流畅、连贯的文本，适用于多种语言和场景。Fugaku-LLM的主要优点包括其高效的文本生成能力、对多种语言的支持以及持续的模型更新，以保持技术领先。该模型在社区中拥有广泛的应用，包括但不限于写作辅助、聊天机器人开发和教育工具。

一款具有128k有效上下文长度的70B参数的大型语言模型。

Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型，它通过PoSE和动态NTK插值的训练方法，具有更长的有效上下文长度，能够处理大量的文本数据。该模型在训练中使用了约1.5B个token，并且通过适配器转换技术，将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上，以提高模型的性能。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

使用Kolmogorov-Arnold网络实现的预训练生成式变换器（GPTs）的语言模型

kan-gpt是一个基于PyTorch的Generative Pre-trained Transformers (GPTs) 实现，它利用Kolmogorov-Arnold Networks (KANs) 进行语言建模。该模型在文本生成任务中展现出了潜力，特别是在处理长距离依赖关系时。它的重要性在于为自然语言处理领域提供了一种新的模型架构，有助于提升语言模型的性能。

开源基础模型，用于代码智能任务，支持116种编程语言。

Granite Code Models 是 IBM 开发的一系列开源基础模型，专为代码生成任务设计，如修复错误、解释代码、文档化代码等。这些模型在多种编程语言上进行了训练，并在不同的代码相关任务上达到了最先进的性能。主要优点包括全面的性能、企业级的信任度以及遵循 IBM 的 AI 伦理原则进行训练。

开源框架，用于构建模块化的生产级应用程序。

Cognita 是一个开源框架，用于组织 RAG（Retrieval Augmented Generation）代码库，并提供一个前端界面，以便在不同的 RAG 定制中进行实验。它提供了一种简单的方法来组织代码库，使得在本地测试变得容易，同时也能够部署到生产环境中。Cognita 使用 Langchain/Llamaindex 作为底层技术，并提供了一个组织结构，使得每个 RAG 组件都是模块化的、API 驱动的，并且易于扩展。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。

高效的企业级人工智能模型，低成本实现高质量定制模型。

Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型（LLM），它在 SQL 生成、编码以及指令遵循等基准测试中表现出色，即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理，为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外，Arctic 采用 Apache 2.0 许可，提供无门槛的权重和代码访问，并通过开源数据配方和研究洞察，进一步推动了社区的开放性和成本效益。

OpenELM是一套高效的语言模型家族，具备开源训练和推理框架。

OpenELM是由苹果公司开发的语言模型家族，旨在为开源研究社区提供先进的语言模型。这些模型基于公开可用的数据集训练，不提供任何安全保证，可能产生不准确、有害、有偏见或令人反感的输出。因此，用户和开发者需要进行彻底的安全测试，并实施适当的过滤机制。

快速构建自然语言处理应用

GradientJ是一个用于测试、部署和管理自然语言处理应用的平台。它基于大型语言模型如GPT-4，提供快速构建NLP应用的能力。用户可以使用GradientJ开发自定义的文本生成、问答系统、聊天机器人等NLP应用。GradientJ提供简单易用的接口和工具，让开发者能够快速上手并实现自己的用例。定价方案灵活，适合个人开发者和企业用户。

简化LLM完成和嵌入调用的开源库

LiteLLM是一个开源库，旨在简化LLM完成和嵌入调用。它集成了Azure、Anthropic、OpenAI、Cohere和Replicate等多个平台的API，让你可以使用一个函数轻松调用它们。LiteLLM提供了方便的接口和一致的输出格式，使得使用LLM模型变得更加简单。它可以用于各种场景，如自然语言处理、文本生成、对话系统等。

多语言大型语言模型，支持多领域文本生成。

XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型，采用混合专家模型（MoE）架构，具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言，特别在中英双语上表现优异。模型使用8K长度的训练样本，并通过精细化的数据采样比例和动态数据切换策略，保证了模型的高质量和多样性。此外，模型还针对MoE架构进行了定制优化，提升了计算效率和整体吞吐量。

先进的奖励模型，用于文本分类和偏好判断

Skywork-Reward-Llama-3.1-8B是一个基于Meta-Llama-3.1-8B-Instruct架构的先进奖励模型，使用Skywork Reward Data Collection进行训练，该数据集包含80K高质量的偏好对。模型在处理复杂场景中的偏好，包括具有挑战性的偏好对方面表现出色，覆盖数学、编程和安全性等多个领域。截至2024年9月，该模型在RewardBench排行榜上位列第三。

用于检索和生成结合统计数据的文本模型

DataGemma RIG是一系列微调后的Gemma 2模型，旨在帮助大型语言模型（LLMs）访问并整合来自Data Commons的可靠公共统计数据。该模型采用检索式生成方法，通过自然语言查询Data Commons的现有自然语言接口，对响应中的统计数据进行注释。DataGemma RIG在TPUv5e上使用JAX进行训练，目前是早期版本，主要用于学术和研究目的，尚未准备好用于商业或公众使用。