产品库

开源的专家混合语言模型，具有1.3亿活跃参数。

OLMoE是一个完全开放的、最先进的专家混合模型，具有1.3亿活跃参数和6.9亿总参数。该模型的所有数据、代码和日志都已发布。它提供了论文'OLMoE: Open Mixture-of-Experts Language Models'的所有资源概览。该模型在预训练、微调、适应和评估方面都具有重要应用，是自然语言处理领域的一个里程碑。

业界领先的开源大型混合专家模型

Tencent-Hunyuan-Large（混元大模型）是由腾讯推出的业界领先的开源大型混合专家（MoE）模型，拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展，特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源，旨在激发更多研究者的创新灵感，共同推动AI技术的进步和应用。

先进的大型混合专家视觉语言模型

DeepSeek-VL2是一系列先进的大型混合专家（MoE）视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解、视觉定位等多项任务中展现出卓越的能力。DeepSeek-VL2由三种变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集型和基于MoE的模型相比，达到了竞争性或最先进的性能。

自然语言处理模型

LLaMA Pro 是一种用于大规模自然语言处理的模型。通过使用 Transformer 模块的扩展，该模型可以在不遗忘旧知识的情况下，高效而有效地利用新语料库来提升模型的知识。LLaMA Pro 具有出色的性能，在通用任务、编程和数学方面都表现出色。它是基于 LLaMA2-7B 进行初始化的通用模型。LLaMA Pro 和其指导类模型（LLaMA Pro-Instruct）在各种基准测试中均取得了先进的性能，展示了在智能代理中进行推理和处理各种任务的巨大潜力。该模型为将自然语言和编程语言进行整合提供了宝贵的见解，为在各种环境中有效运作的先进语言代理的开发奠定了坚实的基础。

开源自然语言生成模型

OLMo是一个开源的自然语言生成模型,由Allen AI研究所开发,基于Transformer架构,可用于生成高质量的英文文本。它具有生成长度可达4096个token的长文本的能力。OLMo-7B是目前公开的参数量最大的开源英文语言模型之一,拥有69亿参数,在多个英文NLP任务上的表现优于同类模型。它可用于文本生成、任务导向的微调等多种自然语言处理任务。

Mistral是一个开源自然语言处理模型

Mistral是一个小型但强大的开源自然语言处理模型,可适用于多种使用场景。Mistral 7B模型性能优于Llama 2 13B模型,拥有自然的编程能力和8000个序列长度。Mistral采用Apache 2.0许可证发布,易于在任何云端和个人电脑GPU上部署使用。

7B参数的大型语言模型，提升自然语言处理能力

OLMo 2 7B是由Allen Institute for AI (Ai2)开发的一款7B参数的大型语言模型，它在多个自然语言处理任务上展现出色的表现。该模型通过在大规模数据集上的训练，能够理解和生成自然语言，支持多种语言模型相关的科研和应用。OLMo 2 7B的主要优点包括其大规模的参数量，使得模型能够捕捉到更加细微的语言特征，以及其开源的特性，促进了学术界和工业界的进一步研究和应用。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

高效能、低资源消耗的混合专家模型

GRIN-MoE是由微软开发的混合专家(Mixture of Experts, MoE)模型，专注于提高模型在资源受限环境下的性能。该模型通过使用SparseMixer-v2来估计专家路由的梯度，与传统的MoE训练方法相比，GRIN-MoE在不依赖专家并行处理和令牌丢弃的情况下，实现了模型训练的扩展。它在编码和数学任务上表现尤为出色，适用于需要强推理能力的场景。

AI自然语言处理模型

Powerups AI是一款基于人工智能技术的自然语言处理模型，具有极高的语言理解和生成能力。该模型可以用于文本生成、语言翻译、对话生成等多个领域，可以帮助用户快速生成高质量的文本内容，提高工作效率。

高性能混合专家语言模型

DeepSeek-V2.5-1210是DeepSeek-V2.5的升级版本，它在多个能力方面进行了改进，包括数学、编码和写作推理。模型在MATH-500基准测试中的性能从74.8%提高到82.8%，在LiveCodebench (08.01 - 12.01)基准测试中的准确率从29.2%提高到34.38%。此外，新版本优化了文件上传和网页摘要功能的用户体验。DeepSeek-V2系列（包括基础和聊天）支持商业用途。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

先进的自然语言处理模型

MiscNinja是一种先进的自然语言处理模型，具有强大的文本生成和理解能力。其优势在于可以应用于多种领域，如智能对话系统、文本摘要、自动翻译等。定价根据使用情况而定，定位于为开发者和企业提供强大的自然语言处理解决方案。

Moonlight是一个16B参数的混合专家模型，使用Muon优化器训练，性能优异。

Moonlight是基于Muon优化器训练的16B参数混合专家模型（MoE），在大规模训练中表现出色。它通过添加权重衰减和调整参数更新比例，显著提高了训练效率和稳定性。该模型在多项基准测试中超越了现有模型，同时大幅减少了训练所需的计算量。Moonlight的开源实现和预训练模型为研究人员和开发者提供了强大的工具，支持多种自然语言处理任务，如文本生成、代码生成等。

基于特定模型的量化大型语言模型，适用于自然语言处理等任务。

该模型是量化版大型语言模型，采用4位量化技术，降低存储与计算需求，适用于自然语言处理，参数量8.03B，免费且可用于非商业用途，适合资源受限环境下高性能语言应用需求者。

Moonlight-16B-A3B 是一个基于 Muon 优化器训练的 16B 参数的混合专家模型，用于高效的语言生成。

Moonlight-16B-A3B 是由 Moonshot AI 开发的一种大规模语言模型，采用先进的 Muon 优化器进行训练。该模型通过优化训练效率和性能，显著提升了语言生成的能力。其主要优点包括高效的优化器设计、较少的训练 FLOPs 和卓越的性能表现。该模型适用于需要高效语言生成的场景，如自然语言处理、代码生成和多语言对话等。其开源的实现和预训练模型为研究人员和开发者提供了强大的工具。

1.8B语言模型，开源免费

H2O-Danube-1.8B是一个基于1T标记训练的1.8B语言模型，遵循LLama 2和Mistral的核心原则。尽管我们的模型在训练时使用的总标记数量明显少于类似规模的参考模型，但在多个基准测试中表现出极具竞争力的指标。此外，我们还发布了一个经过监督微调和直接偏好优化训练的聊天模型。我们将H2O-Danube-1.8B以Apache 2.0许可证开放源代码，进一步将大型语言模型民主化，让更广泛的受众经济地受益。

混合专家模型，性能优于单个专家模型

phixtral-2x2_8是第一个由两个microsoft/phi-2模型制作的混合专家模型，受到mistralai/Mixtral-8x7B-v0.1架构的启发。其性能优于每个单独的专家模型。该模型在AGIEval、GPT4All、TruthfulQA、Bigbench等多个评估指标上表现优异。它采用了自定义版本的mergekit库（mixtral分支）和特定配置。用户可以在Colab notebook上以4位精度在免费的T4 GPU上运行Phixtral。模型大小为4.46B参数，张量类型为F16。

DeepSeek-R1-Distill-Qwen-1.5B 是一款高效推理的开源语言模型，适用于多种自然语言处理任务。

DeepSeek-R1-Distill-Qwen-1.5B 是由 DeepSeek 团队开发的开源语言模型，基于 Qwen2.5 系列进行蒸馏优化。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和性能，同时保持了较小的模型体积。它在多项基准测试中表现出色，尤其在数学、代码生成和推理任务中具有显著优势。该模型支持商业使用，并允许用户进行修改和衍生作品开发，适合研究机构和企业用于开发高性能的自然语言处理应用。

强大的语言模型，支持多种自然语言处理任务。

GLM-4-32B 是一个高性能的生成语言模型，旨在处理多种自然语言任务。它通过深度学习技术训练而成，能够生成连贯的文本和回答复杂问题。该模型适用于学术研究、商业应用和开发者，价格合理，定位精准，是自然语言处理领域的领先产品。

快速构建自然语言处理应用

GradientJ是一个用于测试、部署和管理自然语言处理应用的平台。它基于大型语言模型如GPT-4，提供快速构建NLP应用的能力。用户可以使用GradientJ开发自定义的文本生成、问答系统、聊天机器人等NLP应用。GradientJ提供简单易用的接口和工具，让开发者能够快速上手并实现自己的用例。定价方案灵活，适合个人开发者和企业用户。

开源金融大语言模型

FinGPT 是一个开源的金融大语言模型，用于金融领域的自然语言处理。它可以根据金融数据进行轻量级适应，提供金融语言建模的能力。优势是适应性强、数据民主化和支持多种金融应用。定价信息待定。

高效能混合专家语言模型

Yuan2.0-M32-hf-int8是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。该模型通过采用新的路由网络——注意力路由器，提高了专家选择的效率，使得准确率比使用传统路由网络的模型提高了3.8%。Yuan2.0-M32从头开始训练，使用了2000亿个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。该模型在编程、数学和各种专业领域展现出竞争力，并且只使用37亿个活跃参数，占总参数40亿的一小部分，每个token的前向计算仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B，分别达到了55.9%和95.8%的准确率。

Python自然语言处理工具包

NLTK是一个领先的Python平台，用于处理人类语言数据。它提供了易于使用的接口，用于访问50多个语料库和词汇资源，如WordNet，并提供了一套文本处理库，用于分类、标记、解析和语义推理。它还提供了工业级NLP库的封装，并有一个活跃的讨论论坛。NLTK适用于语言学家、工程师、学生、教育者、研究人员和行业用户。NLTK可以免费使用，并且是一个开源的社区驱动项目。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

一个用于自然语言处理的先进模型

Meta-spirit-lm是由Meta公司开发的一款先进的自然语言处理模型，它在Hugging Face平台上发布。这款模型在处理语言相关的任务时表现出色，如文本生成、翻译、问答等。它的重要性在于能够理解和生成自然语言，极大地推动了人工智能在语言理解领域的进步。该模型在开源社区中受到广泛关注，可以用于研究和商业用途，但需遵守FAIR Noncommercial Research License。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。

先进的大型混合专家视觉语言模型

DeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等多种任务上展现出卓越的能力。DeepSeek-VL2由三种变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有10亿、28亿和45亿激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集型和基于MoE的模型相比，达到了竞争性或最先进的性能。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。