产品库

7亿参数的语言模型，展示数据整理技术的有效性。

DCLM-Baseline-7B是一个7亿参数的语言模型，由DataComp for Language Models (DCLM)团队开发，主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架，优化器为AdamW，学习率为2e-3，权重衰减为0.05，批次大小为2048序列，序列长度为2048个token，总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

大规模训练 Transformer 模型的持续研究

Megatron-LM 是由 NVIDIA 应用深度学习研究团队开发的一种强大的大规模 Transformer 模型。该产品用于大规模训练 Transformer 语言模型的持续研究。我们使用混合精度，高效的模型并行和数据并行，以及多节点的 Transformer 模型（如 GPT、BERT 和 T5）的预训练。

高效能的第三代MiniCPM系列模型

MiniCPM3-4B是MiniCPM系列的第三代产品，整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多近期的7B至9B模型相当。与前两代相比，MiniCPM3-4B具有更强大的多功能性，支持函数调用和代码解释器，使其能够更广泛地应用于各种场景。此外，MiniCPM3-4B拥有32k的上下文窗口，配合LLMxMapReduce技术，理论上可以处理无限上下文，而无需大量内存。

开源时空基础模型，用于交通预测

OpenCity是一个开源的时空基础模型，专注于交通预测领域。该模型通过整合Transformer架构和图神经网络，有效捕捉和标准化交通数据中的复杂时空依赖关系，实现对不同城市环境的零样本泛化。它在大规模、异构的交通数据集上进行预训练，学习到丰富、可泛化的表示，能够无缝应用于多种交通预测场景。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

高效低成本的小型语言模型

Phi-3是微软Azure推出的一系列小型语言模型（SLMs），具有突破性的性能，同时成本和延迟都很低。这些模型专为生成式AI解决方案设计，体积更小，计算需求更低。Phi-3模型遵循微软AI原则开发，包括责任、透明度、公平性、可靠性和安全性、隐私和安全性以及包容性，确保了安全性。此外，Phi-3还提供了本地部署、准确相关回答、低延迟场景部署、成本受限任务处理和定制化精度等功能。

前沿语言模型，具有先进的推理能力。

Grok-2是xAI的前沿语言模型，具有最先进的推理能力。此次发布包括Grok家族的两个成员：Grok-2和Grok-2 mini。这两个模型现在都在𝕏平台上发布给Grok用户。Grok-2是Grok-1.5的重要进步，具有聊天、编程和推理方面的前沿能力。同时，xAI引入了Grok-2 mini，一个小巧但功能强大的Grok-2的兄弟模型。Grok-2的早期版本已经在LMSYS排行榜上以“sus-column-r”的名字进行了测试。它在整体Elo得分方面超过了Claude 3.5 Sonnet和GPT-4-Turbo。

生成高质量中文方言语音的大规模文本到语音模型。

Bailing-TTS是由Giant Network的AI Lab开发的大型文本到语音(TTS)模型系列，专注于生成高质量的中文方言语音。该模型采用持续的半监督学习和特定的Transformer架构，通过多阶段训练过程，有效对齐文本和语音标记，实现中文方言的高质量语音合成。Bailing-TTS在实验中展现出接近人类自然表达的语音合成效果，对于方言语音合成领域具有重要意义。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

新一代数学模型，专注于解决复杂数学问题。

Qwen2-Math是一系列基于Qwen2 LLM构建的专门用于数学解题的语言模型。它在数学相关任务上的表现超越了现有的开源和闭源模型，为科学界解决需要复杂多步逻辑推理的高级数学问题提供了重要帮助。

通过角色扮演进行对话的大型语言模型

Peach-9B-8k-Roleplay是一个经过微调的大型语言模型，专门用于角色扮演对话。它基于01-ai/Yi-1.5-9B模型，通过数据合成方法在超过100K的对话上进行训练。尽管模型参数较小，但可能在34B以下参数的语言模型中表现最佳。

动态记忆框架，支持大型语言模型和代理。

RedCache-AI是一个为大型语言模型和代理设计的动态记忆框架，它允许开发者构建从AI驱动的约会应用到医疗诊断平台等广泛的应用。它解决了现有解决方案昂贵、封闭源代码或缺乏对外部依赖的广泛支持的问题。

开源AI搜索引擎框架，性能媲美Perplexity.ai Pro。

MindSearch是一个基于大型语言模型（LLM）的多智能体网络搜索引擎框架，具有与Perplexity.ai Pro相似的性能。用户可以轻松部署自己的搜索引擎，支持闭源大型语言模型（如GPT、Claude）或开源大型语言模型（如InternLM2.5-7b-chat）。它具备以下特点：能够解决生活中的任何问题，利用网络知识提供深入和广泛的知识库答案；展示详细的解决方案路径，提高最终响应的可信度和可用性；提供优化的UI体验，包括React、Gradio、Streamlit和Terminal等多种接口；动态构建图谱，将用户查询分解为图谱中的原子子问题，并根据WebSearcher的搜索结果逐步扩展图谱。

1T开源多语言大型语言模型

Tele-FLM-1T是一个开源的1T多语言大型语言模型，基于解码器仅Transformer架构，经过约2T tokens的训练。该模型在规模上展现出卓越的性能，有时甚至超越了更大的模型。除了分享模型权重外，还提供了核心设计、工程实践和训练细节，期待对学术和工业社区都有所裨益。

通过街霸3对战评估大型语言模型

llm-colosseum是一个创新的基准测试工具，它使用街霸3游戏来评估大型语言模型（LLM）的实时决策能力。与传统的基准测试不同，这个工具通过模拟实际游戏场景来测试模型的快速反应、智能策略、创新思维、适应性和恢复力。

一款专为中英文用户定制的指令式语言模型。

Llama3.1-8B-Chinese-Chat是一个基于Meta-Llama-3.1-8B-Instruct模型的指令式调优语言模型，专为中文和英文用户设计，具有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著减少了中文问题用英文回答和回答中中英文混合的问题，特别是在角色扮演、功能调用和数学能力方面有显著提升。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

大型多语言预训练语言模型

Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型，包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构，使用监督式微调（SFT）和强化学习与人类反馈（RLHF）进行调优，以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色，并在行业基准测试中超越了许多现有的开源和封闭聊天模型。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

增强型语言工具包

SaltAI Language Toolkit 是一个集成了检索增强生成（RAG）工具 Llama-Index、微软的 AutoGen 和 LlaVA-Next 的项目，通过 ComfyUI 的可适应节点接口，增强了平台的功能和用户体验。该项目于2024年5月9日增加了代理功能。

高性能的开源代码模型

Mamba-Codestral-7B-v0.1 是 Mistral AI Team 开发的基于 Mamba2 架构的开源代码模型，性能与最先进的基于 Transformer 的代码模型相当。它在多个行业标准基准测试中表现出色，提供高效的代码生成和理解能力，适用于编程和软件开发领域。

阿里云推出的大型音频语言模型

Qwen2-Audio是由阿里云提出的大型音频语言模型，能够接受各种音频信号输入，并根据语音指令进行音频分析或直接文本回复。该模型支持两种不同的音频交互模式：语音聊天和音频分析。它在13个标准基准测试中表现出色，包括自动语音识别、语音到文本翻译、语音情感识别等。

开源小型语言模型，适用于企业级应用

H2O-Danube2-1.8B是H2O.ai最新发布的开源小型语言模型，专为离线应用和企业级应用设计，具有经济高效的接口和训练成本，易于嵌入到移动电话、无人机等边缘设备中。该模型在Hugging Face Open LLM Leaderboard的<2B范围内排名第一，提供高达200倍的查询成本节省，同时在文档处理上提供更好的准确性，成本降低高达100%。H2O.ai平台还提供了成本控制和灵活性，支持超过30种大型语言模型(Large Language Models, LLMs)的混合使用，包括专有和开源的LLMs。

与私有自托管语言模型对话的iOS/macOS应用

Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用，它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品，允许在iOS生态系统（macOS、iOS、Watch、Vision Pro）的所有设备上提供无过滤、安全、私密和多模态的体验。

快速且内存高效的精确注意力机制

FlashAttention是一个开源的注意力机制库，专为深度学习中的Transformer模型设计，以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算，减少了内存占用，同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配，而FlashAttention-3针对Hopper GPU进行了优化，支持FP16和BF16数据类型。