产品库

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

高效能的第三代MiniCPM系列模型

MiniCPM3-4B是MiniCPM系列的第三代产品，整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多近期的7B至9B模型相当。与前两代相比，MiniCPM3-4B具有更强大的多功能性，支持函数调用和代码解释器，使其能够更广泛地应用于各种场景。此外，MiniCPM3-4B拥有32k的上下文窗口，配合LLMxMapReduce技术，理论上可以处理无限上下文，而无需大量内存。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

高效低成本的小型语言模型

Phi-3是微软Azure推出的一系列小型语言模型（SLMs），具有突破性的性能，同时成本和延迟都很低。这些模型专为生成式AI解决方案设计，体积更小，计算需求更低。Phi-3模型遵循微软AI原则开发，包括责任、透明度、公平性、可靠性和安全性、隐私和安全性以及包容性，确保了安全性。此外，Phi-3还提供了本地部署、准确相关回答、低延迟场景部署、成本受限任务处理和定制化精度等功能。

前沿语言模型，具有先进的推理能力。

Grok-2是xAI的前沿语言模型，具有最先进的推理能力。此次发布包括Grok家族的两个成员：Grok-2和Grok-2 mini。这两个模型现在都在𝕏平台上发布给Grok用户。Grok-2是Grok-1.5的重要进步，具有聊天、编程和推理方面的前沿能力。同时，xAI引入了Grok-2 mini，一个小巧但功能强大的Grok-2的兄弟模型。Grok-2的早期版本已经在LMSYS排行榜上以“sus-column-r”的名字进行了测试。它在整体Elo得分方面超过了Claude 3.5 Sonnet和GPT-4-Turbo。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

新一代数学模型，专注于解决复杂数学问题。

Qwen2-Math是一系列基于Qwen2 LLM构建的专门用于数学解题的语言模型。它在数学相关任务上的表现超越了现有的开源和闭源模型，为科学界解决需要复杂多步逻辑推理的高级数学问题提供了重要帮助。

通过角色扮演进行对话的大型语言模型

Peach-9B-8k-Roleplay是一个经过微调的大型语言模型，专门用于角色扮演对话。它基于01-ai/Yi-1.5-9B模型，通过数据合成方法在超过100K的对话上进行训练。尽管模型参数较小，但可能在34B以下参数的语言模型中表现最佳。

动态记忆框架，支持大型语言模型和代理。

RedCache-AI是一个为大型语言模型和代理设计的动态记忆框架，它允许开发者构建从AI驱动的约会应用到医疗诊断平台等广泛的应用。它解决了现有解决方案昂贵、封闭源代码或缺乏对外部依赖的广泛支持的问题。

通过街霸3对战评估大型语言模型

llm-colosseum是一个创新的基准测试工具，它使用街霸3游戏来评估大型语言模型（LLM）的实时决策能力。与传统的基准测试不同，这个工具通过模拟实际游戏场景来测试模型的快速反应、智能策略、创新思维、适应性和恢复力。

一款专为中英文用户定制的指令式语言模型。

Llama3.1-8B-Chinese-Chat是一个基于Meta-Llama-3.1-8B-Instruct模型的指令式调优语言模型，专为中文和英文用户设计，具有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著减少了中文问题用英文回答和回答中中英文混合的问题，特别是在角色扮演、功能调用和数学能力方面有显著提升。

多语言对话生成模型

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），支持8种语言，专为对话使用案例优化，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）来提高安全性和有用性。

大型多语言预训练语言模型

Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型，包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构，使用监督式微调（SFT）和强化学习与人类反馈（RLHF）进行调优，以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色，并在行业基准测试中超越了许多现有的开源和封闭聊天模型。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

7亿参数的语言模型，展示数据整理技术的有效性。

DCLM-Baseline-7B是一个7亿参数的语言模型，由DataComp for Language Models (DCLM)团队开发，主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架，优化器为AdamW，学习率为2e-3，权重衰减为0.05，批次大小为2048序列，序列长度为2048个token，总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。

增强型语言工具包

SaltAI Language Toolkit 是一个集成了检索增强生成（RAG）工具 Llama-Index、微软的 AutoGen 和 LlaVA-Next 的项目，通过 ComfyUI 的可适应节点接口，增强了平台的功能和用户体验。该项目于2024年5月9日增加了代理功能。

阿里云推出的大型音频语言模型

Qwen2-Audio是由阿里云提出的大型音频语言模型，能够接受各种音频信号输入，并根据语音指令进行音频分析或直接文本回复。该模型支持两种不同的音频交互模式：语音聊天和音频分析。它在13个标准基准测试中表现出色，包括自动语音识别、语音到文本翻译、语音情感识别等。

开源小型语言模型，适用于企业级应用

H2O-Danube2-1.8B是H2O.ai最新发布的开源小型语言模型，专为离线应用和企业级应用设计，具有经济高效的接口和训练成本，易于嵌入到移动电话、无人机等边缘设备中。该模型在Hugging Face Open LLM Leaderboard的<2B范围内排名第一，提供高达200倍的查询成本节省，同时在文档处理上提供更好的准确性，成本降低高达100%。H2O.ai平台还提供了成本控制和灵活性，支持超过30种大型语言模型(Large Language Models, LLMs)的混合使用，包括专有和开源的LLMs。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

与私有自托管语言模型对话的iOS/macOS应用

Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用，它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品，允许在iOS生态系统（macOS、iOS、Watch、Vision Pro）的所有设备上提供无过滤、安全、私密和多模态的体验。

可在任何环境中运行的ComfyUI节点

BizyAir 是一个由siliconflow开发的插件，旨在帮助用户克服环境和硬件限制，更轻松地使用ComfyUI生成高质量内容。它支持在任何环境下运行，无需担心环境或硬件要求。

首个面向中英文用户的指令调优语言模型

Gemma-2-27B-Chinese-Chat是基于google/gemma-2-27b-it的首个指令调优语言模型，专为中英文用户设计，拥有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著提升了在中英文对话、角色扮演和数学计算等方面的性能。

高效紧凑的7B参数语言模型

Arcee Spark是一个7B参数的语言模型，它在紧凑的包体中提供高性能，证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型，并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。

多功能中文英文对话模型

Gemma-2-9B-Chinese-Chat是一款基于google/gemma-2-9b-it的指令调整型语言模型，专为中英文用户设计，具备角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著提升了对中文问题的响应准确性，减少了中英文混合使用的问题，并在角色扮演、工具使用和数学计算方面表现出色。

分布式长视频生成技术

Video-Infinity 是一种分布式长视频生成技术，能够在5分钟内生成2300帧的视频，速度是先前方法的100倍。该技术基于VideoCrafter2模型，采用了Clip Parallelism和Dual-scope Attention等创新技术，显著提高了视频生成的效率和质量。

异步去噪并行化扩散模型

AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案，它通过将噪声预测模型分割成多个组件并分配到不同的设备上，实现了模型的并行处理。这种方法显著减少了推理延迟，同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型，包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。

19亿参数规模的角色扮演模型，支持few shots角色定制。

Index-1.9B-Character是由Index团队自主研发的大型语言模型，专注于角色扮演领域，拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制，具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中，整体均分排名第九，表现优于同量级模型。

70亿参数的多方面奖励模型

Llama3-70B-SteerLM-RM是一个70亿参数的语言模型，用作属性预测模型，一个多方面的奖励模型，它在多个方面对模型响应进行评分，而不是传统奖励模型中的单一分数。该模型使用HelpSteer2数据集训练，并通过NVIDIA NeMo-Aligner进行训练，这是一个可扩展的工具包，用于高效和高效的模型对齐。

多令牌预测模型，提升语言模型的效率与性能

multi-token prediction模型是Facebook基于大型语言模型研究开发的技术，旨在通过预测多个未来令牌来提高模型的效率和性能。该技术允许模型在单次前向传播中生成多个令牌，从而加快生成速度并可能提高模型的准确性。该模型在非商业研究用途下免费提供，但使用时需遵守Meta的隐私政策和相关法律法规。

大型视频-语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型，专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能，能够处理复杂的视频内容，并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化，为视频内容的智能分析和处理提供了强大的支持。