产品库

先进的多模态大型语言模型系列

InternVL 2.5是OpenGVLab推出的多模态大型语言模型系列，它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型系列能够处理图像、文本和视频数据，具备多模态理解和生成的能力，是当前多模态人工智能领域的前沿产品。InternVL 2.5系列模型以其高性能和开源特性，为多模态任务提供了强大的支持。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

先进的多模态AI模型家族

Molmo是一个开放的、最先进的多模态AI模型家族，旨在通过学习指向其感知的内容，实现与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容，实现了与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。

多模态大型语言模型，支持图像与文本的深度交互

InternVL 2.5 是一个先进的多模态大型语言模型系列，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，维持了其核心模型架构。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型，例如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5 支持多图像和视频数据，具备动态高分辨率训练方法，能够在处理多模态数据时提供更好的性能。

基于InternViT-6B-448px-V1-5的增强版视觉模型

InternViT-6B-448px-V2_5是一个基于InternViT-6B-448px-V1-5的视觉模型，通过使用ViT增量学习与NTP损失（阶段1.5），提升了视觉编码器提取视觉特征的能力，尤其是在大规模网络数据集中代表性不足的领域，如多语言OCR数据和数学图表等。该模型是InternVL 2.5系列的一部分，保留了与前代相同的“ViT-MLP-LLM”模型架构，并集成了新增量预训练的InternViT与各种预训练的LLMs，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。

多模态大型语言模型，支持图像与文本的交互理解。

InternVL2_5-8B是由OpenGVLab开发的一款多模态大型语言模型（MLLM），它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型采用'ViT-MLP-LLM'架构，集成了新增量预训练的InternViT与多种预训练语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP projector。InternVL 2.5系列模型在多模态任务上展现出卓越的性能，包括图像和视频理解、多语言理解等。

多模态大型语言模型，融合视觉与语言理解。

InternVL2_5-26B是一个先进的多模态大型语言模型（MLLM），在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，进一步发展而来。该模型保持了其前身的“ViT-MLP-LLM”核心模型架构，并集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），例如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5系列模型在多模态任务中展现出卓越的性能，尤其在视觉感知和多模态能力方面。

先进多模态大型语言模型系列

InternVL 2.5是一系列先进的多模态大型语言模型（MLLM），在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，进一步发展而来。该模型系列在视觉感知和多模态能力方面进行了优化，支持包括图像、文本到文本的转换在内的多种功能，适用于需要处理视觉和语言信息的复杂任务。

视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

Florence-VL是一个视觉语言模型，通过引入生成式视觉编码器和深度广度融合技术，增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解，进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发，提供了预训练和微调的代码、模型检查点和演示。

PaliGemma 2是功能强大的视觉语言模型，简单易调优。

PaliGemma 2是Gemma家族中的第二代视觉语言模型，它在性能上进行了扩展，增加了视觉能力，使得模型能够看到、理解和与视觉输入交互，开启了新的可能性。PaliGemma 2基于高性能的Gemma 2模型构建，提供了多种模型尺寸（3B、10B、28B参数）和分辨率（224px、448px、896px）以优化任何任务的性能。此外，PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸部X光报告生成等方面展现出领先的性能。PaliGemma 2旨在为现有PaliGemma用户提供便捷的升级路径，作为即插即用的替代品，大多数任务无需大幅修改代码即可获得性能提升。

7B参数的大型语言模型，提升自然语言处理能力

OLMo 2 7B是由Allen Institute for AI (Ai2)开发的一款7B参数的大型语言模型，它在多个自然语言处理任务上展现出色的表现。该模型通过在大规模数据集上的训练，能够理解和生成自然语言，支持多种语言模型相关的科研和应用。OLMo 2 7B的主要优点包括其大规模的参数量，使得模型能够捕捉到更加细微的语言特征，以及其开源的特性，促进了学术界和工业界的进一步研究和应用。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

视觉语言模型，结合图像和文本信息进行智能处理。

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型（VLM），选用Qwen2.5-1.5B-instruct模型作为语言模型（LLM），并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练，包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源，旨在推动多模态性能的发展，特别是在图像和文本的结合处理方面。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

AIGC 应用快速构建平台

派欧算力云大模型 API 提供易于集成的各模态 API 服务，包括大语言模型、图像、音频、视频等，旨在帮助用户轻松构建专属的 AIGC 应用。该平台拥有丰富的模型资源，支持个性化需求的模型训练和托管，同时保证用户私有模型的保密性。它以高性价比、高吞吐量和高性能推理引擎为特点，适用于多种 AI 应用场景，如聊天机器人、总结摘要、小说生成器等。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

多语言大型语言模型

Llama 3.2是由Meta公司推出的多语言大型语言模型（LLMs），包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化，包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。

高效单遍统一生成和检索框架，适用于大型语言模型。

OneGen是一个为大型语言模型（LLMs）设计的高效单遍生成和检索框架，用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中，通过将检索任务分配给以自回归方式生成的检索令牌，使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本，还显著减少了推理成本，因为它避免了对查询进行两次前向传递计算的需求。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

使大型语言模型在长文本问答中生成细粒度引用

LongCite是一个开源的模型，它通过训练大型语言模型（LLMs）来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度，使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度，并且提供了两个模型：LongCite-glm4-9b和LongCite-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。