产品库

多模态大型语言模型，支持图像与文本的深度交互

InternVL 2.5 是一个先进的多模态大型语言模型系列，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，维持了其核心模型架构。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型，例如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5 支持多图像和视频数据，具备动态高分辨率训练方法，能够在处理多模态数据时提供更好的性能。

多模态大型语言模型，支持图像与文本的交互理解。

InternVL2_5-8B是由OpenGVLab开发的一款多模态大型语言模型（MLLM），它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型采用'ViT-MLP-LLM'架构，集成了新增量预训练的InternViT与多种预训练语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP projector。InternVL 2.5系列模型在多模态任务上展现出卓越的性能，包括图像和视频理解、多语言理解等。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

多模态大型语言模型，融合视觉与语言理解。

InternVL2_5-26B是一个先进的多模态大型语言模型（MLLM），在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，进一步发展而来。该模型保持了其前身的“ViT-MLP-LLM”核心模型架构，并集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），例如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5系列模型在多模态任务中展现出卓越的性能，尤其在视觉感知和多模态能力方面。

先进的多模态大型语言模型系列

InternVL 2.5是OpenGVLab推出的多模态大型语言模型系列，它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型系列能够处理图像、文本和视频数据，具备多模态理解和生成的能力，是当前多模态人工智能领域的前沿产品。InternVL 2.5系列模型以其高性能和开源特性，为多模态任务提供了强大的支持。

先进多模态大型语言模型系列

InternVL 2.5是一系列先进的多模态大型语言模型（MLLM），在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，进一步发展而来。该模型系列在视觉感知和多模态能力方面进行了优化，支持包括图像、文本到文本的转换在内的多种功能，适用于需要处理视觉和语言信息的复杂任务。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

Google最大、最强大的AI多模态模型

Google Gemini是由DeepMind开发的多模态AI模型，可以处理文本、音频、图像等多种信息。它包括三个版本：Ultra、Pro和Nano，分别针对不同的任务复杂度。Gemini在AI基准测试中表现出色，针对各种设备进行了优化，并已经过安全和偏见测试，遵循负责任的AI实践。它将集成到Google产品中，并通过Google AI Studio和Google Cloud Vertex AI提供。

下一代开发者AI工具，提升开发效率与应用互动性

Gemini 2.0 Flash是Google推出的下一代AI模型，旨在赋予开发者构建未来AI应用的能力。自去年12月发布Gemini 1.0以来，数百万开发者已使用Google AI Studio和Vertex AI构建了支持109种语言的Gemini应用。Gemini 2.0 Flash在性能上是1.5 Pro的两倍，同时实现了更强的性能，包括新的多模态输出和原生工具使用。它通过Gemini API在Google AI Studio和Vertex AI中提供实验性访问，并计划在明年初全面上市。Gemini 2.0 Flash的主要优点包括更好的性能、新的输出模态、原生工具使用和多模态实时API，这些功能将进一步提升开发者的工作效率和应用的互动性。

Google新一代AI模型，开启智能助理新时代。

Gemini 2.0是Google DeepMind推出的最新AI模型，旨在为“智能助理时代”提供支持。该模型在多模态能力上进行了升级，包括原生图像和音频输出以及工具使用能力，使得构建新的AI智能助理更加接近通用助理的愿景。Gemini 2.0的发布，标志着Google在AI领域的深入探索和持续创新，通过提供更强大的信息处理和输出能力，使得信息更加有用，为用户带来更高效和便捷的体验。

大规模多模态推理与指令调优平台

MAmmoTH-VL是一个大规模多模态推理平台，它通过指令调优技术，显著提升了多模态大型语言模型（MLLMs）在多模态任务中的表现。该平台使用开放模型创建了一个包含1200万指令-响应对的数据集，覆盖了多样化的、推理密集型的任务，并提供了详细且忠实的理由。MAmmoTH-VL在MathVerse、MMMU-Pro和MuirBench等基准测试中取得了最先进的性能，展现了其在教育和研究领域的重要性。

基于InternViT-6B-448px-V1-5的增强版视觉模型

InternViT-6B-448px-V2_5是一个基于InternViT-6B-448px-V1-5的视觉模型，通过使用ViT增量学习与NTP损失（阶段1.5），提升了视觉编码器提取视觉特征的能力，尤其是在大规模网络数据集中代表性不足的领域，如多语言OCR数据和数学图表等。该模型是InternVL 2.5系列的一部分，保留了与前代相同的“ViT-MLP-LLM”模型架构，并集成了新增量预训练的InternViT与各种预训练的LLMs，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。

Qwen2-VL-7B是最新的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-7B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。此外，Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

最先进的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-2B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

70亿参数的多语言大型语言模型

Llama-3.3-70B-Instruct是由Meta开发的一个70亿参数的大型语言模型，专门针对多语言对话场景进行了优化。该模型使用优化的Transformer架构，并通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)来提高其有用性和安全性。它支持多种语言，并能够处理文本生成任务，是自然语言处理领域的一项重要技术。

多功能代码沙箱，适用于大型语言模型。

Sandbox Fusion是一个多功能代码沙箱，专为大型语言模型（LLMs）设计。它支持多达20种编程语言，能够全面测试包括编程、数学和硬件编程在内的多个领域。Sandbox Fusion集成了超过10个与编码相关的评估数据集，这些数据集具有标准化的数据格式，并且可以通过统一的HTTP API访问。此外，Sandbox Fusion针对云基础设施部署进行了优化，并在有特权容器时提供内置的安全隔离。产品背景信息显示，Sandbox Fusion由字节跳动有限公司开发，旨在为开发者提供一个安全、高效的代码测试环境。

AI驱动的演示文档制作平台

Pi-智能演示文档是一个利用AI技术，提供丰富设计元素和多模态模型构建设计的演示文档制作平台。它能够整合用户的笔记、PDF、网页、图片、视频和数据，创建任何格式的内容。产品背景信息显示，Pi旨在通过AI智能和知识引擎，为用户提供优雅结构化的内容生成和设计灵感，适合需要制作演示文档的用户。产品定位于提高演示文档的制作效率和质量，价格信息未在页面中明确提供。

Amazon Nova是亚马逊新一代的基础模型，提供前沿智能和行业领先的性价比。

Amazon Nova是亚马逊推出的新一代基础模型，能够处理文本、图像和视频提示，使客户能够使用Amazon Nova驱动的生成性AI应用程序理解视频、图表和文档，或生成视频和其他多媒体内容。Amazon Nova模型在亚马逊内部约有1000个生成性AI应用正在运行，旨在帮助内部和外部构建者应对挑战，并在延迟、成本效益、定制化、信息接地和代理能力方面取得有意义的进展。

多模态原生Mixture-of-Experts模型

Aria-Base-64K是Aria系列的基础模型之一，专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成，经过33B个token（21B多模态，12B语言，69%为长文本）的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调，即使在资源有限的情况下，也可以通过短指令调优数据集进行后训练，并转移到长文本问答场景。该模型能够理解多达250张高分辨率图像或多达500张中等分辨率图像，并在语言和多模态场景中保持强大的基础性能。