产品库

Migician 是一个专注于多图像定位的多模态大语言模型，能够实现自由形式的多图像精确定位。

Migician 是清华大学自然语言处理实验室开发的一种多模态大语言模型，专注于多图像定位任务。该模型通过引入创新的训练框架和大规模数据集 MGrounding-630k，显著提升了多图像场景下的精确定位能力。它不仅超越了现有的多模态大语言模型，甚至在性能上超过了更大规模的 70B 模型。Migician 的主要优点在于其能够处理复杂的多图像任务，并提供自由形式的定位指令，使其在多图像理解领域具有重要的应用前景。该模型目前在 Hugging Face 上开源，供研究人员和开发者使用。

ViDoRAG 是一个结合视觉文档检索增强生成的动态迭代推理代理框架。

ViDoRAG 是阿里巴巴自然语言处理团队开发的一种新型多模态检索增强生成框架，专为处理视觉丰富文档的复杂推理任务设计。该框架通过动态迭代推理代理和高斯混合模型（GMM）驱动的多模态检索策略，显著提高了生成模型的鲁棒性和准确性。ViDoRAG 的主要优点包括高效处理视觉和文本信息、支持多跳推理以及可扩展性强。该框架适用于需要从大规模文档中检索和生成信息的场景，例如智能问答、文档分析和内容创作。其开源特性和灵活的模块化设计使其成为研究人员和开发者在多模态生成领域的重要工具。

Janus-Pro-1B 是一个统一多模态理解和生成的自回归框架。

Janus-Pro-1B 是一个创新的多模态模型，专注于统一多模态理解和生成。它通过分离视觉编码路径，解决了传统方法在理解和生成任务中的冲突问题，同时保持了单个统一的 Transformer 架构。这种设计不仅提高了模型的灵活性，还使其在多模态任务中表现出色，甚至超越了特定任务的模型。该模型基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 构建，使用 SigLIP-L 作为视觉编码器，支持 384x384 的图像输入，并采用特定的图像生成 tokenizer。其开源性和灵活性使其成为下一代多模态模型的有力候选。

VideoLLaMA3是前沿的多模态基础模型，专注于图像和视频理解。

VideoLLaMA3是由DAMO-NLP-SG团队开发的前沿多模态基础模型，专注于图像和视频理解。该模型基于Qwen2.5架构，结合了先进的视觉编码器（如SigLip）和强大的语言生成能力，能够处理复杂的视觉和语言任务。其主要优点包括高效的时空建模能力、强大的多模态融合能力以及对大规模数据的优化训练。该模型适用于需要深度视频理解的应用场景，如视频内容分析、视觉问答等，具有广泛的研究和商业应用潜力。

多模态大型语言模型，展示卓越的整体性能。

InternVL2.5-MPO是一个先进的多模态大型语言模型系列，它基于InternVL2.5和混合偏好优化构建。该模型整合了新增量预训练的InternViT与各种预训练的大型语言模型，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在新版本中保留了与InternVL 2.5及其前身相同的模型架构，遵循“ViT-MLP-LLM”范式。该模型支持多图像和视频数据，通过混合偏好优化（MPO）进一步提升模型性能，使其在多模态任务中表现更优。

多模态大型语言模型，展示卓越的整体性能

InternVL2.5-MPO是一个先进的多模态大型语言模型系列，基于InternVL2.5和混合偏好优化构建。该模型集成了新增量预训练的InternViT和各种预训练的大型语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。它支持多图像和视频数据，并且在多模态任务中表现出色，能够理解和生成与图像相关的文本内容。

一站式大模型算法、模型及优化工具开源项目

FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。

先进的多模态大型语言模型

InternVL2_5-2B-MPO是一个多模态大型语言模型系列，展示了卓越的整体性能。该系列基于InternVL2.5和混合偏好优化构建。它集成了新增量预训练的InternViT与各种预训练的大型语言模型，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。该模型在多模态任务中表现出色，能够处理包括图像和文本在内的多种数据类型，适用于需要理解和生成多模态内容的场景。

多模态大型语言模型，提升视觉和语言的综合理解能力

InternVL2_5-1B-MPO是一个多模态大型语言模型（MLLM），它基于InternVL2.5和混合偏好优化（MPO）构建，展示了优越的整体性能。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在模型架构上保留了与InternVL 2.5及其前身相同的“ViT-MLP-LLM”范式，并引入了对多图像和视频数据的支持。该模型在多模态任务中表现出色，能够处理包括图像描述、视觉问答等多种视觉语言任务。

WePOINTS项目，提供多模态模型的统一框架

WePOINTS是由微信AI团队开发的一系列多模态模型，旨在创建一个统一框架，容纳各种模态。这些模型利用最新的多模态模型进展和技术，推动内容理解和生成的无缝统一。WePOINTS项目不仅提供了模型，还包括了预训练数据集、评估工具和使用教程，是多模态人工智能领域的重要贡献。

先进的多模态大型语言模型系列

InternVL 2.5是OpenGVLab推出的多模态大型语言模型系列，它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型系列能够处理图像、文本和视频数据，具备多模态理解和生成的能力，是当前多模态人工智能领域的前沿产品。InternVL 2.5系列模型以其高性能和开源特性，为多模态任务提供了强大的支持。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

先进的多模态AI模型家族

Molmo是一个开放的、最先进的多模态AI模型家族，旨在通过学习指向其感知的内容，实现与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容，实现了与物理和虚拟世界的丰富互动，为下一代应用程序提供行动和交互的能力。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

情商智商俱佳的多模态大模型

西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型，它能够处理包括文本、图像、声音等多种数据类型，为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法，能够理解和生成自然语言，适用于多种场景，如心理咨询、内容创作、客户服务等，具有高度的定制性和灵活性。西湖大模型的推出，标志着心辰智能云在AI领域的技术实力和创新能力，为用户提供了更加丰富和高效的智能服务体验。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

连接数字和物理世界的首款多模态模型

Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。

新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

高效多模态大型语言模型

TinyGPT-V 是一种高效的多模态大型语言模型，通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力，适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型，具备出色的性能和效率。

像素对齐语言模型

PixelLLM是一种用于图像定位任务的视觉 - 语言模型。该模型可以根据输入的位置生成描述性文字，也可以根据输入的文字生成像素坐标进行密集的定位。通过在 Localized Narrative 数据集上进行预训练，模型学习了单词与图像像素之间的对齐关系。PixelLLM 可应用于多种图像定位任务，包括指示定位、位置条件描述和密集物体描述，并在 RefCOCO 和 Visual Genome 等数据集上达到了最先进的性能。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

一个高效的强化学习框架，用于训练推理和搜索引擎调用的语言模型。

Search-R1 是一个强化学习框架，旨在训练能够进行推理和调用搜索引擎的语言模型（LLMs）。它基于 veRL 构建，支持多种强化学习方法和不同的 LLM 架构，使得在工具增强的推理研究和开发中具备高效性和可扩展性。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。