产品库

多语言多模态嵌入模型，用于文本和图像检索。

jina-clip-v2是由Jina AI开发的多语言多模态嵌入模型，支持89种语言的图像检索，能够处理512x512分辨率的图像，提供从64到1024不同维度的输出，以适应不同的存储和处理需求。该模型结合了强大的文本编码器Jina-XLM-RoBERTa和视觉编码器EVA02-L14，通过联合训练创建了对齐的图像和文本表示。jina-clip-v2在多模态搜索和检索方面提供了更准确、更易用的能力，特别是在打破语言障碍、提供跨模态理解和检索方面表现出色。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

最新的视觉语言模型，支持多语言和多模态理解

Qwen2-VL-72B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最新的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，并可以集成到手机、机器人等设备中，进行基于视觉环境和文本指令的自动操作。除了英语和中文，Qwen2-VL现在还支持图像中不同语言文本的理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

多语言嵌入模型，用于视觉文档检索。

vdr-2b-multi-v1 是一款由 Hugging Face 推出的多语言嵌入模型，专为视觉文档检索设计。该模型能够将文档页面截图编码为密集的单向量表示，无需 OCR 或数据提取流程即可搜索和查询多语言视觉丰富的文档。基于 MrLight/dse-qwen2-2b-mrl-v1 开发，使用自建的多语言查询 - 图像对数据集进行训练，是 mcdse-2b-v1 的升级版，性能更强大。模型支持意大利语、西班牙语、英语、法语和德语，拥有 50 万高质量样本的开源多语言合成训练数据集，具有低 VRAM 和快速推理的特点，在跨语言检索方面表现出色。

Falcon 2 是一款开源、多语言、多模态的模型，具备图像到文本转换能力。

Falcon 2 是一款具有创新功能的生成式 AI 模型，为我们创造了一种充满可能性的未来路径，只有想象力才是限制。Falcon 2 采用开源许可证，具备多语言和多模态的能力，其中独特的图像到文本转换功能标志着 AI 创新的重大进展。

Aya Vision 是 Cohere 推出的多语言多模态视觉模型，旨在提升多语言场景下的视觉和文本理解能力。

Aya Vision 是 Cohere For AI 团队开发的先进视觉模型，专注于多语言多模态任务，支持 23 种语言。该模型通过创新的算法突破，如合成标注、多语言数据扩展和多模态模型融合，显著提升了视觉和文本任务的性能。其主要优点包括高效性（在计算资源有限的情况下仍能表现出色）和广泛的多语言支持。Aya Vision 的发布旨在推动多语言多模态研究的前沿发展，并为全球研究社区提供技术支持。

多模态大型语言模型，支持图像与文本的交互理解。

InternVL2_5-8B是由OpenGVLab开发的一款多模态大型语言模型（MLLM），它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型采用'ViT-MLP-LLM'架构，集成了新增量预训练的InternViT与多种预训练语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP projector。InternVL 2.5系列模型在多模态任务上展现出卓越的性能，包括图像和视频理解、多语言理解等。

高性能多模态语言模型，适用于图像和视频理解。

MiniCPM-V 2.6是一个基于8亿参数的多模态大型语言模型，它在单图像理解、多图像理解和视频理解等多个领域展现出领先性能。该模型在OpenCompass等多个流行基准测试中取得了平均65.2分的高分，超越了广泛使用的专有模型。它还具备强大的OCR能力，支持多语言，并在效率上表现出色，能够在iPad等终端设备上实现实时视频理解。

多语言晚交互检索模型，支持嵌入和重排

Jina ColBERT v2是一个先进的晚交互检索模型，基于ColBERT架构构建，支持89种语言，并提供优越的检索性能、用户可控的输出维度和长达8192个token的文本处理能力。它在信息检索领域具有革命性的意义，通过晚交互评分近似于交叉编码器中的联合查询-文档注意力，同时保持了接近传统密集检索模型的推理效率。

多模态大型语言模型，融合视觉与语言理解。

InternVL2_5-4B是一个先进的多模态大型语言模型（MLLM），在InternVL 2.0的基础上进行了核心模型架构的维护，并在训练和测试策略以及数据质量上进行了显著增强。该模型在处理图像、文本到文本的任务中表现出色，特别是在多模态推理、数学问题解决、OCR、图表和文档理解等方面。作为开源模型，它为研究人员和开发者提供了强大的工具，以探索和构建基于视觉和语言的智能应用。

多模态嵌入模型，实现文本、图像和截图的无缝检索。

Voyage AI推出的voyage-multimodal-3是一款多模态嵌入模型，它能够将文本和图像（包括PDF、幻灯片、表格等的截图）进行向量化处理，并捕捉关键视觉特征，从而提高文档检索的准确性。这一技术的进步，对于知识库中包含视觉和文本的丰富信息的RAG和语义搜索具有重要意义。voyage-multimodal-3在多模态检索任务中平均提高了19.63%的检索准确率，相较于其他模型表现出色。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

多模态大型语言模型，支持图像和文本理解。

Pixtral-12b-240910是由Mistral AI团队发布的多模态大型语言模型，它能够处理和理解图像以及文本信息。该模型采用了先进的神经网络架构，能够通过图像和文本的结合输入，提供更加丰富和准确的输出结果。它在图像识别、自然语言处理和多模态交互方面展现出卓越的性能，对于需要图像和文本同时处理的应用场景具有重要意义。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

CLaMP 3 是一个用于跨模态和跨语言音乐信息检索的统一框架。

CLaMP 3 是一种先进的音乐信息检索模型，通过对比学习对齐乐谱、演奏信号、音频录音与多语言文本的特征，支持跨模态和跨语言的音乐检索。它能够处理未对齐的模态和未见的语言，展现出强大的泛化能力。该模型基于大规模数据集 M4-RAG 训练，涵盖全球多种音乐传统，支持多种音乐检索任务，如文本到音乐、图像到音乐等。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

轻松实现多语言翻译

Plane是一款基于人工智能技术的多语言翻译工具。它可以快速准确地将文本翻译成多种语言，帮助用户在跨语言交流中解决语言障碍。该助手具有高度的准确性和实时性，同时支持多种语言的互译功能。用户可以通过输入文本或上传文件进行翻译，还可以保存翻译记录和设置常用语言，提高翻译效率。

多语言大型语言模型，支持多领域文本生成。

XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型，采用混合专家模型（MoE）架构，具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言，特别在中英双语上表现优异。模型使用8K长度的训练样本，并通过精细化的数据采样比例和动态数据切换策略，保证了模型的高质量和多样性。此外，模型还针对MoE架构进行了定制优化，提升了计算效率和整体吞吐量。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

多语言模型问答助手

Snack AI是一款多语言模型问答助手，可以同时向多个语言模型提问并获取答案。它能够帮助用户快速获取准确的信息，并提供丰富的功能和使用场景。Snack AI的定价灵活多样，适合个人用户和企业用户的不同需求。

免费的多语言翻译工具

有道翻译提供免费、快速的多语言翻译服务,支持文本、文档、网页等内容翻译,提供人工翻译和专业领域翻译。功能强大,使用免费,是学习、工作必备工具。

多模态大语言模型，提升多模态推理能力

InternVL2-8B-MPO是一个多模态大语言模型（MLLM），通过引入混合偏好优化（MPO）过程，增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线，并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面，InternVL2-8B-MPO基于InternVL2-8B初始化，并使用MMPR数据集进行微调，展现出更强的多模态推理能力，且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率，超越InternVL2-8B 8.7个点，且表现接近于大10倍的InternVL2-76B。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

先进的多模态大型语言模型

InternVL2_5-2B-MPO是一个多模态大型语言模型系列，展示了卓越的整体性能。该系列基于InternVL2.5和混合偏好优化构建。它集成了新增量预训练的InternViT与各种预训练的大型语言模型，包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。该模型在多模态任务中表现出色，能够处理包括图像和文本在内的多种数据类型，适用于需要理解和生成多模态内容的场景。

多语言写作助手

Smodin是一款多语言写作助手，包括文本改写、查重、自动引用生成以及多语言翻译等功能。它能帮助学生、作家和互联网工作者提升写作质量和效率。

1T开源多语言大型语言模型

Tele-FLM-1T是一个开源的1T多语言大型语言模型，基于解码器仅Transformer架构，经过约2T tokens的训练。该模型在规模上展现出卓越的性能，有时甚至超越了更大的模型。除了分享模型权重外，还提供了核心设计、工程实践和训练细节，期待对学术和工业社区都有所裨益。