产品库

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

VLM-R1 是一个稳定且通用的强化视觉语言模型，专注于视觉理解任务。

VLM-R1 是一种基于强化学习的视觉语言模型，专注于视觉理解任务，如指代表达理解（Referring Expression Comprehension, REC）。该模型通过结合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在领域内和领域外数据上的出色性能。VLM-R1 的主要优点包括其稳定性和泛化能力，使其能够在多种视觉语言任务中表现出色。该模型基于 Qwen2.5-VL 构建，利用了先进的深度学习技术，如闪存注意力机制（Flash Attention 2），以提高计算效率。VLM-R1 旨在为视觉语言任务提供一种高效且可靠的解决方案，适用于需要精确视觉理解的应用场景。

最先进的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-2B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

一款多功能大型视觉语言模型

InternLM-XComposer-2.5是一款支持长上下文输入和输出的多功能大型视觉语言模型。它在各种文本图像理解和创作应用中表现出色，实现了与GPT-4V相当的水平，但仅使用了7B的LLM后端。该模型通过24K交错图像文本上下文进行训练，能够无缝扩展到96K长上下文，通过RoPE外推。这种长上下文能力使其在需要广泛输入和输出上下文的任务中表现突出。此外，它还支持超高分辨率理解、细粒度视频理解、多轮多图像对话、网页制作以及撰写高质量图文文章等功能。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

8亿参数的多语言视觉语言模型，支持OCR、图像描述、视觉推理等功能

CohereForAI的Aya Vision 8B是一个8亿参数的多语言视觉语言模型，专为多种视觉语言任务优化，支持OCR、图像描述、视觉推理、总结、问答等功能。该模型基于C4AI Command R7B语言模型，结合SigLIP2视觉编码器，支持23种语言，具有16K上下文长度。其主要优点包括多语言支持、强大的视觉理解能力以及广泛的适用场景。该模型以开源权重形式发布，旨在推动全球研究社区的发展。根据CC-BY-NC许可协议，用户需遵守C4AI的可接受使用政策。

SigLIP2 是谷歌推出的一种多语言视觉语言编码器，用于零样本图像分类。

SigLIP2 是谷歌开发的多语言视觉语言编码器，具有改进的语义理解、定位和密集特征。它支持零样本图像分类，能够通过文本描述直接对图像进行分类，无需额外训练。该模型在多语言场景下表现出色，适用于多种视觉语言任务。其主要优点包括高效的语言图像对齐能力、支持多种分辨率和动态分辨率调整，以及强大的跨语言泛化能力。SigLIP2 的推出为多语言视觉任务提供了新的解决方案，尤其适合需要快速部署和多语言支持的场景。

月之暗面推出的最新AI模型，支持自动同步更新和大上下文长度，适用于AI聊天和智能助手构建。

kimi-latest 是月之暗面公司推出的最新 AI 模型，与 Kimi 智能助手同步升级，具备强大的上下文处理能力和自动缓存功能，能够有效降低使用成本。该模型支持图像理解和多种功能，如 ToolCalls 和联网搜索，适用于构建 AI 智能助手或客服系统。其价格为每百万 Tokens 1 元，定位为高效、灵活的 AI 模型解决方案。

Janus Pro 是一款先进的 AI 图像生成与理解平台，提供高质量的视觉智能服务。

Janus Pro 是由 DeepSeek 技术驱动的先进 AI 图像生成与理解平台。它采用革命性的统一变换器架构，能够高效处理复杂的多模态操作，实现图像生成和理解的卓越性能。该平台训练了超过 9000 万个样本，其中包括 7200 万个合成美学数据点，确保生成的图像在视觉上具有吸引力且上下文准确。Janus Pro 为开发者和研究人员提供强大的视觉 AI 能力，帮助他们实现从创意到视觉叙事的转变。平台提供免费试用，适合需要高质量图像生成和分析的用户。

低成本强化视觉语言模型的泛化能力，仅需不到3美元。

R1-V是一个专注于强化视觉语言模型（VLM）泛化能力的项目。它通过可验证奖励的强化学习（RLVR）技术，显著提升了VLM在视觉计数任务中的泛化能力，尤其是在分布外（OOD）测试中表现出色。该技术的重要性在于，它能够在极低的成本下（仅需2.62美元的训练成本），实现对大规模模型的高效优化，为视觉语言模型的实用化提供了新的思路。项目背景基于对现有VLM训练方法的改进，目标是通过创新的训练策略，提升模型在复杂视觉任务中的表现。R1-V的开源性质也使其成为研究者和开发者探索和应用先进VLM技术的重要资源。

Tülu 3 405B 是一个大规模开源语言模型，通过强化学习提升性能。

Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型，具有 4050 亿参数。该模型通过创新的强化学习框架（RLVR）提升性能，尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化，采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具，适用于需要高性能语言模型的各种应用场景。

VideoLLaMA3是前沿的多模态基础模型，专注于图像和视频理解。

VideoLLaMA3是由DAMO-NLP-SG团队开发的前沿多模态基础模型，专注于图像和视频理解。该模型基于Qwen2.5架构，结合了先进的视觉编码器（如SigLip）和强大的语言生成能力，能够处理复杂的视觉和语言任务。其主要优点包括高效的时空建模能力、强大的多模态融合能力以及对大规模数据的优化训练。该模型适用于需要深度视频理解的应用场景，如视频内容分析、视觉问答等，具有广泛的研究和商业应用潜力。

一个强大的OCR包，使用最先进的视觉语言模型提取图像中的文本。

ollama-ocr是一个基于ollama的光学字符识别（OCR）模型，能够从图像中提取文本。它利用先进的视觉语言模型，如LLaVA、Llama 3.2 Vision和MiniCPM-V 2.6，提供高精度的文本识别。该模型对于需要从图片中获取文本信息的场景非常有用，如文档扫描、图像内容分析等。它开源免费，易于集成到各种项目中。

开源的视觉语言模型，可在多种设备上运行。

Moondream AI是一个开源的视觉语言模型，具有强大的多模态处理能力。它支持多种量化格式，如fp16、int8、int4，能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署，且采用Apache 2.0许可证，允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案，适用于需要视觉和语言处理能力的各种应用场景。

CogAgent-9B-20241220是基于视觉语言模型的GUI代理模型。

CogAgent-9B-20241220模型基于GLM-4V-9B双语开源VLM基础模型，通过数据收集和优化、多阶段训练以及策略改进，在GUI感知、推理预测准确性、动作空间完整性和任务泛化性方面取得了显著进步。该模型支持双语（中文和英文）交互，并能处理屏幕截图和语言输入。此版本已应用于ZhipuAI的GLM-PC产品中，旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。

利用视觉语言模型将PDF解析为Markdown。

vision-parse是一个利用视觉语言模型（Vision LLMs）将PDF文档解析为格式化良好的Markdown内容的工具。它支持多种模型，包括OpenAI、LLama和Gemini等，能够智能识别和提取文本及表格，并保持文档的层级结构、样式和缩进。该工具的主要优点包括高精度的内容提取、格式保持、支持多模型以及本地模型托管，适用于需要高效文档处理的用户。

一款具有671B参数的Mixture-of-Experts语言模型。

DeepSeek-V3是一个强大的Mixture-of-Experts (MoE) 语言模型，拥有671B的总参数量，每次激活37B参数。它采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3首次采用了无辅助损失的负载均衡策略，并设置了多令牌预测训练目标，以实现更强大的性能。DeepSeek-V3在14.8万亿高质量令牌上进行了预训练，随后进行了监督式微调和强化学习阶段，以充分利用其能力。综合评估显示，DeepSeek-V3超越了其他开源模型，并达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需要2.788M H800 GPU小时，并且训练过程非常稳定。

基于深度推理的神经机器翻译模型

DRT-o1-14B是一个神经机器翻译模型，旨在通过长链推理来提升翻译的深度和准确性。该模型通过挖掘含有比喻或隐喻的英文句子，并采用多代理框架（包括翻译者、顾问和评估者）来合成长思考的机器翻译样本。DRT-o1-14B基于Qwen2.5-14B-Instruct作为主干进行训练，具有14.8B的参数量，支持BF16张量类型。该模型的重要性在于其能够处理复杂的翻译任务，尤其是在需要深入理解和推理的情况下，提供了一种新的解决方案。

开源的端到端视觉语言模型（VLM）基础的GUI代理

CogAgent是一个基于视觉语言模型（VLM）的GUI代理，它通过屏幕截图和自然语言实现双语（中文和英文）交云。CogAgent在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面取得了显著进步。该模型已经在ZhipuAI的GLM-PC产品中得到应用，旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。

先进的大型混合专家视觉语言模型

DeepSeek-VL2是一系列先进的大型混合专家（MoE）视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解、视觉定位等多项任务中展现出卓越的能力。DeepSeek-VL2由三种变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集型和基于MoE的模型相比，达到了竞争性或最先进的性能。

视觉语言模型的最新进展，集成微信AI的新技术

POINTS-Yi-1.5-9B-Chat是一个视觉语言模型，它集成了最新的视觉语言模型技术和微信AI提出的新技术。该模型在预训练数据集过滤、模型汤（Model Soup）技术等方面有显著创新，能够显著减少预训练数据集的大小并提高模型性能。它在多个基准测试中表现优异，是视觉语言模型领域的一个重要进展。

视觉语言模型的最新进展

POINTS-Qwen-2-5-7B-Chat是一个集成了视觉语言模型最新进展和新技巧的模型，由微信AI的研究人员提出。它通过预训练数据集筛选、模型汤等技术，显著提升了模型性能。这个模型在多个基准测试中表现优异，是视觉语言模型领域的一个重要进步。

领先视觉语言模型，支持双语及高质量控制，免费。

WePOINTS 系列最新更新，参数量大性能强，有多项创新技术，在 OpenCompass 排行榜表现优异。

先进的多模态理解模型，融合视觉与语言能力。

DeepSeek-VL2是一系列大型Mixture-of-Experts视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等任务上展现出卓越的能力。DeepSeek-VL2包含三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集和MoE基础模型相比，达到了竞争性或最先进的性能。

一款AI视觉语言模型，提供图像分析和描述服务。

InternVL是一个AI视觉语言模型，专注于图像分析和描述。它通过深度学习技术，能够理解和解释图像内容，为用户提供准确的图像描述和分析结果。InternVL的主要优点包括高准确性、快速响应和易于集成。该技术背景基于最新的人工智能研究，致力于提高图像识别的效率和准确性。目前，InternVL提供免费试用，具体价格和定位需要根据用户需求定制。

视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

Florence-VL是一个视觉语言模型，通过引入生成式视觉编码器和深度广度融合技术，增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解，进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发，提供了预训练和微调的代码、模型检查点和演示。

Qwen2-VL-7B是最新的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-7B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。此外，Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

PaliGemma 2是功能强大的视觉语言模型，简单易调优。

PaliGemma 2是Gemma家族中的第二代视觉语言模型，它在性能上进行了扩展，增加了视觉能力，使得模型能够看到、理解和与视觉输入交互，开启了新的可能性。PaliGemma 2基于高性能的Gemma 2模型构建，提供了多种模型尺寸（3B、10B、28B参数）和分辨率（224px、448px、896px）以优化任何任务的性能。此外，PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸部X光报告生成等方面展现出领先的性能。PaliGemma 2旨在为现有PaliGemma用户提供便捷的升级路径，作为即插即用的替代品，大多数任务无需大幅修改代码即可获得性能提升。

高效开源的视觉语言模型

SmolVLM是一个小型但功能强大的视觉语言模型（VLM），拥有2B参数，以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源，包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署，降低推理成本，并允许用户自定义。