产品库

强大的开源视觉语言模型

CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿个视觉参数和70亿个语言参数。CogVLM-17B在10个经典的跨模态基准测试中取得了最先进的性能，包括NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名第二，超过或与PaLI-X 55B相匹配。CogVLM还可以与您就图像进行对话。

8亿参数的多语言视觉语言模型，支持OCR、图像描述、视觉推理等功能

CohereForAI的Aya Vision 8B是一个8亿参数的多语言视觉语言模型，专为多种视觉语言任务优化，支持OCR、图像描述、视觉推理、总结、问答等功能。该模型基于C4AI Command R7B语言模型，结合SigLIP2视觉编码器，支持23种语言，具有16K上下文长度。其主要优点包括多语言支持、强大的视觉理解能力以及广泛的适用场景。该模型以开源权重形式发布，旨在推动全球研究社区的发展。根据CC-BY-NC许可协议，用户需遵守C4AI的可接受使用政策。

Aya Vision 32B 是一个支持多语言的视觉语言模型，适用于OCR、图像描述、视觉推理等多种用途。

Aya Vision 32B 是由 Cohere For AI 开发的先进视觉语言模型，拥有 320 亿参数，支持 23 种语言，包括英语、中文、阿拉伯语等。该模型结合了最新的多语言语言模型 Aya Expanse 32B 和 SigLIP2 视觉编码器，通过多模态适配器实现视觉与语言理解的结合。它在视觉语言领域表现出色，能够处理复杂的图像与文本任务，如 OCR、图像描述、视觉推理等。该模型的发布旨在推动多模态研究的普及，其开源权重为全球研究人员提供了强大的工具。该模型遵循 CC-BY-NC 许可证，并需遵守 Cohere For AI 的合理使用政策。

大规模图像描述数据集，提供超过16M的合成图像描述。

PixelProse是一个由tomg-group-umd创建的大规模数据集，它利用先进的视觉-语言模型Gemini 1.0 Pro Vision生成了超过1600万个详细的图像描述。这个数据集对于开发和改进图像到文本的转换技术具有重要意义，可以用于图像描述生成、视觉问答等任务。

一款AI视觉语言模型，提供图像分析和描述服务。

InternVL是一个AI视觉语言模型，专注于图像分析和描述。它通过深度学习技术，能够理解和解释图像内容，为用户提供准确的图像描述和分析结果。InternVL的主要优点包括高准确性、快速响应和易于集成。该技术背景基于最新的人工智能研究，致力于提高图像识别的效率和准确性。目前，InternVL提供免费试用，具体价格和定位需要根据用户需求定制。

PaliGemma 2是一个强大的视觉-语言模型，支持多种视觉语言任务。

PaliGemma 2是一个由Google开发的视觉-语言模型，继承了Gemma 2模型的能力，能够处理图像和文本输入并生成文本输出。该模型在多种视觉语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构和广泛的适用性。该模型适用于需要处理视觉和文本数据的各种应用场景，如社交媒体内容生成、智能客服等。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2-large是由微软开发的先进视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

AI相机，回答任何问题

Campedia是一款AI相机，可以回答任何问题。它可以用于识别植物、动物、硬币、葡萄酒、地标等，还可以用于更复杂的任务，例如从冰箱里的食材中创建食谱。Campedia采用GPT 4 Vision技术，能够分析图像并回答相关问题。它拥有简化的用户界面，只需轻触并按住快门按钮，然后释放以获取答案。Campedia支持多种语言，并提供免费和PRO版本。加入AI革命，开始探索一个全新的世界！

PaliGemma 2是一款强大的视觉-语言模型，支持多种语言的图像和文本处理任务。

PaliGemma 2是由Google开发的视觉-语言模型，它结合了SigLIP视觉模型和Gemma 2语言模型的能力，能够处理图像和文本输入，并生成相应的文本输出。该模型在多种视觉-语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构以及在多种任务上的优异性能。PaliGemma 2的开发背景是为了解决视觉和语言之间的复杂交互问题，帮助研究人员和开发者在相关领域取得突破。

增强视觉语言理解的高级大型语言模型

MiniGPT-4是一个基于先进的大型语言模型的视觉语言理解模型，具有生成详细图像描述、从手写草稿生成网站等功能。它还能根据给定的图像写故事和诗歌、提供解决问题的方法、根据食物照片教用户烹饪等。MiniGPT-4通过对原始图像文本对进行预训练，并使用对话模板的对齐数据进行微调，以提高生成结果的连贯性和准确性。MiniGPT-4的定价和定位信息请参考官方网站。

多模态大型语言模型，提升视觉与语言的交互能力。

InternVL2_5-26B-MPO是一个多模态大型语言模型（MLLM），它在InternVL2.5的基础上，通过混合偏好优化（Mixed Preference Optimization, MPO）进一步提升了模型性能。该模型能够处理包括图像、文本在内的多模态数据，广泛应用于图像描述、视觉问答等场景。它的重要性在于能够理解和生成与图像内容紧密相关的文本，推动了多模态人工智能的边界。产品背景信息包括其在多模态任务中的卓越性能，以及在OpenCompass Learderboard中的评估结果。该模型为研究者和开发者提供了强大的工具，以探索和实现多模态人工智能的潜力。

多模态大型语言模型，提升视觉和语言的综合理解能力

InternVL2_5-1B-MPO是一个多模态大型语言模型（MLLM），它基于InternVL2.5和混合偏好优化（MPO）构建，展示了优越的整体性能。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），包括InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL2.5-MPO在模型架构上保留了与InternVL 2.5及其前身相同的“ViT-MLP-LLM”范式，并引入了对多图像和视频数据的支持。该模型在多模态任务中表现出色，能够处理包括图像描述、视觉问答等多种视觉语言任务。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

一款强大的小型视觉语言模型，无处不在

moondream是一个使用SigLIP、Phi-1.5和LLaVA训练数据集构建的16亿参数模型。由于使用了LLaVA数据集，权重受CC-BY-SA许可证保护。您可以在Huggingface Spaces上尝试使用它。该模型在VQAv2、GQA、VizWiz和TextVQA基准测试中表现如下：LLaVA-1.5（13.3B参数）：80.0、63.3、53.6、61.3；LLaVA-1.5（7.3B参数）：78.5、62.0、50.0、58.2；MC-LLaVA-3B（3B参数）：64.2、49.6、24.9、38.6；LLaVA-Phi（3B参数）：71.4、-、35.9、48.6；moondream1（1.6B参数）：74.3、56.3、30.3、39.8。

无限免费聊天机器人，可生成图片和回答问题

FreeUnlimitedChatBot是一个无限免费的聊天机器人，它可以为您生成图片并回答您提出的任何问题。它可以用于各种场景，包括个人使用、教育、商业等。这个聊天机器人的优势是无限免费使用，没有使用限制。它的定位是为用户提供便捷的图片生成和问题解答服务。

基于强化学习技术的视觉思考模型，理科测试行业领先

Kimi视觉思考模型k1是基于强化学习技术打造的AI模型，原生支持端到端图像理解和思维链技术，并将能力扩展到数学之外的更多基础科学领域。在数学、物理、化学等基础科学学科的基准能力测试中，k1模型的表现超过了全球标杆模型。k1模型的发布标志着AI在视觉理解和思考能力上的新突破，尤其在处理图像信息和基础科学问题上展现出色的表现。

自由形式文本图像合成与理解的视觉语言大模型

InternLM-XComposer2是一款领先的视觉语言模型，擅长自由形式文本图像合成与理解。该模型不仅能够理解传统的视觉语言，还能熟练地从各种输入中构建交织的文本图像内容，如轮廓、详细的文本规范和参考图像，实现高度可定制的内容创作。InternLM-XComposer2提出了一种部分LoRA（PLoRA）方法，专门将额外的LoRA参数应用于图像标记，以保留预训练语言知识的完整性，实现精确的视觉理解和具有文学才能的文本构成之间的平衡。实验结果表明，基于InternLM2-7B的InternLM-XComposer2在生成高质量长文本多模态内容方面优越，以及在各种基准测试中其出色的视觉语言理解性能，不仅明显优于现有的多模态模型，还在某些评估中与甚至超过GPT-4V和Gemini Pro。这凸显了它在多模态理解领域的卓越能力。InternLM-XComposer2系列模型具有7B参数，可在https://github.com/InternLM/InternLM-XComposer 上公开获取。

视觉语言模型，结合图像和文本信息进行智能处理。

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型（VLM），选用Qwen2.5-1.5B-instruct模型作为语言模型（LLM），并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练，包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源，旨在推动多模态性能的发展，特别是在图像和文本的结合处理方面。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

一个基于深度学习的图像和视频描述模型。

Describe Anything 模型（DAM）能够处理图像或视频的特定区域，并生成详细描述。它的主要优点在于可以通过简单的标记（点、框、涂鸦或掩码）来生成高质量的本地化描述，极大地提升了计算机视觉领域的图像理解能力。该模型由 NVIDIA 和多所大学联合开发，适合用于研究、开发和实际应用中。

AI 聊天助手，智能回答问题

稳定 AI 聊天助手是一款基于人工智能技术的智能助手，能够回答用户提出的问题并提供相应的解决方案。该助手具有高度的智能性和准确性，能够处理各种领域的问题。用户可以通过文字或语音与助手进行交互，获得及时的帮助和指导。稳定 AI 聊天助手的定价灵活，可以根据用户需求选择不同的订阅计划。无论是个人用户还是企业用户，都可以通过稳定 AI 聊天助手获得高效、便捷的服务。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

高效的视觉编码技术，提升视觉语言模型性能。

FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。它通过创新的 FastViTHD 混合视觉编码器，减少了高分辨率图像的编码时间和输出的 token 数量，使得模型在速度和精度上表现出色。FastVLM 的主要定位是为开发者提供强大的视觉语言处理能力，适用于各种应用场景，尤其在需要快速响应的移动设备上表现优异。

生成高质量图像描述的AI模型

HunyuanCaptioner是一款基于LLaVA实现的文本到图像技术模型，能够生成与图像高度一致的文本描述，包括物体描述、物体关系、背景信息、图像风格等。它支持中文和英文的单图和多图推理，并可通过Gradio进行本地演示。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

视觉语言模型的最新进展

POINTS-Qwen-2-5-7B-Chat是一个集成了视觉语言模型最新进展和新技巧的模型，由微信AI的研究人员提出。它通过预训练数据集筛选、模型汤等技术，显著提升了模型性能。这个模型在多个基准测试中表现优异，是视觉语言模型领域的一个重要进步。