124B参数的多模态大型语言模型
Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型,基于Mistral Large 2构建,展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像,同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能,是科研和商业应用的强大工具。
前沿级多模态AI模型,提供图像和文本理解
Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型,基于Mistral Large 2构建,具备领先的图像理解能力,能够理解文档、图表和自然图像,同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异,特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力,超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL),以及适用于商业用途的Mistral Commercial License。
多模态大型语言模型的优化与分析
MM1.5是一系列多模态大型语言模型(MLLMs),旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构,采用以数据为中心的模型训练方法,系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等,包括密集型和混合专家(MoE)变体,并通过广泛的实证研究和消融研究,提供了详细的训练过程和决策见解,为未来MLLM开发研究提供了宝贵的指导。
多模态大型语言模型,理解长图像序列。
mPLUG-Owl3是一个多模态大型语言模型,专注于长图像序列的理解。它能够从检索系统中学习知识,与用户进行图文交替对话,并观看长视频,记住其细节。模型的源代码和权重已在HuggingFace上发布,适用于视觉问答、多模态基准测试和视频基准测试等场景。
先进的多模态模型,支持图像和文本理解。
Phi-3.5-vision是微软开发的轻量级、最新一代的多模态模型,基于包括合成数据和经过筛选的公开可用网站在内的数据集构建,专注于文本和视觉的高质量、密集推理数据。该模型属于Phi-3模型家族,经过严格的增强过程,结合了监督微调和直接偏好优化,以确保精确的指令遵循和强大的安全措施。
高性能多模态语言模型,适用于图像和视频理解。
MiniCPM-V 2.6是一个基于8亿参数的多模态大型语言模型,它在单图像理解、多图像理解和视频理解等多个领域展现出领先性能。该模型在OpenCompass等多个流行基准测试中取得了平均65.2分的高分,超越了广泛使用的专有模型。它还具备强大的OCR能力,支持多语言,并在效率上表现出色,能够在iPad等终端设备上实现实时视频理解。
一款多功能大型视觉语言模型
InternLM-XComposer-2.5是一款支持长上下文输入和输出的多功能大型视觉语言模型。它在各种文本图像理解和创作应用中表现出色,实现了与GPT-4V相当的水平,但仅使用了7B的LLM后端。该模型通过24K交错图像文本上下文进行训练,能够无缝扩展到96K长上下文,通过RoPE外推。这种长上下文能力使其在需要广泛输入和输出上下文的任务中表现突出。此外,它还支持超高分辨率理解、细粒度视频理解、多轮多图像对话、网页制作以及撰写高质量图文文章等功能。
第二代多模态预训练对话模型
CogVLM2是由清华大学团队开发的第二代多模态预训练对话模型,它在多个基准测试中取得了显著的改进,支持8K内容长度和1344*1344的图像分辨率。CogVLM2系列模型提供了支持中文和英文的开源版本,能够与一些非开源模型相媲美的性能。
Google的尖端开放视觉语言模型
PaliGemma是Google发布的一款先进的视觉语言模型,它结合了图像编码器SigLIP和文本解码器Gemma-2B,能够理解图像和文本,并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计,如图像描述、视觉问答、分割等,是研究和开发领域的重要工具。
连接数字和物理世界的首款多模态模型
Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。
支持同时理解和生成图像的多模态大型语言模型
Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。
通过API获取高品质Yi系列大模型的开放平台
零一万物大模型开放平台是一个通过API调用获取高品质Yi系列大模型的平台。Yi系列模型基于零一万物的前沿科研成果和高品质数据训练而成,曾在多个权威榜单中获得SOTA表现。主要产品包括yi-34b-chat-0205、yi-34b-chat-200k和yi-vl-plus三种模型。yi-34b-chat-0205是一款优化版聊天模型,指令遵循能力提升近30%,回复延迟大幅降低,适用于聊天、问答、对话等场景。yi-34b-chat-200k支持200K超长上下文,可处理约20万到30万汉字内容,适用于文档理解、数据分析和跨领域知识应用。yi-vl-plus支持高分辨率图片输入,具备图像问答、图表理解、OCR等能力,适用于对复杂图像内容进行分析、识别和理解。该平台的API优势包括推理速度快、与OpenAI API完全兼容。定价方面,新注册用户可获赠60元试用额度,yi-34b-chat-0205单价为2.5元/百万token,yi-34b-chat-200k单价为12元/次,yi-vl-plus单价为6元/百万token。
© 2024 AIbase 备案号:闽ICP备08105208号-14