一个多图像视觉语言模型,具有训练、推理和评估方案,可从云端部署到边缘设备(如Jetson Orin和笔记本电脑)。
VILA是一个预训练的视觉语言模型(VLM),它通过大规模的交错图像-文本数据进行预训练,从而实现视频理解和多图像理解能力。VILA通过AWQ 4bit量化和TinyChat框架在边缘设备上可部署。主要优点包括:1) 交错图像-文本数据对于提升性能至关重要;2) 在交错图像-文本预训练期间不冻结大型语言模型(LLM)可以促进上下文学习;3) 重新混合文本指令数据对于提升VLM和纯文本性能至关重要;4) 标记压缩可以扩展视频帧数。VILA展示了包括视频推理、上下文学习、视觉思维链和更好的世界知识等引人入胜的能力。
提高文本到图像模型中空间一致性的解决方案
SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集,显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练,从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平,同时提高了图像质量评分。
一个用于评估大型视觉语言模型的精英基准测试集
MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。
支持同时理解和生成图像的多模态大型语言模型
Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。
给视觉语言模型赋予空间推理能力
SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。
自由形式文本图像合成与理解的视觉语言大模型
InternLM-XComposer2是一款领先的视觉语言模型,擅长自由形式文本图像合成与理解。该模型不仅能够理解传统的视觉语言,还能熟练地从各种输入中构建交织的文本图像内容,如轮廓、详细的文本规范和参考图像,实现高度可定制的内容创作。InternLM-XComposer2提出了一种部分LoRA(PLoRA)方法,专门将额外的LoRA参数应用于图像标记,以保留预训练语言知识的完整性,实现精确的视觉理解和具有文学才能的文本构成之间的平衡。实验结果表明,基于InternLM2-7B的InternLM-XComposer2在生成高质量长文本多模态内容方面优越,以及在各种基准测试中其出色的视觉语言理解性能,不仅明显优于现有的多模态模型,还在某些评估中与甚至超过GPT-4V和Gemini Pro。这凸显了它在多模态理解领域的卓越能力。InternLM-XComposer2系列模型具有7B参数,可在https://github.com/InternLM/InternLM-XComposer 上公开获取。
多模态视觉语言模型
MouSi是一种多模态视觉语言模型,旨在解决当前大型视觉语言模型(VLMs)面临的挑战。它采用集成专家技术,将个体视觉编码器的能力进行协同,包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出,并在图像编码器和预训练LLMs之间弥合差距。此外,MouSi还探索了不同的位置编码方案,以有效解决位置编码浪费和长度限制的问题。实验结果表明,具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能,并随着整合更多专家而获得显著的性能提升。
基于视觉语言基础模型的胸部X光解读
CheXagent是一个基于视觉语言基础模型的胸部X光解读工具。它利用临床大型语言模型来解析放射学报告,视觉编码器用于表示X光图像,并设计了一个网络来桥接视觉和语言模态。此外,CheXagent还引入了CheXbench,一个旨在系统评估基于视觉语言基础模型在8个临床相关的胸部X光解读任务上的性能的新型基准。经过广泛的定量评估和与五名专家放射科医生的定性评审,CheXagent在CheXbench任务上的表现优于先前开发的通用和医学领域的基础模型。
PaLI-3 视觉语言模型:更小、更快、更强
Pali3是一种视觉语言模型,通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练,包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。
© 2024 AIbase 备案号:闽ICP备2023012347号-1