统一的代码库,用于微调大型多模态模型
lmms-finetune是一个统一的代码库,旨在简化大型多模态模型(LMMs)的微调过程。它提供了一个结构化的框架,允许用户轻松集成最新的LMMs并进行微调,支持全微调和lora等策略。代码库设计简单轻量,易于理解和修改,支持包括LLaVA-1.5、Phi-3-Vision、Qwen-VL-Chat、LLaVA-NeXT-Interleave和LLaVA-NeXT-Video等多种模型。
多模态长篇故事生成模型
SEED-Story是一个基于大型语言模型(MLLM)的多模态长篇故事生成模型,能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术,具有生成高质量、多模态故事内容的能力,为创意产业提供了新的可能性。
大型多模态模型,处理多图像、视频和3D数据。
LLaVA-NeXT是一个大型多模态模型,它通过统一的交错数据格式处理多图像、视频、3D和单图像数据,展示了在不同视觉数据模态上的联合训练能力。该模型在多图像基准测试中取得了领先的结果,并在不同场景中通过适当的数据混合提高了之前单独任务的性能或保持了性能。
与私有自托管语言模型对话的iOS/macOS应用
Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用,它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品,允许在iOS生态系统(macOS、iOS、Watch、Vision Pro)的所有设备上提供无过滤、安全、私密和多模态的体验。
多模态智能代理框架,解决复杂任务
OmAgent是一个复杂的多模态智能代理系统,致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core,精心设计以应对多模态挑战。OmAgent由三个核心组件构成:Video2RAG、DnCLoop和Rewinder Tool,分别负责长视频理解、复杂问题分解和信息回溯。
实时数据提取和检索框架
Indexify是一个开源数据框架,具有实时提取引擎和预构建的提取适配器,能够可靠地从各种非结构化数据(文档、演示文稿、视频和音频)中提取数据。它支持多模态数据,提供先进的嵌入和分块技术,并允许用户使用Indexify SDK创建自定义提取器。Indexify支持使用语义搜索和SQL查询图像、视频和PDF,确保LLM应用能够获取最准确、最新的数据。此外,Indexify能够在本地运行时进行原型设计,并在生产环境中利用预配置的Kubernetes部署模板,实现自动扩展和处理大量数据。
革命性AI技术,多模态智能互动
GPT-4o是OpenAI的最新创新,代表了人工智能技术的前沿。它通过真正的多模态方法扩展了GPT-4的功能,包括文本、视觉和音频。GPT-4o以其快速、成本效益和普遍可访问性,革命性地改变了我们与AI技术的互动。它在文本理解、图像分析和语音识别方面表现出色,提供流畅直观的AI互动,适合从学术研究到特定行业需求的多种应用。
大型视频-语言模型,提供视觉问答和视频字幕生成。
VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型,专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能,能够处理复杂的视频内容,并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化,为视频内容的智能分析和处理提供了强大的支持。
大型视频语言模型,用于视觉问答和视频字幕生成。
VideoLLaMA2-7B-16F-Base是由DAMO-NLP-SG团队开发的大型视频语言模型,专注于视频问答(Visual Question Answering)和视频字幕生成。该模型结合了先进的空间-时间建模和音频理解能力,为多模态视频内容分析提供了强大的支持。它在视觉问答和视频字幕生成任务上展现出卓越的性能,能够处理复杂的视频内容并生成准确的描述和答案。
多模态语言模型的视觉推理工具
Visual Sketchpad 是一种为多模态大型语言模型(LLMs)提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时,根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同,Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图,从而更好地促进推理。此外,它还可以在绘图过程中使用专家视觉模型,例如使用目标检测模型绘制边界框,或使用分割模型绘制掩码,以进一步提高视觉感知和推理能力。
多模态文本到图像生成模型
EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型,能够接受多模态提示,通过创新的多模态特征连接器设计,有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数,并仅调整一些额外层,揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架,是生成个性化和上下文感知图像甚至视频的灵活有效工具。
实时表情生成人类模型
PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。
一键部署您的私人Gemini应用
TalkWithGemini 是一款支持一键免费部署的跨平台应用,用户可以通过这个应用与 Gemini 模型进行交互,支持图片识别、语音对话等多模态交互方式,提高工作效率。
开源多模态预训练模型,具备中英双语对话能力。
GLM-4V-9B是智谱AI推出的新一代预训练模型,支持1120*1120高分辨率下的中英双语多轮对话,以及视觉理解能力。在多模态评测中,GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。
开源多语言多模态对话模型
GLM-4系列是智谱AI推出的新一代预训练模型,包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色,支持多达26种语言,并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力,适合多模态应用场景。
首个全面评估多模态大型语言模型在视频分析中的性能基准。
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白,为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频,并针对MLLMs的核心能力进行了评估。
实时更新的多模态模型性能排行榜
OpenCompass多模态排行榜是一个实时更新的平台,用于评估和排名不同的多模态模型(VLMs)。它通过8个多模态基准测试来计算模型的平均得分,并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs,旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。
© 2024 AIbase 备案号:闽ICP备08105208号-14