产品库

一个用于评估大型视觉语言模型的精英基准测试集

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

通过自然语言指令实现智能图像编辑的开源技术。

MGIE（多模态大语言模型引导的编辑）是一项由苹果开源的技术，利用多模态大型语言模型（MLLMs）生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。

合成数据，重塑未来

AuroraAI是由Incribo开发的产品，可以生成安全高质量的训练数据，为您的AI模型加速发展。它可以用于多种用途，包括语音合成、音频分割、人物建模、景观设计、图像处理等。AuroraAI注重隐私保护，成本高效，支持多模态数据生成，具有无限的变化可能性，用户拥有数据所有权，并且可以直接使用。目前处于早期访问阶段，欢迎加入我们的社区。

您的AI伙伴，帮助您更好地写作、绘图和演示。

AFFiNE AI是一个多模态的AI助手，旨在通过其先进的人工智能技术帮助用户提高写作、绘图和演示的效率和质量。它通过提供即时的洞察力、完美的语调、快速的图像转换以及智能的演示生成，来辅助用户从概念到完成的整个创造过程。AFFiNE AI的主要优点包括其用户友好的界面、高效的AI驱动功能以及对数据隐私的重视。该产品目前定价为每月8.9美元，按年计费，同时提供免费试用。

轻量级但功能强大的多模态模型家族。

Bunny 是一系列轻量级但功能强大的多模态模型，提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择，构建更丰富的训练数据，以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs（7B）模型，并与 13B 模型性能相当。

一款由XTuner优化的LLaVA模型，结合了图像和文本处理能力。

llava-llama-3-8b-v1_1是一个由XTuner优化的LLaVA模型，它基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336，并通过ShareGPT4V-PT和InternVL-SFT进行了微调。该模型专为图像和文本的结合处理而设计，具有强大的多模态学习能力，适用于各种下游部署和评估工具包。

多模态知识图谱补全工具

MyGO是一个用于多模态知识图谱补全的工具，它通过将离散模态信息作为细粒度的标记来处理，以提高补全的准确性。MyGO利用transformers库对文本标记进行嵌入，进而在多模态数据集上进行训练和评估。它支持自定义数据集，并且提供了训练脚本以复现实验结果。

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

先进的文本到图像生成系统

Stable Diffusion 3是一款先进的文本到图像生成系统，它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构，使用不同的权重集来改善图像和语言的表示，从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线，与Fireworks AI合作提供快速可靠的API服务，并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

AI创造性视觉的突破性AI

Stable Diffusion 3是Stability AI推出的最新创新，为创造性图像生成带来突破性的AI。它提供了改进的文本到图像生成算法、多模态能力和用户友好的许可证，免费使用SDXLTurbo.ai。革新设计、动画、游戏等领域，提升文本到图像生成、多模态能力和用户友好的许可证。探索、创造、转化。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

连接数字和物理世界的首款多模态模型

Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

基于生成式 AI 的文档处理平台

V7 Go 是一款基于生成式 AI 的文档处理平台，可以理性处理文档、图像、视频等多模态数据，并提供高精度的自动化工作流。它可以识别打印和手写文字，并支持连接外部 AI 模型。V7 Go 提供多种价格选项，包括免费试用和付费版本。

将 Google Gemini 引入到 ComfyUI 中，用于生成提示词和对话

ComfyUI-Gemini 是一款将 Google Gemini 模型集成到 ComfyUI 中的插件。用户可以利用 Gemini 模型生成提示词、与之对话聊天,并且支持多模态输入如图像。该插件免费使用,提供隐式和显式两种 API Key 使用方式,适合个人和团队使用。

理解复杂视频，作诗配文的AI视频模型

MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。基于MiniGPT-v2，结合视觉主干EVA-CLIP，训练多阶段阶段，包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。

Jax 库，计算机视觉研究及更多

Scenic 是一个专注于基于注意力模型的计算机视觉研究的代码库，提供优化训练和评估循环、基线模型等功能，适用于图像、视频、音频等多模态数据。提供 SOTA 模型和基线，支持快速原型设计，价格免费。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。

冒泡鸭AI是由阶跃星辰开发的面向个人用户的AI互动平台

冒泡鸭AI是基于自研多模态大模型开发的AI互动平台，提供拟人、工具、内容、游戏、娱乐等多个领域的海量智能体。平台具有超长的上下文记忆能力和实时联网搜索能力，能够深度理解用户意图，并提供即时、准确、个性化的回复和选择。用户还可以定制个性化的AI智能体，以满足个性化的需求和偏好。

探讨多模态大型语言模型在解决视觉数学问题中的能力

MATHVERSE项目旨在评估多模态大型语言模型处理和理解视觉数学问题的能力，特别是如何解析和理解问题中的图表信息。

SceneScript：通过Reality Labs研究实现3D场景重建

SceneScript是Reality Labs研究团队开发的一种新型3D场景重建技术。该技术利用AI来理解和重建复杂的3D场景，能够从单张图片中创建详细的3D模型。SceneScript通过结合多种先进的深度学习技术，如半监督学习、自监督学习和多模态学习，显著提高了3D重建的准确性和效率。

专业的AI数字人平台，定制数字人专属IP，创造无限商业价值

怪兽智能全息舱是一个专业的AI数字人平台，致力于通过融合唤醒、语音识别、自然语音理解、虚拟人合成等AI核心技术，为用户提供多模态互动、业务办理、问题咨询、资讯播放、服务导览等服务。该平台提供智能硬件，包括业内领先的智能全息屏，以及虚拟人制作服务，帮助用户快速构建虚拟人应用产品。此外，怪兽智能全息舱还提供用户行为分析和AI多模态交互功能，以提升用户体验。该平台广泛应用于零售、文旅景区、服务型机构、政府和事业单位等场景。

AI社区共建未来,开源开放科学推进AI民主化

Hugging Face是一个AI社区平台,致力于通过开源和开放科学的方式来推进人工智能的发展和民主化。它为机器学习社区提供了协作模型、数据集和应用程序的环境。主要优势包括:1)协作平台,可无限托管和共享模型、数据集和应用程序。2)开源堆栈,加速ML开发流程。3)支持多模态(文本、图像、视频、音频、3D等)。4)建立ML作品集,在全球分享你的作品。5)付费计算和企业解决方案,提供优化的推理端点、GPU支持等。

腾讯 ARC 官网，探索智能媒体前沿技术

腾讯 ARC 官网是腾讯 PCG 旗下的应用研究中心，致力于探索和挑战智能媒体前沿技术。团队汇聚了国内外一流高端人才，主要研究领域涵盖视觉、音频、自然语言处理等，通过 AutoML、多模态和深度学习等方法提高算法性能。ARC 通过解耦业务需求和科研的机制，与业务团队合作，以业务需求和行业趋势为导向，不断探索、创新和突破。网站提供了关于 ARC 的使命、团队介绍、机制和领域等详细信息。