产品库

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。

一个用于评估大型视觉语言模型的精英基准测试集

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

探讨多模态大型语言模型在解决视觉数学问题中的能力

MATHVERSE项目旨在评估多模态大型语言模型处理和理解视觉数学问题的能力，特别是如何解析和理解问题中的图表信息。

HyperGAI推出的创新多模态LLM框架，旨在理解和处理文本、图像、视频等多种输入模态

HPT（Hyper-Pretrained Transformers）是HyperGAI研究团队推出的新型多模态大型语言模型框架，它能够高效且可扩展地训练大型多模态基础模型，理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练，也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。

苹果发布多模态LLM模型MM1

苹果发布了自己的大语言模型MM1，这是一个最高有30B规模的多模态LLM。通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能，展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。

新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

集成音乐能力的开源LLM

ChatMusician是一个开源的大型语言模型（LLM），它通过持续的预训练和微调，集成了音乐能力。该模型基于文本兼容的音乐表示法（ABC记谱法），将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下，理解和生成音乐。

用户友好的LLMs WebUI

Open WebUI是一个为LLMs（大型语言模型）设计的友好型Web用户界面，支持Ollama和OpenAI兼容的API。它提供了直观的聊天界面、响应式设计、快速响应性能、简易安装、代码语法高亮、Markdown和LaTeX支持、本地RAG集成、Web浏览能力、提示预设支持、RLHF注释、会话标记、模型下载/删除、GGUF文件模型创建、多模型支持、多模态支持、模型文件构建器、协作聊天、OpenAI API集成等功能。

通过自然语言指令实现智能图像编辑的开源技术。

MGIE（多模态大语言模型引导的编辑）是一项由苹果开源的技术，利用多模态大型语言模型（MLLMs）生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

高效多模态大型语言模型

TinyGPT-V 是一种高效的多模态大型语言模型，通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力，适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型，具备出色的性能和效率。

VCoder是一款视觉感知模型,可提高多模态大型语言模型在对象级视觉任务上的性能。

VCoder是一个适配器,可通过辅助感知模式作为控制输入来提高多模态大型语言模型在对象级视觉任务上的性能。VCoder LLaVA是基于LLaVA-1.5构建的。VCoder不微调LLaVA-1.5的参数,因此在通用的问答基准测试中的性能与LLaVA-1.5相同。VCoder在COST数据集上进行了基准测试,在语义、实例和全景分割任务上都取得了不错的性能。作者还发布了模型的检测结果和预训练模型。

多模态音乐理解和生成系统

M2UGen是一个结合大语言模型的多模态音乐理解和生成框架,旨在帮助用户进行音乐创作。它能同时完成音乐理解和多模态音乐生成任务。

多模态文档理解模型

DocLLM是一个提供多模态文档理解模型的平台，旨在处理企业文档中的文本和空间布局，并提供优于现有大型语言模型的性能。其模型采用轻量级扩展，避免昂贵的图像编码器，专注于边界框信息以纳入空间布局结构。通过分解经典Transformer中的注意机制，捕获文本和空间模态之间的交叉对齐。此外，设计了一个预训练目标，学习填充文本段落，以解决视觉文档中经常遇到的不规则布局和异质内容。该解决方案在14个任务的16个数据集中优于现有大型语言模型，并且对5个以前未见数据集具有良好的泛化能力。

开源视觉基础模型

InternVL通过将ViT模型扩展到60亿参数并与语言模型对齐,构建出目前最大的14B开源视觉基础模型,在视觉感知、跨模态检索、多模态对话等广泛任务上取得了32项state-of-the-art性能。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

智能手机应用的多模态代理框架

AppAgent是一个基于LLM（大型语言模型）的多模态代理框架，设计用于操作智能手机应用。通过简化的动作空间（如点击和滑动），模仿人类般的互动方式，实现应用操作，无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法，创建知识库用于执行不同应用中的复杂任务。

3D世界中的全能代理人

LEO是一个基于大型语言模型的多模态、多任务全能代理人，能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现：（i）3D视觉语言对齐和（ii）3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集，需要对3D世界进行深入的理解和交互。通过严格的实验，我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

复杂长期任务的视觉规划

Video Language Planning（VLP）是一种算法，通过训练视觉语言模型和文本到视频模型，实现了对复杂长期任务的视觉规划。VLP接受长期任务指令和当前图像观察作为输入，并输出一个详细的多模态（视频和语言）规划，描述如何完成最终任务。VLP能够在不同的机器人领域中合成长期视频规划，从多物体重新排列到多摄像头双臂灵巧操作。生成的视频规划可以通过目标条件策略转化为真实机器人动作。实验证明，与之前的方法相比，VLP显著提高了长期任务的成功率。

面向世界的多模式大型语言模型

Kosmos-2是一个多模态大型语言模型，可以将自然语言与图像、视频等多种形式的输入进行关联。它可以用于短语定位、指代表达理解、指代表达生成、图像描述和视觉问答等任务。Kosmos-2使用了GRIT数据集，该数据集包含了大量的图像-文本对，可以用于模型的训练和评估。Kosmos-2的优势在于它可以将自然语言与视觉信息进行关联，从而提高了模型的表现。

腾讯混元大模型，中文创作能力

腾讯混元大模型是由腾讯研发的大语言模型，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。该模型持续训练终身学习，覆盖五大核心优势能力，包括多轮对话、内容创作、逻辑推理、知识增强和多模态（敬请期待）。丰富的应用场景，提供多样化服务，包括文档场景、会议场景、广告场景和营销场景等。