产品库

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

前沿级多模态大型语言模型

NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列，它在视觉-语言任务上达到了业界领先水平，与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后，甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。

前沿的多模态大型语言模型

NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。

基于大型语言模型的智能代理研究

xLAM是一个由Salesforce AI Research团队开发的基于大型语言模型(Large Language Models, LLMs)的智能代理研究项目。它通过聚合来自不同环境的智能代理轨迹，标准化并统一这些轨迹到一致的格式，以创建一个优化的通用数据加载器，专门用于智能代理的训练。xLAM-v0.1-r是此模型系列的0.1版本，专为研究目的设计，与VLLM和FastChat平台兼容。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

Google最大、最强大的AI多模态模型

Google Gemini是由DeepMind开发的多模态AI模型，可以处理文本、音频、图像等多种信息。它包括三个版本：Ultra、Pro和Nano，分别针对不同的任务复杂度。Gemini在AI基准测试中表现出色，针对各种设备进行了优化，并已经过安全和偏见测试，遵循负责任的AI实践。它将集成到Google产品中，并通过Google AI Studio和Google Cloud Vertex AI提供。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。

AI模拟人类使用计算机的能力

Computer use是Anthropic公司推出的AI模型Claude 3.5 Sonnet的一项新功能，它能够模拟人类与计算机的交互方式，执行点击屏幕、输入信息等操作。这项功能的开发代表了AI在模拟人类行为方面取得了重大进展，为AI助理解锁了广泛的应用场景。Computer use功能在安全性、多模态能力和逻辑推理方面都有显著提升，代表了AI技术的新前沿。目前，该功能处于公测阶段，其性能在同类AI模型中处于领先地位。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

多模态理解和生成的统一模型

Janus是一个创新的自回归框架，它通过分离视觉编码来实现多模态理解和生成的统一。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus超越了以往的统一模型，并与特定任务的模型性能相匹配或超越。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

新一代自回归框架，统一多模态理解和生成

Janus是一个创新的自回归框架，通过将视觉编码分离成不同的路径，同时利用单一的、统一的变换器架构进行处理，解决了以往方法的局限性。这种解耦不仅减轻了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus的性能超越了以往的统一模型，并且达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型，专注于提升大型语言模型（LLM）生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF（特别是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术，还提供了与HuggingFace Transformers代码库兼容的模型转换格式，并可通过NVIDIA的build平台进行免费托管推理。

文本到图像生成的自适应工作流

ComfyGen 是一个专注于文本到图像生成的自适应工作流系统，它通过学习用户提示来自动化并定制有效的工作流。这项技术的出现，标志着从使用单一模型到结合多个专业组件的复杂工作流的转变，旨在提高图像生成的质量。ComfyGen 背后的主要优点是能够根据用户的文本提示自动调整工作流，以生成更高质量的图像，这对于需要生成特定风格或主题图像的用户来说非常重要。

实时多模态内容审核平台

Seyft AI 是一个实时的多模态内容审核平台，能够过滤文本、图像和视频中的有害和不相关内容，确保合规性，并为不同的语言和文化背景提供个性化解决方案。该平台的主要优点包括实时审核、多语言支持、无需人工干预的图像和视频审核，以及易于集成的API。Seyft AI 的背景信息显示，它旨在帮助企业保持数字空间的清洁和安全，适用于需要内容审核的各种应用场景。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

突破大型语言模型限制的自动化框架

AutoDAN-Turbo是一个自动化的、无需人为干预的框架，旨在自动发现并实施多种策略，以突破大型语言模型（LLMs）的限制。该框架能够自动开发出多样的攻击策略，显著提高了攻击成功率，并且可以作为一个统一的框架整合现有的人为设计的越狱策略。AutoDAN-Turbo的重要性在于其能够提升LLMs在对抗环境中的安全性和可靠性，为红队评估工具提供了一种新的自动化方法。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

训练和部署嵌入式模型的AI平台

Marqo是一个专注于训练和部署嵌入式模型的平台，它提供了一个端到端的解决方案，从模型训练到推理，再到存储。Marqo支持150多种嵌入式模型，并且可以快速原型设计，加速迭代，并无缝部署。该平台支持多模态模型，如CLIP，可以从图像和其他数据类型中提取语义信息，实现文本和图像的无缝搜索，甚至可以将文本和图像组合成一个向量。Marqo还支持100多种语言的搜索，提供最先进的多语言模型，无需手动进行语言配置即可扩展到新的地区。此外，Marqo的可扩展性允许用户在笔记本电脑上的Docker镜像中运行，也可以扩展到云端数十个GPU推理节点，提供低延迟的搜索服务。

即买即用的人工智能对话服务

2233.ai是一个提供即买即用人工智能对话服务的网站。用户无需注册账号即可购买并使用服务，享受原生的ChatGPT Plus或Claude Pro体验。该平台强调个人隐私保护，每位用户的对话记录独立存储，确保私密安全。此外，2233.ai承诺无网络限制或封号问题，用户可以随时随地接入服务。价格方面，2233.ai提供的服务价格不到ChatGPT Plus订阅的一半，让更多人能够以更优惠的价格享受到先进的人工智能技术。

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

统一文本、音乐和动作生成模型

UniMuMo是一个多模态模型，能够将任意文本、音乐和动作数据作为输入条件，生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示，通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型，显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。