产品库

视频理解领域的新型状态空间模型，提供视频建模的多功能套件。

Video Mamba Suite 是一个用于视频理解的新型状态空间模型套件，旨在探索和评估Mamba在视频建模中的潜力。该套件包含14个模型/模块，覆盖12个视频理解任务，展示了在视频和视频-语言任务中的高效性能和优越性。

视频理解领域的先进空间-时间建模与音频理解模型。

VideoLLaMA 2 是一个针对视频理解任务优化的大规模语言模型，它通过先进的空间-时间建模和音频理解能力，提升了对视频内容的解析和理解。该模型在多选视频问答和视频字幕生成等任务上展现了卓越的性能。

利用大规模机器学习理解场景并连接全球数百万场景的地理空间模型

Niantic的Large Geospatial Model (LGM) 是一个先锋概念，旨在通过大规模机器学习理解场景并将其与全球数百万其他场景连接起来。LGM不仅使计算机能够感知和理解物理空间，还能以新的方式与它们互动，成为AR眼镜及更广泛领域（包括机器人技术、内容创作和自主系统）的关键组成部分。随着我们从手机转向与现实世界相连的可穿戴技术，空间智能将成为世界未来的操作系统。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

SpatialLM 是一个用于空间理解的大语言模型。

SpatialLM 是一个专为处理 3D 点云数据设计的大型语言模型，能够生成结构化的 3D 场景理解输出，包括建筑元素和对象的语义类别。它能够从单目视频序列、RGBD 图像和 LiDAR 传感器等多种来源处理点云数据，无需专用设备。SpatialLM 在自主导航和复杂 3D 场景分析任务中具有重要应用价值，显著提升空间推理能力。

代码学习和实践的社区空间

CodeGeeX是一个代码学习和实践的社区空间，提供丰富的机器学习应用和资源，帮助用户学习和实践代码。它包括各种功能和优势，如在线编辑器、代码分享、项目管理、模型训练等。CodeGeeX定位于为开发者和机器学习爱好者提供一个交流和学习的平台。

视频理解基础模型

VideoPrism是一个通用的视频编码模型,能够在各种视频理解任务上取得领先的性能,包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样,包含3600万高质量的视频-文本对,以及5.82亿带有嘈杂文本的视频剪辑。预训练采用两阶段策略,先利用对比学习匹配视频和文本,然后预测遮蔽的视频块,充分利用不同的监督信号。一个固定的VideoPrism模型可以直接适配到下游任务,并在30个视频理解基准上刷新状态最优成绩。

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

高效序列模型的新进展

Mamba-2是Goomba AI Lab开发的一种新型序列模型，旨在提高机器学习社区中序列模型的效率和性能。它通过结构化状态空间对偶（SSD）模型，结合了状态空间模型（SSM）和注意力机制的优点，提供了更高效的训练过程和更大的状态维度。Mamba-2的设计允许模型在训练时利用矩阵乘法，从而提高了硬件效率。此外，Mamba-2在多查询关联记忆（MQAR）等任务中表现出色，显示出其在复杂序列处理任务中的潜力。

视频序列理解的GPU实现模型

PPLLaVA是一个高效的视频大型语言模型，它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果，仅使用1024个视觉令牌，吞吐量提高了8倍。

理解复杂视频，作诗配文的AI视频模型

MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。基于MiniGPT-v2，结合视觉主干EVA-CLIP，训练多阶段阶段，包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。

大型世界模型，理解视频与语言

Large World Models是一个利用RingAttention技术训练的神经网络，专注于处理长视频和语言序列，以理解人类知识和多模态世界。它通过大规模数据集训练，实现了前所未有的上下文大小，并开源了一系列70亿参数的模型，能够处理超过100万标记的文本和视频。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

视频理解的先进模型

Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制，首先收集与指令相关的前k个视频片段，然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列，适用于电影或电视剧等场景。为了促进检索过程，开发了MiniGPT4-Video，该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率，超过了之前的方法14.94%。此外，MiniGPT4-Video在短视频理解中也表现出色，分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明，Goldfish模型在长视频和短视频理解方面都有显著改进。

长视频理解基准测试

LVBench是一个专门设计用于长视频理解的基准测试，旨在推动多模态大型语言模型在理解数小时长视频方面的能力，这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

机器学习模型运行和部署的工具

Replicate是一款机器学习模型运行和部署的工具，无需自行配置环境，可以快速运行和部署机器学习模型。Replicate提供了Python库和API接口，支持运行和查询模型。社区共享了成千上万个可用的机器学习模型，涵盖了文本理解、视频编辑、图像处理等多个领域。使用Replicate和相关工具，您可以快速构建自己的项目并进行部署。

强大的图可视化工具，帮助理解、调试和优化机器学习模型。

Model Explorer 是 Google 开发的一个用于机器学习模型的图可视化工具，它专注于以直观的层次格式可视化大型图，同时也适用于小型模型。该工具特别有助于简化大型模型在设备端平台的部署过程，通过可视化转换、量化和优化数据。Model Explorer 结合了3D游戏和动画制作中使用的图形技术，如实例化渲染和多通道有符号距离场（MSDF），并将其适应于机器学习图渲染。它支持多种图格式，包括 JAX、PyTorch、TensorFlow 和 TensorFlow Lite 使用的格式。Model Explorer 通过层次化视图和导航复杂结构的能力，使得大型模型更易于理解。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

Apple官方机器学习模型训练框架

Create ML是一个Apple官方发布的机器学习模型训练框架,可以非常方便地在Mac设备上训练Core ML模型。它提供了图像、视频、文本等多种模型类型,用户只需要准备数据集和设置参数,就可以开始模型训练。Create ML还提供了Swift API,支持在iOS等平台进行模型训练。

无标记的选择性状态空间模型

曼巴字节是一种无标记的语言模型，直接从原始字节中学习，消除了子词标记化的偏见。它在字节上运行，但会导致序列显著变长，标准的自回归Transformer在这种情况下的扩展性较差。我们在字节序列上自回归训练了曼巴字节，这是Mamba状态空间模型的无标记适应。我们的实验表明，与其他字节级模型相比，曼巴字节具有较高的计算效率。我们还发现，曼巴字节在与最先进的子词Transformer的竞争中表现出色，甚至超越其性能。此外，由于长度的线性扩展，曼巴字节在推理过程中比Transformer具有更快的速度。我们的发现证实了曼巴字节在实现无标记语言建模方面的可行性。

学习联合视觉表示通过对齐前投影

Video-LLaVA 是一个用于学习联合视觉表示的模型，通过对齐前投影进行训练。它可以将视频和图像表示进行对齐，从而实现更好的视觉理解。该模型具有高效的学习和推理速度，适用于视频处理和视觉任务。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

VideoLLaMA3是前沿的多模态基础模型，专注于图像和视频理解。

VideoLLaMA3是由DAMO-NLP-SG团队开发的前沿多模态基础模型，专注于图像和视频理解。该模型基于Qwen2.5架构，结合了先进的视觉编码器（如SigLip）和强大的语言生成能力，能够处理复杂的视觉和语言任务。其主要优点包括高效的时空建模能力、强大的多模态融合能力以及对大规模数据的优化训练。该模型适用于需要深度视频理解的应用场景，如视频内容分析、视觉问答等，具有广泛的研究和商业应用潜力。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

LLaVA-Mini是可高效理解图像、视频的大型多模态模型。

由ictnlp团队开发的多模态模型，仅用1个视觉令牌提效，改进多项性能，开源免费，适用于需快速准确理解视觉内容的场景。

构建和部署AI模型的机器学习框架

Cerebrium是一个机器学习框架，通过几行代码轻松训练、部署和监控机器学习模型。我们在无服务器的CPU/GPU上运行所有内容，并仅根据使用量收费。您可以从Pytorch、Huggingface、Tensorflow等库部署模型。

通用世界模型，支持自然语言动作和视频状态

Pandora是一个向通用世界模型迈进的模型，它能够通过生成视频来模拟世界状态，并允许使用自然语言在任何时间控制视频内容。Pandora与以往的文本到视频模型不同，它允许在视频生成过程中随时接受自由文本动作输入，从而实现视频的即时控制。这种即时控制能力实现了世界模型支持交互式内容生成和增强的健壮推理和规划的承诺。Pandora能够跨多个领域生成视频，如室内/室外、自然/城市、人类/机器人、2D/3D等场景。此外，Pandora还允许通过高质量的数据进行指令调整，使得模型能够在一个领域学习动作并在另一个未见过的领域中使用。Pandora模型还通过自回归模型生成更长的视频，其生成的视频长度可以超过训练视频的长度。尽管Pandora作为通用世界模型的初步步骤仍有限制，例如在生成一致性视频、模拟复杂场景、理解常识和物理法则以及遵循指令/动作方面可能会失败，但它在视频生成和自然语言控制方面展示了巨大的潜力。

多模态大型语言模型，理解长图像序列。

mPLUG-Owl3是一个多模态大型语言模型，专注于长图像序列的理解。它能够从检索系统中学习知识，与用户进行图文交替对话，并观看长视频，记住其细节。模型的源代码和权重已在HuggingFace上发布，适用于视觉问答、多模态基准测试和视频基准测试等场景。