产品库

视频指令调优与合成数据研究

LLaVA-Video是一个专注于视频指令调优的大型多模态模型（LMMs），通过创建高质量的合成数据集LLaVA-Video-178K来解决从网络获取大量高质量原始数据的难题。该数据集包括详细的视频描述、开放式问答和多项选择问答等任务，旨在提高视频语言模型的理解和推理能力。LLaVA-Video模型在多个视频基准测试中表现出色，证明了其数据集的有效性。

视频序列理解的GPU实现模型

PPLLaVA是一个高效的视频大型语言模型，它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果，仅使用1024个视觉令牌，吞吐量提高了8倍。

VideoRAG 是一个用于处理极长上下文视频的检索增强型生成框架。

VideoRAG 是一种创新的检索增强型生成框架，专门用于理解和处理极长上下文视频。它通过结合图驱动的文本知识锚定和层次化多模态上下文编码，实现了对无限制长度视频的理解。该框架能够动态构建知识图谱，保持多视频上下文的语义连贯性，并通过自适应多模态融合机制优化检索效率。VideoRAG 的主要优点包括高效的极长上下文视频处理能力、结构化的视频知识索引以及多模态检索能力，使其能够为复杂查询提供全面的回答。该框架在长视频理解领域具有重要的技术价值和应用前景。

Qwen2.5-VL 是一款强大的视觉语言模型，能够理解图像和视频内容并生成相应文本。

Qwen2.5-VL 是 Qwen 团队推出的最新旗舰视觉语言模型，是视觉语言模型领域的重要进步。它不仅能够识别常见物体，还能分析图像中的文字、图表、图标等复杂内容，并支持对长视频的理解和事件定位。该模型在多个基准测试中表现出色，尤其在文档理解和视觉代理任务中具有显著优势，展现了强大的视觉理解和推理能力。其主要优点包括高效的多模态理解、强大的长视频处理能力以及灵活的工具调用能力，适用于多种应用场景。

Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。

Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型，旨在生成高质量的视频描述，并具备强大的视频理解能力。该模型通过两阶段训练策略（多任务预训练和多粒度指令微调）显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA（State-of-the-Art）结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进，通过大规模高质量数据训练和创新的训练方法，使其在视频描述领域达到了新的高度。该模型目前未明确定价，主要面向学术研究和商业应用，适合需要高质量视频内容理解和生成的场景。

VideoLLaMA3是前沿的多模态基础模型，专注于图像和视频理解。

VideoLLaMA3是由DAMO-NLP-SG团队开发的前沿多模态基础模型，专注于图像和视频理解。该模型基于Qwen2.5架构，结合了先进的视觉编码器（如SigLip）和强大的语言生成能力，能够处理复杂的视觉和语言任务。其主要优点包括高效的时空建模能力、强大的多模态融合能力以及对大规模数据的优化训练。该模型适用于需要深度视频理解的应用场景，如视频内容分析、视觉问答等，具有广泛的研究和商业应用潜力。

一个用于智能设备等的多模态原生代理框架。

OmAgent是一个多模态原生代理框架，用于智能设备等。它采用分治算法高效解决复杂任务，能预处理长视频并以类似人类的精度进行问答，还能基于用户请求和可选天气条件提供个性化服装建议等。目前官网未明确显示价格，但从功能来看，主要面向需要高效任务处理和智能交互的用户群体，如开发者、企业等。

AI视频生成提示库

videoprompt.org是一个专注于AI视频生成提示的网站，提供了一系列用于生成、编辑或理解视频内容的指令集。它通过精选的高质量提示集合、社区驱动的方法和对实际应用的关注，帮助用户解锁AI模型在视频处理中的全部潜力，提高视频制作工作流程的效率，并实现一致的高质量结果。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

先进的大型混合专家视觉语言模型

DeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等多种任务上展现出卓越的能力。DeepSeek-VL2由三种变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有10亿、28亿和45亿激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集型和基于MoE的模型相比，达到了竞争性或最先进的性能。

MMAudio根据视频和/或文本输入生成同步音频。

MMAudio是一种多模态联合训练技术，旨在高质量的视频到音频合成。该技术能够根据视频和文本输入生成同步音频，适用于各种应用场景，如影视制作、游戏开发等。其重要性在于提升了音频生成的效率和质量，适合需要音频合成的创作者和开发者使用。

基于InternViT-300M-448px的增强版本，提升视觉特征提取能力。

InternViT-300M-448px-V2_5是一个基于InternViT-300M-448px的增强版本，通过采用ViT增量学习与NTP损失（Stage 1.5），提升了视觉编码器提取视觉特征的能力，尤其是在大规模网络数据集中代表性不足的领域，如多语言OCR数据和数学图表等。该模型是InternViT 2.5系列的一部分，保留了与前代相同的“ViT-MLP-LLM”模型架构，并集成了新的增量预训练的InternViT与各种预训练的LLMs，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。

视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

Florence-VL是一个视觉语言模型，通过引入生成式视觉编码器和深度广度融合技术，增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解，进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发，提供了预训练和微调的代码、模型检查点和演示。

Qwen2-VL-7B是最新的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-7B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。此外，Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

最先进的视觉语言模型，支持多模态理解和文本生成。

Qwen2-VL-2B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最先进的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，为基于视频的问题回答、对话、内容创作等提供高质量的支持。Qwen2-VL还支持多语言，除了英语和中文，还包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

人类中心语言模型和模拟器的领导者

Nous Research专注于开发以人为中心的语言模型和模拟器，致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型，挑战传统的封闭模型方法。

Agent S：一个开放的代理框架，让计算机像人类一样使用计算机。

Agent S是一个开放的代理框架，旨在通过图形用户界面(GUI)实现与计算机的自主交互，通过自动化复杂多步骤任务来转变人机交互。它引入了经验增强的分层规划方法，利用在线网络知识和叙事记忆，从过去的交互中提取高级经验，将复杂任务分解为可管理的子任务，并使用情景记忆进行逐步指导，Agent S不断优化其行动并从经验中学习，实现适应性强且有效的任务规划。Agent S在OSWorld基准测试中的表现超过了基线9.37%的成功率（相对提高了83.6%），并在WindowsAgentArena基准测试中展示了广泛的通用性。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

基于多模态大语言模型的可解释图像检测与定位

FakeShield是一个多模态框架，旨在解决图像检测和定位（IFDL）领域中的两个主要挑战：检测原理的黑箱性和在不同篡改方法间的有限泛化能力。FakeShield通过利用GPT-4o增强现有的IFDL数据集，创建了多模态篡改描述数据集（MMTD-Set），用于训练FakeShield的篡改分析能力。该框架包括领域标签引导的可解释检测模块（DTE-FDM）和定位模块（MFLM），能够处理各种类型的篡改检测解释，并实现由详细文本描述引导的定位。FakeShield在检测准确性和F1分数上优于其他方法，提供了一个可解释且优越的解决方案。

通过多样化合成数据和全局到局部自适应感知增强文档布局分析

DocLayout-YOLO是一个用于文档布局分析的深度学习模型，它通过多样化的合成数据和全局到局部自适应感知来增强文档布局分析的准确性和处理速度。该模型通过Mesh-candidate BestFit算法生成大规模多样化的DocSynth-300K数据集，显著提升了不同文档类型在微调性能上的表现。此外，它还提出了一个全局到局部可控的感受野模块，更好地处理文档元素的多尺度变化。DocLayout-YOLO在各种文档类型上的下游数据集上表现出色，无论是在速度还是准确性上都有显著优势。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

前沿级多模态大型语言模型，实现视觉-语言任务的先进性能。

NVLM 1.0是一系列前沿级的多模态大型语言模型（LLMs），在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是，NVLM 1.0在多模态训练后，其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

多模态大型语言模型设计空间探索

EAGLE是一个面向视觉中心的高分辨率多模态大型语言模型（LLM）系列，通过混合视觉编码器和不同输入分辨率来加强多模态LLM的感知能力。该模型包含基于通道连接的'CLIP+X'融合，适用于具有不同架构（ViT/ConvNets）和知识（检测/分割/OCR/SSL）的视觉专家。EAGLE模型家族支持超过1K的输入分辨率，并在多模态LLM基准测试中取得了优异的成绩，特别是在对分辨率敏感的任务上，如光学字符识别和文档理解。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

腾讯QQ多媒体研究团队开发的轻量级灵活视频多语言模型

Video-CCAM 是腾讯QQ多媒体研究团队开发的一系列灵活的视频多语言模型（Video-MLLM），致力于提升视频-语言理解能力，特别适用于短视频和长视频的分析。它通过因果交叉注意力掩码（Causal Cross-Attention Masks）来实现这一目标。Video-CCAM 在多个基准测试中表现优异，特别是在 MVBench、VideoVista 和 MLVU 上。模型的源代码已经重写，以简化部署过程。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

一个正在训练中的开源语言模型，具备“听力”能力。

llama3-s是一个开放的、正在进行中的研究实验，旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术，专注于令牌传递性，将声音令牌扩展到LLM的词汇表中，未来可能扩展到各种输入类型。作为一个开源科学实验，代码库和数据集都是公开的。

视频理解的先进模型

Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制，首先收集与指令相关的前k个视频片段，然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列，适用于电影或电视剧等场景。为了促进检索过程，开发了MiniGPT4-Video，该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率，超过了之前的方法14.94%。此外，MiniGPT4-Video在短视频理解中也表现出色，分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明，Goldfish模型在长视频和短视频理解方面都有显著改进。