产品库

视频指令调优与合成数据研究

LLaVA-Video是一个专注于视频指令调优的大型多模态模型（LMMs），通过创建高质量的合成数据集LLaVA-Video-178K来解决从网络获取大量高质量原始数据的难题。该数据集包括详细的视频描述、开放式问答和多项选择问答等任务，旨在提高视频语言模型的理解和推理能力。LLaVA-Video模型在多个视频基准测试中表现出色，证明了其数据集的有效性。

视频序列理解的GPU实现模型

PPLLaVA是一个高效的视频大型语言模型，它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果，仅使用1024个视觉令牌，吞吐量提高了8倍。

多粒度视觉指令调优的创新MLLM

MG-LLaVA是一个增强模型视觉处理能力的机器学习语言模型（MLLM），通过整合多粒度视觉流程，包括低分辨率、高分辨率和以对象为中心的特征。提出了一个额外的高分辨率视觉编码器来捕捉细节，并通过Conv-Gate融合网络与基础视觉特征融合。此外，通过离线检测器识别的边界框整合对象级特征，以进一步细化模型的对象识别能力。MG-LLaVA仅在公开可用的多模态数据上通过指令调优进行训练，展现出卓越的感知技能。

长视频理解基准测试

LVBench是一个专门设计用于长视频理解的基准测试，旨在推动多模态大型语言模型在理解数小时长视频方面的能力，这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

人类中心语言模型和模拟器的领导者

Nous Research专注于开发以人为中心的语言模型和模拟器，致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型，挑战传统的封闭模型方法。

AI数学极限测试基准

FrontierMath是一个数学基准测试平台，旨在测试人工智能在解决复杂数学问题上的能力极限。它由超过60位数学家共同创建，覆盖了从代数几何到Zermelo-Fraenkel集合论的现代数学全谱。FrontierMath的每个问题都要求专家数学家投入数小时的工作，即使是最先进的AI系统，如GPT-4和Gemini，也仅能解决不到2%的问题。这个平台提供了一个真正的评估环境，所有问题都是新的且未发表的，消除了现有基准测试中普遍存在的数据污染问题。

多智能体任务规划与推理的基准测试

PARTNR是由Meta FAIR发布的一个大规模基准测试，包含100,000个自然语言任务，旨在研究多智能体推理和规划。PARTNR利用大型语言模型（LLMs）生成任务，并通过模拟循环来减少错误。它还支持与真实人类伙伴的AI代理评估，通过人类在环基础设施进行。PARTNR揭示了现有基于LLM的规划器在任务协调、跟踪和从错误中恢复方面的显著局限性，人类能解决93%的任务，而LLMs仅能解决30%。

Agent S：一个开放的代理框架，让计算机像人类一样使用计算机。

Agent S是一个开放的代理框架，旨在通过图形用户界面(GUI)实现与计算机的自主交互，通过自动化复杂多步骤任务来转变人机交互。它引入了经验增强的分层规划方法，利用在线网络知识和叙事记忆，从过去的交互中提取高级经验，将复杂任务分解为可管理的子任务，并使用情景记忆进行逐步指导，Agent S不断优化其行动并从经验中学习，实现适应性强且有效的任务规划。Agent S在OSWorld基准测试中的表现超过了基线9.37%的成功率（相对提高了83.6%），并在WindowsAgentArena基准测试中展示了广泛的通用性。

衡量语言模型回答事实性问题能力的基准测试

SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

基于多模态大语言模型的可解释图像检测与定位

FakeShield是一个多模态框架，旨在解决图像检测和定位（IFDL）领域中的两个主要挑战：检测原理的黑箱性和在不同篡改方法间的有限泛化能力。FakeShield通过利用GPT-4o增强现有的IFDL数据集，创建了多模态篡改描述数据集（MMTD-Set），用于训练FakeShield的篡改分析能力。该框架包括领域标签引导的可解释检测模块（DTE-FDM）和定位模块（MFLM），能够处理各种类型的篡改检测解释，并实现由详细文本描述引导的定位。FakeShield在检测准确性和F1分数上优于其他方法，提供了一个可解释且优越的解决方案。

通过多样化合成数据和全局到局部自适应感知增强文档布局分析

DocLayout-YOLO是一个用于文档布局分析的深度学习模型，它通过多样化的合成数据和全局到局部自适应感知来增强文档布局分析的准确性和处理速度。该模型通过Mesh-candidate BestFit算法生成大规模多样化的DocSynth-300K数据集，显著提升了不同文档类型在微调性能上的表现。此外，它还提出了一个全局到局部可控的感受野模块，更好地处理文档元素的多尺度变化。DocLayout-YOLO在各种文档类型上的下游数据集上表现出色，无论是在速度还是准确性上都有显著优势。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

机器学习工程能力的AI代理评估基准

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

前沿级多模态大型语言模型，实现视觉-语言任务的先进性能。

NVLM 1.0是一系列前沿级的多模态大型语言模型（LLMs），在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是，NVLM 1.0在多模态训练后，其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

数据库查询的自然语言处理基准测试

TAG-Bench是一个用于评估和研究自然语言处理模型在回答数据库查询方面性能的基准测试。它基于BIRD Text2SQL基准测试构建，并通过增加对世界知识或超越数据库中明确信息的语义推理要求，提高了查询的复杂性。TAG-Bench旨在推动AI和数据库技术的融合，通过模拟真实的数据库查询场景，为研究者提供了一个挑战现有模型的平台。

多模态大型语言模型设计空间探索

EAGLE是一个面向视觉中心的高分辨率多模态大型语言模型（LLM）系列，通过混合视觉编码器和不同输入分辨率来加强多模态LLM的感知能力。该模型包含基于通道连接的'CLIP+X'融合，适用于具有不同架构（ViT/ConvNets）和知识（检测/分割/OCR/SSL）的视觉专家。EAGLE模型家族支持超过1K的输入分辨率，并在多模态LLM基准测试中取得了优异的成绩，特别是在对分辨率敏感的任务上，如光学字符识别和文档理解。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

腾讯QQ多媒体研究团队开发的轻量级灵活视频多语言模型

Video-CCAM 是腾讯QQ多媒体研究团队开发的一系列灵活的视频多语言模型（Video-MLLM），致力于提升视频-语言理解能力，特别适用于短视频和长视频的分析。它通过因果交叉注意力掩码（Causal Cross-Attention Masks）来实现这一目标。Video-CCAM 在多个基准测试中表现优异，特别是在 MVBench、VideoVista 和 MLVU 上。模型的源代码已经重写，以简化部署过程。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

评估大型语言模型的逻辑推理和上下文理解能力。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

一个正在训练中的开源语言模型，具备“听力”能力。

llama3-s是一个开放的、正在进行中的研究实验，旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术，专注于令牌传递性，将声音令牌扩展到LLM的词汇表中，未来可能扩展到各种输入类型。作为一个开源科学实验，代码库和数据集都是公开的。

通过街霸3对战评估大型语言模型

llm-colosseum是一个创新的基准测试工具，它使用街霸3游戏来评估大型语言模型（LLM）的实时决策能力。与传统的基准测试不同，这个工具通过模拟实际游戏场景来测试模型的快速反应、智能策略、创新思维、适应性和恢复力。

70亿参数的中英双语对话模型

Llama3.1-70B-Chinese-Chat 是基于 Meta-Llama-3.1-70B-Instruct 模型的指令调优语言模型，专为中英双语用户设计，具备角色扮演和工具使用等多样化能力。该模型通过 ORPO 算法进行微调，显著减少了中文问题用英文回答以及回答中中英文混合的问题，特别是在角色扮演、功能调用和数学能力方面有显著提升。

大型语言模型，支持多种参数规模

Meta Llama 3 是 Meta 推出的最新大型语言模型，旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本，支持预训练和指令调优。模型通过 GitHub 仓库提供，用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用，具有广泛的研究和商业潜力。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

视频理解的先进模型

Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制，首先收集与指令相关的前k个视频片段，然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列，适用于电影或电视剧等场景。为了促进检索过程，开发了MiniGPT4-Video，该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率，超过了之前的方法14.94%。此外，MiniGPT4-Video在短视频理解中也表现出色，分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明，Goldfish模型在长视频和短视频理解方面都有显著改进。