一种测试大语言模型在复杂社交博弈中智能性的基准测试框架，灵感来源于‘狼人杀’游戏。
Elimination Game 是一种创新的基准测试框架，用于评估大语言模型（LLMs）在复杂社交环境中的表现。它模拟了类似‘狼人杀’的多玩家竞争场景，通过公开讨论、私下交流和投票淘汰机制，测试模型的社交推理、策略选择和欺骗能力。该框架不仅为研究 AI 在社交博弈中的智能性提供了重要工具，还为开发者提供了洞察模型在现实社交场景中潜力的机会。其主要优点包括多轮互动设计、动态联盟与背叛机制以及详细的评估指标，能够全面衡量 AI 的社交能力。
用于多模态上下文中的检索增强生成的基准测试代码库。
M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。
ZeroBench 是一个针对当代大型多模态模型的高难度视觉基准测试。
ZeroBench 是一个专为评估大型多模态模型（LMMs）视觉理解能力而设计的基准测试。它通过 100 个精心设计且经过严格审查的复杂问题，以及 334 个子问题，挑战当前模型的极限。该基准测试旨在填补现有视觉基准的不足，提供更具挑战性和高质量的评估工具。ZeroBench 的主要优点是其高难度、轻量级、多样化和高质量的特点，使其能够有效区分模型的性能。此外，它还提供了详细的子问题评估，帮助研究人员更好地理解模型的推理能力。
SWE-Lancer 是一个包含 1400 多个自由软件工程任务的基准测试，总价值 100 万美元。
SWE-Lancer 是由 OpenAI 推出的一个基准测试，旨在评估前沿语言模型在真实世界中的自由软件工程任务中的表现。该基准测试涵盖了从 50 美元的漏洞修复到 32000 美元的功能实现等多种独立工程任务，以及模型在技术实现方案之间的选择等管理任务。通过模型将性能映射到货币价值，SWE-Lancer 为研究 AI 模型开发的经济影响提供了新的视角，并推动了相关研究的发展。
Humanity's Last Exam 是一个用于衡量大型语言模型能力的多模态基准测试。
Humanity's Last Exam 是一个由全球专家合作开发的多模态基准测试，旨在衡量大型语言模型在学术领域的表现。它包含来自 50 个国家超过 500 个机构的近 1000 名专家贡献的 3000 个问题，覆盖超过 100 个学科。该测试旨在成为最终的封闭式学术基准，通过挑战模型的极限来推动人工智能技术的发展。其主要优点是难度高，能够有效评估模型在复杂学术问题上的表现。
用于衡量设备 AI 加速器推理性能的基准测试工具。
Procyon AI Image Generation Benchmark 是一款由 UL Solutions 开发的基准测试工具，旨在为专业用户提供一个一致、准确且易于理解的工作负载，用以测量设备上 AI 加速器的推理性能。该基准测试与多个关键行业成员合作开发，确保在所有支持的硬件上产生公平且可比较的结果。它包括三个测试，可测量从低功耗 NPU 到高端独立显卡的性能。用户可以通过 Procyon 应用程序或命令行进行配置和运行，支持 NVIDIA® TensorRT™、Intel® OpenVINO™ 和 ONNX with DirectML 等多种推理引擎。产品主要面向工程团队，适用于评估推理引擎实现和专用硬件的通用 AI 性能。价格方面，提供免费试用，正式版为年度场地许可，需付费获取报价。
开源AI芯片性能基准测试平台
FlagPerf是由智源研究院联合AI硬件厂商共建的一体化AI硬件评测引擎，旨在建立以产业实践为导向的指标体系，评测AI硬件在软件栈组合（模型+框架+编译器）下的实际能力。该平台支持多维度评测指标体系，覆盖大模型训练推理场景，并支持多训练框架及推理引擎，连接AI硬件与软件生态。
专业用户的性能测试基准套件
Procyon是由UL Solutions开发的一套性能测试基准工具，专为工业、企业、政府、零售和媒体的专业用户设计。Procyon套件中的每个基准测试都提供了一致且熟悉的体验，并共享一套共同的设计和功能。灵活的许可模式意味着用户可以根据自己的需求选择适合的单个基准测试。Procyon基准测试套件很快将提供一系列针对专业用户的基准测试和性能测试，每个基准测试都针对特定用例设计，并尽可能使用真实应用。UL Solutions与行业合作伙伴紧密合作，确保每个Procyon基准测试准确、相关且公正。
用于评估大型语言模型事实性的最新基准
FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。
衡量Android设备AI性能和质量的基准测试工具
Procyon AI Inference Benchmark for Android是一款基于NNAPI的基准测试工具，用于衡量Android设备上的AI性能和质量。它通过一系列流行的、最先进的神经网络模型来执行常见的机器视觉任务，帮助工程团队独立、标准化地评估NNAPI实现和专用移动硬件的AI性能。该工具不仅能够测量Android设备上专用AI处理硬件的性能，还能够验证NNAPI实现的质量，对于优化硬件加速器的驱动程序、比较浮点和整数优化模型的性能具有重要意义。
个人电脑AI性能基准测试
MLPerf Client是由MLCommons共同开发的新基准测试，旨在评估个人电脑（从笔记本、台式机到工作站）上大型语言模型（LLMs）和其他AI工作负载的性能。该基准测试通过模拟真实世界的AI任务，提供清晰的指标，以了解系统如何处理生成性AI工作负载。MLPerf Client工作组希望这个基准测试能够推动创新和竞争，确保个人电脑能够应对AI驱动的未来挑战。
多语言多任务基准测试，用于评估大型语言模型（LLMs）
P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。
AI数学极限测试基准
FrontierMath是一个数学基准测试平台，旨在测试人工智能在解决复杂数学问题上的能力极限。它由超过60位数学家共同创建，覆盖了从代数几何到Zermelo-Fraenkel集合论的现代数学全谱。FrontierMath的每个问题都要求专家数学家投入数小时的工作，即使是最先进的AI系统，如GPT-4和Gemini，也仅能解决不到2%的问题。这个平台提供了一个真正的评估环境，所有问题都是新的且未发表的，消除了现有基准测试中普遍存在的数据污染问题。
衡量语言模型回答事实性问题能力的基准测试
SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。
研究项目，探索自动语言模型基准测试中的作弊行为。
Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。
机器学习工程能力的AI代理评估基准
MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。
视频指令调优与合成数据研究
LLaVA-Video是一个专注于视频指令调优的大型多模态模型（LMMs），通过创建高质量的合成数据集LLaVA-Video-178K来解决从网络获取大量高质量原始数据的难题。该数据集包括详细的视频描述、开放式问答和多项选择问答等任务，旨在提高视频语言模型的理解和推理能力。LLaVA-Video模型在多个视频基准测试中表现出色，证明了其数据集的有效性。
数据库查询的自然语言处理基准测试
TAG-Bench是一个用于评估和研究自然语言处理模型在回答数据库查询方面性能的基准测试。它基于BIRD Text2SQL基准测试构建，并通过增加对世界知识或超越数据库中明确信息的语义推理要求，提高了查询的复杂性。TAG-Bench旨在推动AI和数据库技术的融合，通过模拟真实的数据库查询场景，为研究者提供了一个挑战现有模型的平台。
© 2025 AIbase 备案号：闽ICP备08105208号-14