用于评估Windows PC或Apple Mac上AI推理引擎性能的基准测试工具。
Procyon AI Computer Vision Benchmark是由UL Solutions开发的一款专业基准测试工具,旨在帮助用户评估不同AI推理引擎在Windows PC或Apple Mac上的性能表现。该工具通过执行一系列基于常见机器视觉任务的测试,利用多种先进的神经网络模型,为工程团队提供独立、标准化的评估手段,以便他们了解AI推理引擎的实施质量和专用硬件的性能。产品支持多种主流的AI推理引擎,如NVIDIA® TensorRT™、Intel® OpenVINO™等,并可比较浮点和整数优化模型的性能。其主要优点包括易于安装和运行、无需复杂配置、可导出详细结果文件等。产品定位为专业用户,如硬件制造商、软件开发者和科研人员,以助力他们在AI领域的研发和优化工作。
用于衡量设备 AI 加速器推理性能的基准测试工具。
Procyon AI Image Generation Benchmark 是一款由 UL Solutions 开发的基准测试工具,旨在为专业用户提供一个一致、准确且易于理解的工作负载,用以测量设备上 AI 加速器的推理性能。该基准测试与多个关键行业成员合作开发,确保在所有支持的硬件上产生公平且可比较的结果。它包括三个测试,可测量从低功耗 NPU 到高端独立显卡的性能。用户可以通过 Procyon 应用程序或命令行进行配置和运行,支持 NVIDIA® TensorRT™、Intel® OpenVINO™ 和 ONNX with DirectML 等多种推理引擎。产品主要面向工程团队,适用于评估推理引擎实现和专用硬件的通用 AI 性能。价格方面,提供免费试用,正式版为年度场地许可,需付费获取报价。
多语言多任务基准测试,用于评估大型语言模型(LLMs)
P-MMEval是一个多语言基准测试,覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试,确保所有数据集在语言覆盖上保持一致,并在多种语言之间提供平行样本,支持多达10种语言,涵盖8个语言家族。P-MMEval有助于全面评估多语言能力,并进行跨语言可转移性的比较分析。
AI驱动的训练和评估平台,提升员工培训效率。
Solidroad是一个AI优先的训练和评估平台,它将公司的知识库转化为沉浸式培训项目,易于培训者管理,同时为员工提供更吸引人的学习体验。该平台通过个性化支持、指导和专业知识,帮助客户节省时间和资源,加快新员工的熟练速度,并提高客户满意度评分。
跨平台AI性能基准测试工具
Geekbench AI 是一款使用真实世界机器学习任务来评估AI工作负载性能的跨平台AI基准测试工具。它通过测量CPU、GPU和NPU的性能,帮助用户确定他们的设备是否准备好应对当今和未来的尖端机器学习应用。
构建和训练大型语言模型的综合框架
DataComp-LM (DCLM) 是一个为构建和训练大型语言模型(LLMs)而设计的综合性框架,提供了标准化的语料库、基于open_lm框架的高效预训练配方,以及超过50种评估方法。DCLM 支持研究人员在不同的计算规模上实验不同的数据集构建策略,从411M到7B参数模型。DCLM 通过优化的数据集设计显著提高了模型性能,并且已经促成了多个高质量数据集的创建,这些数据集在不同规模上表现优异,超越了所有开放数据集。
首个全面评估多模态大型语言模型在视频分析中的性能基准。
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白,为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频,并针对MLLMs的核心能力进行了评估。
实时更新的多模态模型性能排行榜
OpenCompass多模态排行榜是一个实时更新的平台,用于评估和排名不同的多模态模型(VLMs)。它通过8个多模态基准测试来计算模型的平均得分,并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs,旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。
© 2025 AIbase 备案号:闽ICP备08105208号-14