产品库

衡量Android设备AI性能和质量的基准测试工具

Procyon AI Inference Benchmark for Android是一款基于NNAPI的基准测试工具，用于衡量Android设备上的AI性能和质量。它通过一系列流行的、最先进的神经网络模型来执行常见的机器视觉任务，帮助工程团队独立、标准化地评估NNAPI实现和专用移动硬件的AI性能。该工具不仅能够测量Android设备上专用AI处理硬件的性能，还能够验证NNAPI实现的质量，对于优化硬件加速器的驱动程序、比较浮点和整数优化模型的性能具有重要意义。

专业用户的性能测试基准套件

Procyon是由UL Solutions开发的一套性能测试基准工具，专为工业、企业、政府、零售和媒体的专业用户设计。Procyon套件中的每个基准测试都提供了一致且熟悉的体验，并共享一套共同的设计和功能。灵活的许可模式意味着用户可以根据自己的需求选择适合的单个基准测试。Procyon基准测试套件很快将提供一系列针对专业用户的基准测试和性能测试，每个基准测试都针对特定用例设计，并尽可能使用真实应用。UL Solutions与行业合作伙伴紧密合作，确保每个Procyon基准测试准确、相关且公正。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

机器学习工程能力的AI代理评估基准

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

综合表格数据学习工具箱和基准测试

LAMDA-TALENT是一个综合的表格数据分析工具箱和基准测试平台，它集成了20多种深度学习方法、10多种传统方法以及300多个多样化的表格数据集。该工具箱旨在提高模型在表格数据上的性能，提供强大的预处理能力，优化数据学习，并支持用户友好和适应性强的操作，适用于新手和专家数据科学家。

大型语言模型 (LLM) 性能评测的众包开放平台

LMSys 聊天机器人竞技场排行榜是一个用于评估大型语言模型 (LLM) 性能的众包开放平台。它利用 Elo 排名系统对 LLM 进行排名，排名依据是超过 30 万用户投票的结果。用户可以在网站上与不同的 LLM 进行互动，并根据其对话质量进行投票。该排行榜可用于追踪不同 LLM 的发展趋势，并为研究人员和开发者提供基准测试工具。

一个强大的文本生成模型，适用于多种对话应用。

DeepSeek-V3-0324 是一个先进的文本生成模型，具有 685 亿参数，采用 BF16 和 F32 张量类型，能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性，使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具，帮助他们在文本生成领域取得突破。

RF-DETR 是由 Roboflow 开发的实时目标检测模型。

RF-DETR 是一个基于变压器的实时目标检测模型，旨在为边缘设备提供高精度和实时性能。它在 Microsoft COCO 基准测试中超过了 60 AP，具有竞争力的性能和快速的推理速度，适合各种实际应用场景。RF-DETR 旨在解决现实世界中的物体检测问题，适用于需要高效且准确检测的行业，如安防、自动驾驶和智能监控等。

高保真可动画 3D 人类重建模型，快速生成动画角色。

LHM（大规模可动画人类重建模型）利用多模态变压器架构进行高保真 3D 头像重建，支持从单张图像生成可动画的 3D 人类形象。该模型能够详细保留服装几何和纹理，尤其是在面部身份和细节恢复方面表现优异，适合对 3D 重建精度有较高要求的应用场景。

Pruna 是一个模型优化框架，帮助开发者快速高效交付模型。

Pruna 是一个为开发者设计的模型优化框架，通过一系列压缩算法，如量化、修剪和编译等技术，使得机器学习模型在推理时更快、体积更小且计算成本更低。产品适用于多种模型类型，包括 LLMs、视觉转换器等，且支持 Linux、MacOS 和 Windows 等多个平台。Pruna 还提供了企业版 Pruna Pro，解锁更多高级优化功能和优先支持，助力用户在实际应用中提高效率。

SpatialLM 是一个用于空间理解的大语言模型。

SpatialLM 是一个专为处理 3D 点云数据设计的大型语言模型，能够生成结构化的 3D 场景理解输出，包括建筑元素和对象的语义类别。它能够从单目视频序列、RGBD 图像和 LiDAR 传感器等多种来源处理点云数据，无需专用设备。SpatialLM 在自主导航和复杂 3D 场景分析任务中具有重要应用价值，显著提升空间推理能力。

一个开源文本转语音系统，致力于实现人类语音的自然化。

Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统，旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力，适合各种实时应用场景。该产品是免费的，旨在为开发者和研究者提供便捷的语音合成工具。

为Firefox浏览器翻译功能优化的CPU加速神经机器翻译模型。

Firefox Translations Models 是由Mozilla开发的一组CPU优化的神经机器翻译模型，专为Firefox浏览器的翻译功能设计。该模型通过高效的CPU加速技术，提供快速且准确的翻译服务，支持多种语言对。其主要优点包括高性能、低延迟和对多种语言的支持。该模型是Firefox浏览器翻译功能的核心技术，为用户提供无缝的网页翻译体验。

一种测试大语言模型在复杂社交博弈中智能性的基准测试框架，灵感来源于‘狼人杀’游戏。

Elimination Game 是一种创新的基准测试框架，用于评估大语言模型（LLMs）在复杂社交环境中的表现。它模拟了类似‘狼人杀’的多玩家竞争场景，通过公开讨论、私下交流和投票淘汰机制，测试模型的社交推理、策略选择和欺骗能力。该框架不仅为研究 AI 在社交博弈中的智能性提供了重要工具，还为开发者提供了洞察模型在现实社交场景中潜力的机会。其主要优点包括多轮互动设计、动态联盟与背叛机制以及详细的评估指标，能够全面衡量 AI 的社交能力。

基于 Gemini 的 Colab 数据科学助手，可自动生成完整的 Colab 笔记本代码。

Data Science Agent in Colab 是 Google 推出的一款基于 Gemini 的智能工具，旨在简化数据科学工作流程。它通过自然语言描述自动生成完整的 Colab 笔记本代码，涵盖数据导入、分析和可视化等任务。该工具的主要优点是节省时间、提高效率，并且生成的代码可修改和共享。它面向数据科学家、研究人员和开发者，尤其是那些希望快速从数据中获取洞察的用户。目前该工具免费提供给符合条件的用户。

3FS是一个高性能分布式文件系统，专为AI训练和推理工作负载设计。

3FS是一个专为AI训练和推理工作负载设计的高性能分布式文件系统。它利用现代SSD和RDMA网络，提供共享存储层，简化分布式应用开发。其核心优势在于高性能、强一致性和对多种工作负载的支持，能够显著提升AI开发和部署的效率。该系统适用于大规模AI项目，尤其在数据准备、训练和推理阶段表现出色。

用于多模态上下文中的检索增强生成的基准测试代码库。

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。

提供全球最便宜的GPU云服务，助力自托管AI/ML开发。

Thunder Compute是一个专注于AI/ML开发的GPU云服务平台，通过虚拟化技术，帮助用户以极低的成本使用高性能GPU资源。其主要优点是价格低廉，相比传统云服务提供商可节省高达80%的成本。该平台支持多种主流GPU型号，如NVIDIA Tesla T4、A100等，并提供7+ Gbps的网络连接，确保数据传输的高效性。Thunder Compute的目标是为AI开发者和企业降低硬件成本，加速模型训练和部署，推动AI技术的普及和应用。

olmOCR是一个用于将PDF线性化以用于LLM数据集训练的工具包。

olmOCR是由Allen Institute for Artificial Intelligence (AI2)开发的一个开源工具包，旨在将PDF文档线性化，以便用于大型语言模型（LLM）的训练。该工具包通过将PDF文档转换为适合LLM处理的格式，解决了传统PDF文档结构复杂、难以直接用于模型训练的问题。它支持多种功能，包括自然文本解析、多版本比较、语言过滤和SEO垃圾信息移除等。olmOCR的主要优点是能够高效处理大量PDF文档，并通过优化的提示策略和模型微调，提高文本解析的准确性和效率。该工具包适用于需要处理大量PDF数据的研究人员和开发者，尤其是在自然语言处理和机器学习领域。

TensorPool 是一个简化机器学习模型训练的云 GPU 平台。

TensorPool 是一个专注于简化机器学习模型训练的云 GPU 平台。它通过提供一个直观的命令行界面（CLI），帮助用户轻松描述任务并自动处理 GPU 的编排和执行。TensorPool 的核心技术包括智能的 Spot 节点恢复技术，能够在抢占式实例被中断时立即恢复作业，从而结合了抢占式实例的成本优势和按需实例的可靠性。此外，TensorPool 还通过实时多云分析选择最便宜的 GPU 选项，用户只需为实际执行时间付费，无需担心闲置机器带来的额外成本。TensorPool 的目标是让开发者无需花费大量时间配置云提供商，从而提高机器学习工程的速度和效率。它提供个人计划和企业计划，个人计划每周提供 $5 的免费信用额度，而企业计划则提供更高级的支持和功能。

一个专注于超大规模系统设计和优化的工具，提供高效解决方案。

The Ultra-Scale Playbook 是一个基于 Hugging Face Spaces 提供的模型工具，专注于超大规模系统的优化和设计。它利用先进的技术框架，帮助开发者和企业高效地构建和管理大规模系统。该工具的主要优点包括高度的可扩展性、优化的性能和易于集成的特性。它适用于需要处理复杂数据和大规模计算任务的场景，如人工智能、机器学习和大数据处理。产品目前以开源的形式提供，适合各种规模的企业和开发者使用。

ZeroBench 是一个针对当代大型多模态模型的高难度视觉基准测试。

ZeroBench 是一个专为评估大型多模态模型（LMMs）视觉理解能力而设计的基准测试。它通过 100 个精心设计且经过严格审查的复杂问题，以及 334 个子问题，挑战当前模型的极限。该基准测试旨在填补现有视觉基准的不足，提供更具挑战性和高质量的评估工具。ZeroBench 的主要优点是其高难度、轻量级、多样化和高质量的特点，使其能够有效区分模型的性能。此外，它还提供了详细的子问题评估，帮助研究人员更好地理解模型的推理能力。

SWE-Lancer 是一个包含 1400 多个自由软件工程任务的基准测试，总价值 100 万美元。

SWE-Lancer 是由 OpenAI 推出的一个基准测试，旨在评估前沿语言模型在真实世界中的自由软件工程任务中的表现。该基准测试涵盖了从 50 美元的漏洞修复到 32000 美元的功能实现等多种独立工程任务，以及模型在技术实现方案之间的选择等管理任务。通过模型将性能映射到货币价值，SWE-Lancer 为研究 AI 模型开发的经济影响提供了新的视角，并推动了相关研究的发展。

Heron的AI技术可自动化处理文档密集型工作，提升工作效率。

Heron是一款专注于自动化文档处理的生产力工具。它通过先进的AI技术，能够快速接收、分类、解析和同步文档数据，直接将结构化数据同步到用户的CRM系统中。Heron的主要优点包括高效的数据处理能力、强大的机器学习支持以及与现有业务流程的无缝集成。该产品主要面向需要处理大量文档的中小企业融资、法律、保险等行业，旨在帮助用户节省时间、降低成本并提高决策效率。Heron的定价策略灵活，具体价格根据客户需求定制，适合希望通过技术提升工作效率的企业。

AI研究资源导航网站，提供AI研究资源、文档和实践案例

DeepResearch123是一个AI研究资源导航平台，旨在为研究人员、开发者和爱好者提供丰富的AI研究资源、文档和实践案例。该平台涵盖了机器学习、深度学习和人工智能等多个领域的最新研究成果，帮助用户快速了解和掌握相关知识。其主要优点是资源丰富、分类清晰，便于用户查找和学习。该平台面向对AI研究感兴趣的各类人群，无论是初学者还是专业人士都能从中受益。目前平台免费开放，用户无需付费即可使用所有功能。

Humanity's Last Exam 是一个用于衡量大型语言模型能力的多模态基准测试。

Humanity's Last Exam 是一个由全球专家合作开发的多模态基准测试，旨在衡量大型语言模型在学术领域的表现。它包含来自 50 个国家超过 500 个机构的近 1000 名专家贡献的 3000 个问题，覆盖超过 100 个学科。该测试旨在成为最终的封闭式学术基准，通过挑战模型的极限来推动人工智能技术的发展。其主要优点是难度高，能够有效评估模型在复杂学术问题上的表现。

提供全球基础金融数据，快速整合到模型中，助力现代金融分析师高效工作。

Finbar是一个专注于提供全球基础金融数据的平台。它通过先进的OCR、机器学习和自然语言处理技术，能够快速从海量金融文档中提取结构化数据，并在数据发布后几秒内提供给用户。其主要优点是数据更新速度快、自动化程度高，能够显著减少人工处理数据的时间和成本。该产品主要面向金融机构和分析师，帮助他们快速获取和分析数据，提升工作效率。目前尚不清楚其具体价格和定位，但已获得多家顶级对冲基金的使用。

在线学习Python、AI、大模型、AI写作绘画课程，零基础轻松入门。

Mo是一个专注于 AI 技术学习和应用的平台，旨在为用户提供从基础到高级的系统学习资源，帮助各类学习者掌握 AI 技能，并将其应用于实际项目中。无论你是大学生、职场新人，还是想提升自己技能的行业专家，Mo都能为你提供量身定制的课程、实战项目和工具，带你深入理解和应用人工智能。

用于衡量设备 AI 加速器推理性能的基准测试工具。

Procyon AI Image Generation Benchmark 是一款由 UL Solutions 开发的基准测试工具，旨在为专业用户提供一个一致、准确且易于理解的工作负载，用以测量设备上 AI 加速器的推理性能。该基准测试与多个关键行业成员合作开发，确保在所有支持的硬件上产生公平且可比较的结果。它包括三个测试，可测量从低功耗 NPU 到高端独立显卡的性能。用户可以通过 Procyon 应用程序或命令行进行配置和运行，支持 NVIDIA® TensorRT™、Intel® OpenVINO™ 和 ONNX with DirectML 等多种推理引擎。产品主要面向工程团队，适用于评估推理引擎实现和专用硬件的通用 AI 性能。价格方面，提供免费试用，正式版为年度场地许可，需付费获取报价。

一个AI驱动的数据科学团队，帮助用户更快地完成常见数据科学任务。

该产品是一个AI驱动的数据科学团队模型，旨在帮助用户以更快的速度完成数据科学任务。它通过一系列专业的数据科学代理（Agents），如数据清洗、特征工程、建模等，来自动化和加速数据科学工作流程。该产品的主要优点是能够显著提高数据科学工作的效率，减少人工干预，适用于需要快速处理和分析大量数据的企业和研究机构。产品目前处于Beta阶段，正在积极开发中，可能会有突破性变化。它采用MIT许可证，用户可以在GitHub上免费使用和贡献代码。