产品库

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

释放超级推理能力，提升AIME & MATH基准测试性能。

DeepSeek-R1-Lite-Preview是一款专注于提升推理能力的AI模型，它在AIME和MATH基准测试中展现了出色的性能。该模型具备实时透明的思考过程，并且计划推出开源模型和API。DeepSeek-R1-Lite-Preview的推理能力随着思考长度的增加而稳步提升，显示出更好的性能。产品背景信息显示，DeepSeek-R1-Lite-Preview是DeepSeek公司推出的最新产品，旨在通过人工智能技术提升用户的工作效率和问题解决能力。目前，产品提供免费试用，具体的定价和定位信息尚未公布。

昆仑万维开源的高性能数学代码推理模型，性能卓越

Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能，突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型，分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重，还全面开放了训练数据集和完整训练代码，所有资源均已上传至GitHub和Huggingface平台，为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。

高性能知识图谱数据库与推理引擎

RDFox 是由牛津大学计算机科学系的三位教授基于数十年知识表示与推理（KRR）研究开发的规则驱动人工智能技术。其独特之处在于：1. 强大的AI推理能力：RDFox 能够像人类一样从数据中创建知识，基于事实进行推理，确保结果的准确性和可解释性。2. 高性能：作为唯一在内存中运行的知识图谱，RDFox 在基准测试中的表现远超其他图技术，能够处理数十亿三元组的复杂数据存储。3. 可扩展部署：RDFox 具有极高的效率和优化的占用空间，可以嵌入边缘和移动设备，作为 AI 应用的大脑独立运行。4. 企业级特性：包括高性能、高可用性、访问控制、可解释性、人类般的推理能力、数据导入和 API 支持等。5. 增量推理：RDFox 的推理功能在数据添加或删除时即时更新，不影响性能，无需重新加载。

高性能AI模型，提升推理任务能力

Skywork-o1-Open-PRM-Qwen-2.5-7B是由昆仑科技Skywork团队开发的一系列模型，这些模型结合了o1风格的慢思考和推理能力。这个模型系列不仅在输出中展现出天生的思考、规划和反思能力，而且在标准基准测试中显示出推理技能的显著提升。它代表了AI能力的战略进步，将一个原本较弱的基础模型推向了推理任务的最新技术（SOTA）。

MNN 是阿里巴巴开源的轻量级高性能推理引擎，支持多种主流模型格式。

MNN 是阿里巴巴淘系技术开源的深度学习推理引擎，支持 TensorFlow、Caffe、ONNX 等主流模型格式，兼容 CNN、RNN、GAN 等常用网络。它通过极致优化算子性能，全面支持 CPU、GPU、NPU，充分发挥设备算力，广泛应用于阿里巴巴 70+ 场景下的 AI 应用。MNN 以高性能、易用性和通用性著称，旨在降低 AI 部署门槛，推动端智能的发展。

小米首个推理大模型MiMo开源，专为推理任务设计，性能卓越。

Xiaomi MiMo是小米公司开源的首个推理大模型，专为推理任务设计，具备卓越的数学推理和代码生成能力。该模型在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上表现出色，仅用7B的参数规模就超越了OpenAI的o1-mini和阿里Qwen的QwQ-32B-Preview等更大规模的模型。MiMo通过预训练和后训练阶段的多层面创新，包括数据挖掘、训练策略和强化学习算法等，显著提升了推理能力。该模型的开源为研究人员和开发者提供了强大的工具，推动了人工智能在推理领域的进一步发展。

提供可靠的性能测量数据，评估流行模型的性能。

The Fastest.ai是一个提供可靠的性能测量数据的网站，用于评估流行模型的性能。它通过测量模型的响应时间、每秒生成的token数量以及从请求到最终token生成的总时间来提供准确的性能数据。该网站旨在帮助用户选择最快的AI模型，并提供其他模型的性能比较。它对模型的性能进行日常更新，用户可以根据自己的需求选择合适的模型。

用于衡量设备 AI 加速器推理性能的基准测试工具。

Procyon AI Image Generation Benchmark 是一款由 UL Solutions 开发的基准测试工具，旨在为专业用户提供一个一致、准确且易于理解的工作负载，用以测量设备上 AI 加速器的推理性能。该基准测试与多个关键行业成员合作开发，确保在所有支持的硬件上产生公平且可比较的结果。它包括三个测试，可测量从低功耗 NPU 到高端独立显卡的性能。用户可以通过 Procyon 应用程序或命令行进行配置和运行，支持 NVIDIA® TensorRT™、Intel® OpenVINO™ 和 ONNX with DirectML 等多种推理引擎。产品主要面向工程团队，适用于评估推理引擎实现和专用硬件的通用 AI 性能。价格方面，提供免费试用，正式版为年度场地许可，需付费获取报价。

AI即时推理解决方案，速度领先世界。

Cerebras Inference是Cerebras公司推出的AI推理平台，提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术，为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型，包括医疗、能源、政府和金融服务等行业应用，具有开放源代码的特性，允许用户训练自己的基础模型或微调开源模型。

免费开源AI模型推理服务

Tost AI是一个免费、非盈利、开源的服务，它为最新的AI论文提供推理服务，使用非盈利GPU集群。Tost AI不存储任何推理数据，所有数据在12小时内过期。此外，Tost AI提供将数据发送到Discord频道的选项。每个账户每天提供100个免费钱包余额，如果希望每天获得1100个钱包余额，可以订阅GitHub赞助者或Patreon。Tost AI将演示的所有利润都发送给论文的第一作者，其预算由公司和个人赞助者支持。

用于评估Windows PC或Apple Mac上AI推理引擎性能的基准测试工具。

Procyon AI Computer Vision Benchmark是由UL Solutions开发的一款专业基准测试工具，旨在帮助用户评估不同AI推理引擎在Windows PC或Apple Mac上的性能表现。该工具通过执行一系列基于常见机器视觉任务的测试，利用多种先进的神经网络模型，为工程团队提供独立、标准化的评估手段，以便他们了解AI推理引擎的实施质量和专用硬件的性能。产品支持多种主流的AI推理引擎，如NVIDIA® TensorRT™、Intel® OpenVINO™等，并可比较浮点和整数优化模型的性能。其主要优点包括易于安装和运行、无需复杂配置、可导出详细结果文件等。产品定位为专业用户，如硬件制造商、软件开发者和科研人员，以助力他们在AI领域的研发和优化工作。

一款在推理和编程基准测试中表现与o1-preview相当的推理模型。

Sky-T1-32B-Preview是由加州大学伯克利分校的NovaSky团队开发的推理模型。该模型在流行的推理和编程基准测试中表现出色，与o1-preview相当，且训练成本不到450美元，展示了以低成本高效复制高级推理能力的可能性。该模型完全开源，包括数据、代码和模型权重，旨在推动学术界和开源社区的发展。其主要优点是低成本、高性能和开源，为研究人员和开发者提供了宝贵的资源。

本地AI管理、验证和推理工具

The Local AI Playground是一个本地AI管理、验证和推理工具，可以在离线环境中进行AI实验，无需GPU。该产品是一个本地应用程序，旨在简化整个过程。具有免费开源的特点。

快速的本地矢量推理解决方案

Trieve Vector Inference是一个本地矢量推理解决方案，旨在解决文本嵌入服务的高延迟和高限制率问题。它允许用户在自己的云中托管专用的嵌入服务器，以实现更快的文本嵌入推理。该产品通过提供高性能的本地推理服务，帮助企业减少对外部服务的依赖，提高数据处理速度和效率。

跨平台AI性能基准测试工具

Geekbench AI 是一款使用真实世界机器学习任务来评估AI工作负载性能的跨平台AI基准测试工具。它通过测量CPU、GPU和NPU的性能，帮助用户确定他们的设备是否准备好应对当今和未来的尖端机器学习应用。

声音AI分析工具，优化语音助手性能

Canonical AI提供的声音AI分析工具，专注于分析和优化语音助手的通话性能。该工具通过可视化通话流程、识别关键性能指标（KPIs）和自定义度量标准，帮助企业理解语音AI通话的失败原因，并提供实时监控和深度分析功能。产品背景信息显示，它适用于需要提升语音AI服务质量的企业和团队，价格方面提供免费试用和不同规模的专业及企业方案。

AI文本生成性能测试工具

Procyon AI Text Generation Benchmark 是一款专门用于测试和评估AI本地大型语言模型（LLM）性能的基准测试工具。它通过与AI软硬件领域的领导者紧密合作，确保测试能够充分利用系统中的本地AI加速硬件。该工具简化了PC性能比较和成本合理化，验证和标准化PC性能，并简化IT团队的PC生命周期管理，允许快速做出决策，以提供PC性能，降低硬件成本，节省测试时间。

NVIDIA GPU上加速LLM推理的创新技术

ReDrafter是一种新颖的推测性解码方法，通过结合RNN草稿模型和动态树注意力机制，显著提高了大型语言模型（LLM）在NVIDIA GPU上的推理速度。这项技术通过加速LLM的token生成，减少了用户可能经历的延迟，同时减少了GPU的使用和能源消耗。ReDrafter由Apple机器学习研究团队开发，并与NVIDIA合作集成到NVIDIA TensorRT-LLM推理加速框架中，为使用NVIDIA GPU的机器学习开发者提供了更快的token生成能力。

优化AI性能的无代码Fine-Tuning

Fine-Tuner是一款优化AI性能的无代码Fine-Tuning工具。通过使用先进的Fine-Tuning技术，您可以在更少的数据和时间内获得更好的结果。Fine-Tuner可以帮助您提升NLP模型的性能，无需编写任何代码。您可以使用Fine-Tuner对现有的模型进行改进，优化其性能，从而节省时间和资源。Fine-Tuner还提供了丰富的功能列表，适用于各种场景。

结合DeepSeek R1推理能力和Claude创造力及代码生成能力的统一API和聊天界面。

DeepClaude是一个强大的AI工具，旨在将DeepSeek R1的推理能力与Claude的创造力和代码生成能力相结合，通过统一的API和聊天界面提供服务。它利用高性能的流式API（用Rust编写）实现即时响应，同时支持端到端加密和本地API密钥管理，确保用户数据的隐私和安全。该产品是完全开源的，用户可以自由贡献、修改和部署。其主要优点包括零延迟响应、高度可配置性以及支持用户自带密钥（BYOK），为开发者提供了极大的灵活性和控制权。DeepClaude主要面向需要高效代码生成和AI推理能力的开发者和企业，目前处于免费试用阶段，未来可能会根据使用量收费。

数学推理LLM

MathCoder是一款基于开源语言模型的数学推理工具，通过fine-tune模型和生成高质量的数据集，实现了自然语言、代码和执行结果的交替，提高了数学推理能力。MathCoder模型在MATH和GSM8K数据集上取得了最新的最高分数，远远超过其他开源替代品。MathCoder模型不仅在GSM8K和MATH上超过了ChatGPT-3.5和PaLM-2，还在竞赛级别的MATH数据集上超过了GPT-4。

LG AI 推出的开源推理 AI 模型，具备卓越的推理能力。

EXAONE Deep 是 LG AI Research 推出的先进推理 AI 模型，标志着韩国在全球 AI 市场中的竞争力。它具备 32 亿参数，表现卓越，尤其在数学和科学问题解决方面展现出色。该模型的发布使得 LG 在 AI 领域迈入了自主决策的时代，其开源特性使得更多开发者能够利用这一技术进行研究与开发。EXAONE Deep 的轻量级和在设备上的模型设计使得其适用于多个行业，包括教育、科学研究、编程等。

AI 驱动的 CUDA 代码优化平台，快速提升 GPU 性能，无需手动优化复杂代码。

RightNow AI 是一个创新的 AI 驱动的 CUDA 代码优化平台，旨在帮助开发者快速提升 GPU 性能。它通过强大的 AI 技术，自动分析 CUDA 内核，识别性能瓶颈，并生成优化后的代码，相比手动优化，大大节省了时间和精力。该平台支持多种优化策略，如共享内存利用、线程协作、循环展开等，可实现高达 4 倍的性能提升。其主要面向需要高性能 GPU 计算的开发者和企业，尤其是那些缺乏专业 GPU 优化知识的团队。RightNow AI 提供多种付费计划，包括按需付费、开发者、专业和企业套餐，满足不同规模用户的需求。

AI模型性能评估平台

Scale Leaderboard是一个专注于AI模型性能评估的平台，提供专家驱动的私有评估数据集，确保评估结果的公正性和无污染。该平台定期更新排行榜，包括新的数据集和模型，营造动态竞争环境。评估由经过严格审查的专家使用特定领域的方法进行，保证评估的高质量和可信度。

衡量Android设备AI性能和质量的基准测试工具

Procyon AI Inference Benchmark for Android是一款基于NNAPI的基准测试工具，用于衡量Android设备上的AI性能和质量。它通过一系列流行的、最先进的神经网络模型来执行常见的机器视觉任务，帮助工程团队独立、标准化地评估NNAPI实现和专用移动硬件的AI性能。该工具不仅能够测量Android设备上专用AI处理硬件的性能，还能够验证NNAPI实现的质量，对于优化硬件加速器的驱动程序、比较浮点和整数优化模型的性能具有重要意义。

AI驱动的API性能测试，提供高性能API，优化用户体验

PerfAI是一个AI驱动的API性能测试平台，通过自学习和无代码的方式，帮助企业交付高性能的API，提升用户体验，减少流失率。它可以自动生成性能测试计划，消除测试编写的繁琐过程。PerfAI的功能包括自动化性能测试、性能监控、负载测试和压力测试。它可以帮助企业发现和解决API性能问题，提供可靠的API服务。PerfAI的定价根据企业的具体需求而定，可以提供个性化的解决方案。它适用于各种使用场景，包括Web应用程序、移动应用程序和云服务等。通过提供高性能的API，PerfAI帮助企业提升用户体验，降低用户流失率，增加业务价值。

复杂推理的复合AI模型

Fireworks f1是一个专门针对复杂推理的复合AI模型，它在推理层融合了多个开放模型。Fireworks f1通过简化构建复合AI的过程，使得开发者能够以提示（prompting）的方式轻松访问复合AI的能力。该模型在编码、聊天、数学和推理用例中表现出色，超越了大多数开放模型和封闭前沿模型。Fireworks f1的设计理念是声明式编程，开发者可以通过提示描述他们想要实现的目标，而无需具体指定如何实现。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

开源AI芯片性能基准测试平台

FlagPerf是由智源研究院联合AI硬件厂商共建的一体化AI硬件评测引擎，旨在建立以产业实践为导向的指标体系，评测AI硬件在软件栈组合（模型+框架+编译器）下的实际能力。该平台支持多维度评测指标体系，覆盖大模型训练推理场景，并支持多训练框架及推理引擎，连接AI硬件与软件生态。