产品库

最快、最可靠的推理平台，可部署和扩展开源及自定义AI模型

Baseten是一个高性能推理平台，由Baseten推理堆栈提供支持，具备快速模型运行时间、跨云高可用性和无缝开发工作流程等特点。其重要性在于能够帮助企业快速将AI模型投入生产，为市场带来高性能的AI产品。主要优点包括：提供预优化的模型API，可立即测试新工作负载、原型产品或评估最新AI模型；支持在推理优化的基础设施上进行模型训练和一键部署；具备前沿的性能研究，采用自定义内核、最新解码技术和高级缓存；拥有推理优化的基础设施，可在任何区域和云环境中扩展工作负载，冷启动速度快且正常运行时间达99.99%；提供出色的开发体验，便于部署、优化和管理模型；有专业的工程师提供支持，从原型到生产全程协助。价格方面文档未提及，但有多种部署选项，包括Baseten Cloud和Self hosted，定位是为企业提供AI模型部署和推理的解决方案。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

昆仑万维开源的高性能数学代码推理模型，性能卓越

Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能，突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型，分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重，还全面开放了训练数据集和完整训练代码，所有资源均已上传至GitHub和Huggingface平台，为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。

高性能知识图谱数据库与推理引擎

RDFox 是由牛津大学计算机科学系的三位教授基于数十年知识表示与推理（KRR）研究开发的规则驱动人工智能技术。其独特之处在于：1. 强大的AI推理能力：RDFox 能够像人类一样从数据中创建知识，基于事实进行推理，确保结果的准确性和可解释性。2. 高性能：作为唯一在内存中运行的知识图谱，RDFox 在基准测试中的表现远超其他图技术，能够处理数十亿三元组的复杂数据存储。3. 可扩展部署：RDFox 具有极高的效率和优化的占用空间，可以嵌入边缘和移动设备，作为 AI 应用的大脑独立运行。4. 企业级特性：包括高性能、高可用性、访问控制、可解释性、人类般的推理能力、数据导入和 API 支持等。5. 增量推理：RDFox 的推理功能在数据添加或删除时即时更新，不影响性能，无需重新加载。

MNN 是阿里巴巴开源的轻量级高性能推理引擎，支持多种主流模型格式。

MNN 是阿里巴巴淘系技术开源的深度学习推理引擎，支持 TensorFlow、Caffe、ONNX 等主流模型格式，兼容 CNN、RNN、GAN 等常用网络。它通过极致优化算子性能，全面支持 CPU、GPU、NPU，充分发挥设备算力，广泛应用于阿里巴巴 70+ 场景下的 AI 应用。MNN 以高性能、易用性和通用性著称，旨在降低 AI 部署门槛，推动端智能的发展。

一款在推理和编程基准测试中表现与o1-preview相当的推理模型。

Sky-T1-32B-Preview是由加州大学伯克利分校的NovaSky团队开发的推理模型。该模型在流行的推理和编程基准测试中表现出色，与o1-preview相当，且训练成本不到450美元，展示了以低成本高效复制高级推理能力的可能性。该模型完全开源，包括数据、代码和模型权重，旨在推动学术界和开源社区的发展。其主要优点是低成本、高性能和开源，为研究人员和开发者提供了宝贵的资源。

高性能AI模型，提升推理任务能力

Skywork-o1-Open-PRM-Qwen-2.5-7B是由昆仑科技Skywork团队开发的一系列模型，这些模型结合了o1风格的慢思考和推理能力。这个模型系列不仅在输出中展现出天生的思考、规划和反思能力，而且在标准基准测试中显示出推理技能的显著提升。它代表了AI能力的战略进步，将一个原本较弱的基础模型推向了推理任务的最新技术（SOTA）。

释放超级推理能力，提升AIME & MATH基准测试性能。

DeepSeek-R1-Lite-Preview是一款专注于提升推理能力的AI模型，它在AIME和MATH基准测试中展现了出色的性能。该模型具备实时透明的思考过程，并且计划推出开源模型和API。DeepSeek-R1-Lite-Preview的推理能力随着思考长度的增加而稳步提升，显示出更好的性能。产品背景信息显示，DeepSeek-R1-Lite-Preview是DeepSeek公司推出的最新产品，旨在通过人工智能技术提升用户的工作效率和问题解决能力。目前，产品提供免费试用，具体的定价和定位信息尚未公布。

全球最快的AI推理服务提供商，部署模型速度无与伦比

General Compute是全球最快的推理服务提供商，专为推理而构建，采用专用ASIC芯片，而非传统的GPU。其主要优点包括：超高速推理，每秒可达1000个令牌，比其他方案快7倍；亚毫秒级的首次响应时间；高吞吐量；与OpenAI兼容的API，方便用户集成。产品背景基于对传统GPU在推理场景局限性的认识，传统GPU有70年的遗留架构，专为渲染像素设计，后用于训练，现在用于推理并非最优选择。而General Compute从底层开始为推理设计，具有更低的能耗和更高的效率。价格方面，提供200美元的免费额度供用户体验，具体付费方式需联系销售。其定位是为需要快速部署AI模型并进行高效推理的用户提供解决方案。

网易有道开发的轻量级推理模型，可在单个GPU上部署，具备类似o1的推理能力。

Confucius-o1-14B是由网易有道团队开发的推理模型，基于Qwen2.5-14B-Instruct优化而成。它采用两阶段学习策略，能够自动生成推理链，并总结出逐步的问题解决过程。该模型主要面向教育领域，尤其适合K12数学问题的解答，能够帮助用户快速获取正确解题思路和答案。模型具备轻量化的特点，无需量化即可在单个GPU上部署，降低了使用门槛。其推理能力在内部评估中表现出色，为教育领域的AI应用提供了强大的技术支持。

小米首个推理大模型MiMo开源，专为推理任务设计，性能卓越。

Xiaomi MiMo是小米公司开源的首个推理大模型，专为推理任务设计，具备卓越的数学推理和代码生成能力。该模型在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上表现出色，仅用7B的参数规模就超越了OpenAI的o1-mini和阿里Qwen的QwQ-32B-Preview等更大规模的模型。MiMo通过预训练和后训练阶段的多层面创新，包括数据挖掘、训练策略和强化学习算法等，显著提升了推理能力。该模型的开源为研究人员和开发者提供了强大的工具，推动了人工智能在推理领域的进一步发展。

高速大型语言模型本地部署推理引擎

PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点，通过预加载热激活的神经元到 GPU 上，从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符，优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理，比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。

AI模型部署和推理优化的专家

Neural Magic是一家专注于AI模型优化和部署的公司，提供领先的企业级推理解决方案，以最大化性能和提高硬件效率。公司的产品支持在GPU和CPU基础设施上运行领先的开源大型语言模型（LLMs），帮助企业在云、私有数据中心或边缘环境中安全、高效地部署AI模型。Neural Magic的产品背景信息强调了其在机器学习模型优化方面的专业知识，以及与科研机构合作开发的创新LLM压缩技术，如GPTQ和SparseGPT。产品价格和定位方面，Neural Magic提供了免费试用和付费服务，旨在帮助企业降低成本、提高效率，并保持数据隐私和安全。

AI即时推理解决方案，速度领先世界。

Cerebras Inference是Cerebras公司推出的AI推理平台，提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术，为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型，包括医疗、能源、政府和金融服务等行业应用，具有开放源代码的特性，允许用户训练自己的基础模型或微调开源模型。

快速的本地矢量推理解决方案

Trieve Vector Inference是一个本地矢量推理解决方案，旨在解决文本嵌入服务的高延迟和高限制率问题。它允许用户在自己的云中托管专用的嵌入服务器，以实现更快的文本嵌入推理。该产品通过提供高性能的本地推理服务，帮助企业减少对外部服务的依赖，提高数据处理速度和效率。

LG AI 推出的开源推理 AI 模型，具备卓越的推理能力。

EXAONE Deep 是 LG AI Research 推出的先进推理 AI 模型，标志着韩国在全球 AI 市场中的竞争力。它具备 32 亿参数，表现卓越，尤其在数学和科学问题解决方面展现出色。该模型的发布使得 LG 在 AI 领域迈入了自主决策的时代，其开源特性使得更多开发者能够利用这一技术进行研究与开发。EXAONE Deep 的轻量级和在设备上的模型设计使得其适用于多个行业，包括教育、科学研究、编程等。

免费开源AI模型推理服务

Tost AI是一个免费、非盈利、开源的服务，它为最新的AI论文提供推理服务，使用非盈利GPU集群。Tost AI不存储任何推理数据，所有数据在12小时内过期。此外，Tost AI提供将数据发送到Discord频道的选项。每个账户每天提供100个免费钱包余额，如果希望每天获得1100个钱包余额，可以订阅GitHub赞助者或Patreon。Tost AI将演示的所有利润都发送给论文的第一作者，其预算由公司和个人赞助者支持。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

高性能混合专家语言模型

DeepSeek-V2.5-1210是DeepSeek-V2.5的升级版本，它在多个能力方面进行了改进，包括数学、编码和写作推理。模型在MATH-500基准测试中的性能从74.8%提高到82.8%，在LiveCodebench (08.01 - 12.01)基准测试中的准确率从29.2%提高到34.38%。此外，新版本优化了文件上传和网页摘要功能的用户体验。DeepSeek-V2系列（包括基础和聊天）支持商业用途。

视觉推理能力增强的实验性研究模型

QVQ-72B-Preview是由Qwen团队开发的实验性研究模型，专注于增强视觉推理能力。该模型在多学科理解和推理方面展现出强大的能力，特别是在数学推理任务上取得了显著的进步。尽管在视觉推理方面取得了进步，但QVQ并不完全取代Qwen2-VL-72B的能力，在多步视觉推理中可能会逐渐失去对图像内容的关注，导致幻觉。此外，QVQ在基本识别任务上并没有显示出比Qwen2-VL-72B更显著的改进。

本地AI管理、验证和推理工具

The Local AI Playground是一个本地AI管理、验证和推理工具，可以在离线环境中进行AI实验，无需GPU。该产品是一个本地应用程序，旨在简化整个过程。具有免费开源的特点。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

FLUX模型的Cog推理引擎

Cog inference for flux models 是一个用于FLUX.1 [schnell] 和 FLUX.1 [dev] 模型的推理引擎，由Black Forest Labs开发。它支持编译与量化，敏感内容检查，以及img2img支持，旨在提高图像生成模型的性能和安全性。

为开发者提供快速的AI平台，部署、优化和运行200多个LLM和多模型。

SiliconFlow是一款为开发者提供LLM部署、AI模型托管和推理API的AI基础设施。它通过优化的堆栈为用户提供更低的延迟、更高的吞吐量和可预测的成本。

复杂推理的复合AI模型

Fireworks f1是一个专门针对复杂推理的复合AI模型，它在推理层融合了多个开放模型。Fireworks f1通过简化构建复合AI的过程，使得开发者能够以提示（prompting）的方式轻松访问复合AI的能力。该模型在编码、聊天、数学和推理用例中表现出色，超越了大多数开放模型和封闭前沿模型。Fireworks f1的设计理念是声明式编程，开发者可以通过提示描述他们想要实现的目标，而无需具体指定如何实现。

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理

Phi-3 Mini是一款轻量级的最先进的开源大模型,构建于用于Phi-2的合成数据和过滤网站数据之上,致力于提供极高质量、推理密集型的数据。该模型经过了严格的增强过程,结合了监督式微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。该仓库提供了Phi-3 Mini的优化ONNX版本,可通过ONNX Runtime在CPU和GPU上进行加速推理,支持服务器、Windows、Linux、Mac等多种平台,并针对每个平台提供最佳精度配置。ONNX Runtime的DirectML支持还可让开发人员在AMD、英特尔和NVIDIA GPU驱动的Windows设备上实现大规模硬件加速。

EmpirioLabs AIkey提供开放、专有和定制模型托管及部署服务。

EmpirioLabs AIkey是一个专门的AI推理和集成服务提供商。其重要性在于为各类模型提供便捷的托管和部署平台，降低企业和开发者使用AI模型的门槛。主要优点包括：提供有竞争力的价格，部分模型运行成本比同类推理提供商低达90%，部分专有端点运行成本比标准提供商低77%；采用按需付费模式，而非锁定套餐；提供比直接访问更高的速率限制；能快速推出新模型和功能；托管多种特色模型并提供创意模板。产品背景是满足市场对AI模型便捷使用和部署的需求。价格方面，根据不同模型和使用情况收费，有按使用量付费的模式。定位是为企业和开发者提供全面的AI模型托管、部署和优化服务。

高性能浏览器内语言模型推理引擎

WebLLM是一个高性能的浏览器内语言模型推理引擎，利用WebGPU进行硬件加速，使得强大的语言模型操作可以直接在网页浏览器内执行，无需服务器端处理。这个项目旨在将大型语言模型（LLM）直接集成到客户端，从而实现成本降低、个性化增强和隐私保护。它支持多种模型，并与OpenAI API兼容，易于集成到项目中，支持实时交互和流式处理，是构建个性化AI助手的理想选择。

快速AI推理，为开源模型提供即时智能。

Groq是一家提供高性能AI芯片和云服务的公司，专注于为AI模型提供超低延迟的推理服务。其产品GroqCloud™自2024年2月推出以来，已经有超过467,000名开发者使用。Groq的AI芯片技术由Meta的首席AI科学家Yann LeCun提供技术支持，并且获得了BlackRock领投的6.4亿美元融资，公司估值达到28亿美元。Groq的技术优势在于其能够无缝地从其他提供商迁移到Groq，仅需更改三行代码，并且与OpenAI的端点兼容。Groq的AI芯片旨在挑战Nvidia在AI芯片市场的领导地位，为开发者和企业提供更快、更高效的AI推理解决方案。