产品库

一个人的 AI 海龟汤游戏

“汤很热” 是一个以 AI 驱动的海龟汤游戏平台，旨在为用户提供一个充满悬疑和推理乐趣的游戏体验。用户可以通过提出问题来推理故事的背后真相，挑战自己的逻辑思维和想象力。部分故事包含恐怖和血腥元素，增加了游戏的刺激感。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

数学推理LLM

MathCoder是一款基于开源语言模型的数学推理工具，通过fine-tune模型和生成高质量的数据集，实现了自然语言、代码和执行结果的交替，提高了数学推理能力。MathCoder模型在MATH和GSM8K数据集上取得了最新的最高分数，远远超过其他开源替代品。MathCoder模型不仅在GSM8K和MATH上超过了ChatGPT-3.5和PaLM-2，还在竞赛级别的MATH数据集上超过了GPT-4。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

小米首个推理大模型MiMo开源，专为推理任务设计，性能卓越。

Xiaomi MiMo是小米公司开源的首个推理大模型，专为推理任务设计，具备卓越的数学推理和代码生成能力。该模型在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上表现出色，仅用7B的参数规模就超越了OpenAI的o1-mini和阿里Qwen的QwQ-32B-Preview等更大规模的模型。MiMo通过预训练和后训练阶段的多层面创新，包括数据挖掘、训练策略和强化学习算法等，显著提升了推理能力。该模型的开源为研究人员和开发者提供了强大的工具，推动了人工智能在推理领域的进一步发展。

视觉推理能力增强的实验性研究模型

QVQ-72B-Preview是由Qwen团队开发的实验性研究模型，专注于增强视觉推理能力。该模型在多学科理解和推理方面展现出强大的能力，特别是在数学推理任务上取得了显著的进步。尽管在视觉推理方面取得了进步，但QVQ并不完全取代Qwen2-VL-72B的能力，在多步视觉推理中可能会逐渐失去对图像内容的关注，导致幻觉。此外，QVQ在基本识别任务上并没有显示出比Qwen2-VL-72B更显著的改进。

免费开源AI模型推理服务

Tost AI是一个免费、非盈利、开源的服务，它为最新的AI论文提供推理服务，使用非盈利GPU集群。Tost AI不存储任何推理数据，所有数据在12小时内过期。此外，Tost AI提供将数据发送到Discord频道的选项。每个账户每天提供100个免费钱包余额，如果希望每天获得1100个钱包余额，可以订阅GitHub赞助者或Patreon。Tost AI将演示的所有利润都发送给论文的第一作者，其预算由公司和个人赞助者支持。

基于LLaMA-3.1 8B的小型推理模型，实现透明可控的AI推理。

Deepthought-8B是一个小型但功能强大的推理模型，它基于LLaMA-3.1 8B构建，旨在使AI推理更加透明和可控。尽管模型相对较小，但它实现了与更大模型相媲美的复杂推理能力。该模型以其独特的问题解决方法而设计，将其思考过程分解为清晰、独特、有记录的步骤，并将推理过程以结构化的JSON格式输出，便于理解和验证其决策过程。

表格理解中的推理链表

Chain-of-Table是一种表格理解的推理链表框架，专门用于处理基于表格的问答和事实验证等任务。它采用了表格数据作为推理链的一部分，通过在上下文中学习的方式指导大型语言模型进行操作生成和表格更新，从而形成一个连续的推理链，展示了给定表格问题的推理过程。这种推理链包含了中间结果的结构化信息，能够实现更准确可靠的预测。Chain-of-Table在WikiTQ、FeTaQA和TabFact等多个基准测试中取得了新的最先进性能。

LG AI 推出的开源推理 AI 模型，具备卓越的推理能力。

EXAONE Deep 是 LG AI Research 推出的先进推理 AI 模型，标志着韩国在全球 AI 市场中的竞争力。它具备 32 亿参数，表现卓越，尤其在数学和科学问题解决方面展现出色。该模型的发布使得 LG 在 AI 领域迈入了自主决策的时代，其开源特性使得更多开发者能够利用这一技术进行研究与开发。EXAONE Deep 的轻量级和在设备上的模型设计使得其适用于多个行业，包括教育、科学研究、编程等。

DeepSeek-R1-Distill-Qwen-7B 是一个开源的推理模型，专注于数学、代码和推理任务。

DeepSeek-R1-Distill-Qwen-7B 是一个经过强化学习优化的推理模型，基于 Qwen-7B 进行了蒸馏优化。它在数学、代码和推理任务上表现出色，能够生成高质量的推理链和解决方案。该模型通过大规模强化学习和数据蒸馏技术，显著提升了推理能力和效率，适用于需要复杂推理和逻辑分析的场景。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

FLUX模型的Cog推理引擎

Cog inference for flux models 是一个用于FLUX.1 [schnell] 和 FLUX.1 [dev] 模型的推理引擎，由Black Forest Labs开发。它支持编译与量化，敏感内容检查，以及img2img支持，旨在提高图像生成模型的性能和安全性。

增强LLM推理能力的ReFT

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

高速大型语言模型本地部署推理引擎

PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点，通过预加载热激活的神经元到 GPU 上，从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符，优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理，比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。

释放超级推理能力，提升AIME & MATH基准测试性能。

DeepSeek-R1-Lite-Preview是一款专注于提升推理能力的AI模型，它在AIME和MATH基准测试中展现了出色的性能。该模型具备实时透明的思考过程，并且计划推出开源模型和API。DeepSeek-R1-Lite-Preview的推理能力随着思考长度的增加而稳步提升，显示出更好的性能。产品背景信息显示，DeepSeek-R1-Lite-Preview是DeepSeek公司推出的最新产品，旨在通过人工智能技术提升用户的工作效率和问题解决能力。目前，产品提供免费试用，具体的定价和定位信息尚未公布。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

智谱深度推理模型，擅长数理逻辑和代码推理

GLM-Zero-Preview是智谱首个基于扩展强化学习技术训练的推理模型，专注于增强AI推理能力，擅长处理数理逻辑、代码和需要深度推理的复杂问题。与基座模型相比，在不显著降低通用任务能力的情况下，专家任务能力大幅提升。在AIME 2024、MATH500和LiveCodeBench评测中，效果与OpenAI o1-preview相当。产品背景信息显示，智谱华章科技有限公司致力于通过强化学习技术，提升模型的深度推理能力，未来将推出正式版GLM-Zero，扩展深度思考的能力到更多技术领域。

谷歌开发的AI模型，提供推理能力更强的响应。

Gemini 2.0 Flash Thinking Mode是谷歌推出的一个实验性AI模型，旨在生成模型在响应过程中的“思考过程”。相较于基础的Gemini 2.0 Flash模型，Thinking Mode在响应中展现出更强的推理能力。该模型在Google AI Studio和Gemini API中均可使用，是谷歌在人工智能领域的重要技术成果，对于开发者和研究人员来说，提供了一个强大的工具来探索和实现复杂的AI应用。

本地AI管理、验证和推理工具

The Local AI Playground是一个本地AI管理、验证和推理工具，可以在离线环境中进行AI实验，无需GPU。该产品是一个本地应用程序，旨在简化整个过程。具有免费开源的特点。

打破LLM推理的顺序依赖性

Lookahead Decoding是一种新的推理方法，用于打破LLM推理的顺序依赖性，提高推理效率。用户可以通过导入Lookahead Decoding库，使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。

一款高效的推理与聊天大语言模型。

Llama-3.1-Nemotron-Ultra-253B-v1 是一个基于 Llama-3.1-405B-Instruct 的大型语言模型，经过多阶段的后训练以提升推理和聊天能力。该模型支持高达 128K 的上下文长度，具备较好的准确性和效率平衡，适用于商业用途，旨在为开发者提供强大的 AI 助手功能。

新一代最强推理模型

OpenAI o3模型是继o1之后的新一代推理模型，包括o3和o3-mini两个版本。o3在某些条件下接近于通用人工智能（AGI），在ARC-AGI基准测试中得分高达87.5%，远超人类平均水平。它在数学和编程任务中表现出色，在2024年美国数学邀请赛（AIME）中得分96.7%，在Codeforces评级中达到2727分。o3能够自我事实核查，通过“私人思维链”进行推理，提高答案的准确性。o3是首个使用“审议对齐”技术训练的模型，以符合安全原则。目前，o3模型尚未广泛可用，但安全研究人员可以注册预览o3-mini模型。o3 mini版将在1月底推出，之后不久推出o3完整版。

复杂推理的复合AI模型

Fireworks f1是一个专门针对复杂推理的复合AI模型，它在推理层融合了多个开放模型。Fireworks f1通过简化构建复合AI的过程，使得开发者能够以提示（prompting）的方式轻松访问复合AI的能力。该模型在编码、聊天、数学和推理用例中表现出色，超越了大多数开放模型和封闭前沿模型。Fireworks f1的设计理念是声明式编程，开发者可以通过提示描述他们想要实现的目标，而无需具体指定如何实现。

医疗领域复杂推理的大型语言模型

HuatuoGPT-o1是一个专为医疗复杂推理设计的大语言模型，能够识别错误、探索替代策略并完善答案。该模型通过利用可验证的医疗问题和专门的医疗验证器，推进了复杂推理的发展。HuatuoGPT-o1的主要优点包括：使用验证器指导复杂推理轨迹的搜索，以微调大型语言模型；应用基于验证器奖励的强化学习（PPO）进一步提升复杂推理能力。HuatuoGPT-o1的开源模型、数据和代码，使其在医疗教育和研究领域具有重要价值。

前沿语言模型，具有先进的推理能力。

Grok-2是xAI的前沿语言模型，具有最先进的推理能力。此次发布包括Grok家族的两个成员：Grok-2和Grok-2 mini。这两个模型现在都在𝕏平台上发布给Grok用户。Grok-2是Grok-1.5的重要进步，具有聊天、编程和推理方面的前沿能力。同时，xAI引入了Grok-2 mini，一个小巧但功能强大的Grok-2的兄弟模型。Grok-2的早期版本已经在LMSYS排行榜上以“sus-column-r”的名字进行了测试。它在整体Elo得分方面超过了Claude 3.5 Sonnet和GPT-4-Turbo。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

先进的大型语言模型，具备推理和编程能力。

Mistral-Large-Instruct-2407是一个拥有123B参数的先进大型语言模型(LLM)，具备最新的推理、知识和编程能力。它支持多语言，包括中文、英语、法语等十种语言，并且在80多种编程语言上受过训练，如Python、Java等。此外，它还具备代理中心能力和先进的数学及推理能力。

基于多模态的 AI 模型，无缝进行图像、视频、音频和代码的推理

Google Gemini 是一款基于多模态的 AI 模型，能够无缝进行图像、视频、音频和代码的推理。Gemini 是 DeepMind 推出的最先进的 AI 模型，能够在 MMLU（大规模多任务语言理解）等各项测试中超越人类专家。Gemini 具有出色的推理能力，在各种多模态任务中取得了最先进的性能。