产品库

Auriko是LLM推理的AI控制平面，集成网关、路由、监控和FinOps功能。

Auriko是一款用于大语言模型（LLM）推理的AI控制平面平台。其重要性在于提供一站式解决方案，让用户能够更高效地使用LLM。主要优点包括降低推理成本、优化路由、提供实时监控和精细的成本管理。产品背景方面，随着LLM的广泛应用，对模型管理和优化的需求日益增长，Auriko应运而生。价格信息未在页面提及，定位为帮助企业和开发者从原型到生产全流程使用LLM的综合性平台。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

一个快速的AI网关

Portkey的AI网关是应用程序和托管LLM之间的接口。它使用统一的API对OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API请求进行了优化,从而实现了流畅的路由。该网关快速、轻量,内置重试机制,支持多模型负载均衡,确保应用程序的可靠性和性能。

Respan是统一可观测性、评估、提示优化和LLM网关的工程平台。

Respan是一个LLM工程平台，它将可观测性、评估、提示优化和统一的LLM网关集成于一体。其重要性在于帮助团队可靠地部署AI应用，确保AI系统按预期运行。主要优点包括提供端到端的执行路径追踪、灵活的评估工作流、有效的优化机制、便捷的部署方式以及实时监控功能。产品背景信息暂不明确，价格方面提供免费试用。其定位是为处理大量API调用、需要确保AI系统可靠性和高效性的团队提供支持。

DexCode是AI软件工程工作控制平面，提供运行追踪、成本信号等功能

DexCode是一款用于AI软件工程工作的控制平面产品。它的重要性在于为工程团队提供了一个可审计的共享记录平台，让团队成员能够清晰了解AI编码工作的各个方面。其主要优点包括将Dex运行转化为可审计的团队历史，涵盖任务、阶段、分支、PR等多方面信息；支持本地优先模式，在本地运行的同时上传结构化数据供团队审查；具备完善的治理功能，可管理账户、预算等。产品背景可能是为了解决AI软件工程中信息管理和协作的难题。关于价格，页面未明确提及，可能有免费试用或付费模式。产品定位是为AI软件工程团队提供全面的工作管理和控制解决方案。

面向生产团队的一站式AI API网关，统一模型接入与运营控制。

flatkey.ai是统一的AI API网关，为现代AI产品提供统一API层。它提供托管软件与预付账户余额，用于按量计费的AI API使用。用量费用根据模型输入、输出和缓存命中价格乘以token使用量计算。其主要优点包括集中管理模型接入、路由、计费和用量策略，减少团队构建AI功能时的分散管理问题，让团队无需额外管理供应商也能更快推进。该产品面向需要稳定接入多个模型的开发者、AI产品团队、自动化构建者和运营团队，定价模式为按量付费。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

Oxlo.ai提供前沿AI模型推理API，定价灵活，保护隐私。

Oxlo.ai是一个提供AI推理API的平台，支持运行Kimi K2.6、DeepSeek V4 Flash等45+前沿AI模型，且与OpenAI API兼容。其重要性在于为用户提供了多样化的AI模型选择，同时具备请求式定价模式，性能达到顶级实验室水平，并且承诺不使用用户数据进行训练，保障了用户数据隐私。价格方面，有请求式定价，还为团队月支出达20000美元以内提供15%折扣。该平台定位为提供低成本、高隐私的AI推理服务。

全球最快的AI推理服务提供商，部署模型速度无与伦比

General Compute是全球最快的推理服务提供商，专为推理而构建，采用专用ASIC芯片，而非传统的GPU。其主要优点包括：超高速推理，每秒可达1000个令牌，比其他方案快7倍；亚毫秒级的首次响应时间；高吞吐量；与OpenAI兼容的API，方便用户集成。产品背景基于对传统GPU在推理场景局限性的认识，传统GPU有70年的遗留架构，专为渲染像素设计，后用于训练，现在用于推理并非最优选择。而General Compute从底层开始为推理设计，具有更低的能耗和更高的效率。价格方面，提供200美元的免费额度供用户体验，具体付费方式需联系销售。其定位是为需要快速部署AI模型并进行高效推理的用户提供解决方案。

打破LLM推理的顺序依赖性

Lookahead Decoding是一种新的推理方法，用于打破LLM推理的顺序依赖性，提高推理效率。用户可以通过导入Lookahead Decoding库，使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

NVIDIA GPU上加速LLM推理的创新技术

ReDrafter是一种新颖的推测性解码方法，通过结合RNN草稿模型和动态树注意力机制，显著提高了大型语言模型（LLM）在NVIDIA GPU上的推理速度。这项技术通过加速LLM的token生成，减少了用户可能经历的延迟，同时减少了GPU的使用和能源消耗。ReDrafter由Apple机器学习研究团队开发，并与NVIDIA合作集成到NVIDIA TensorRT-LLM推理加速框架中，为使用NVIDIA GPU的机器学习开发者提供了更快的token生成能力。

数学推理LLM

MathCoder是一款基于开源语言模型的数学推理工具，通过fine-tune模型和生成高质量的数据集，实现了自然语言、代码和执行结果的交替，提高了数学推理能力。MathCoder模型在MATH和GSM8K数据集上取得了最新的最高分数，远远超过其他开源替代品。MathCoder模型不仅在GSM8K和MATH上超过了ChatGPT-3.5和PaLM-2，还在竞赛级别的MATH数据集上超过了GPT-4。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

统一 API 网关，接入海量 AI 模型，高效管理数字资产。

Kaopu API 是一个统一的 API 网关和管理控制台，服务于海量 AI 模型。其重要性在于为开发者提供了一个统一、标准的接口协议来接入各种 AI 模型，承载 AI 应用并高效管理数字资产。主要优点包括极速优化的网络架构确保毫秒级响应，企业级安全性提供全面权限管理，全球多区域部署实现稳定访问，开发者友好的 API 路由等。产品背景是为了满足开发者在集成和管理 AI 模型时的需求。价格方面支持透明计费、按量付费。定位是为开发者打造，为规模而设计，助力开发者简化 AI 集成。

Agnes AI是AI网关、免费API平台，提供多模态AI模型与应用。

Agnes AI由Sapiens AI开发，是一个AI网关、免费AI API平台和AI应用生态系统。其重要性在于为开发者和用户提供了一个统一的平台，可轻松接入各类AI模型和服务。主要优点包括提供免费API、支持全栈多模态AI（文本、图像、视频）、模型性能在行业内领先等。该产品定位是让世界级AI易于获取和使用，面向开发者和企业客户。价格方面，提供免费API订阅，也有面向开发者的Token套餐。

快速生成 2D 平面图和 3D 模型的 AI 工具。

Floor Plan AI Generator 是一个基于 AI 的工具，旨在帮助用户快速生成房屋的平面图和 3D 模型。用户只需输入一行描述，就可以在几秒钟内获得高质量的 2D 或 3D 设计，省去了繁琐的设计过程。该产品适合房主、房地产团队以及 3D 设计师，提供免费试用和多种定价方案以适应不同需求。定位为高效便捷的设计工具，它的主要优点于无需设计技能即可轻松使用，且支持多种输出格式和样式。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

先进的代码优化和编译器推理的大型语言模型。

LLM Compiler-7b是Meta开发的一款专注于代码优化和编译器推理的大型语言模型。它基于Code Llama模型，通过深度学习优化代码，支持编译器中间表示、汇编语言和优化的理解。此模型在减少代码大小和从汇编到编译器中间表示的反编译方面展现出卓越的性能，是编译器研究人员和工程师的有力工具。

控制视频生成模型

传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径，从而将他们的想象变为现实。然而，创建计算机生成的视频是一个繁琐的手动过程，可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔，视频扩散模型难以控制，限制了用户应用自己的创造力，而不是放大它。为了解决这一挑战，我们提出了一种新颖的方法，将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此，我们的方法以动画化的低保真度渲染网格作为输入，并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段，以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法，其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。

免费开源AI模型推理服务

Tost AI是一个免费、非盈利、开源的服务，它为最新的AI论文提供推理服务，使用非盈利GPU集群。Tost AI不存储任何推理数据，所有数据在12小时内过期。此外，Tost AI提供将数据发送到Discord频道的选项。每个账户每天提供100个免费钱包余额，如果希望每天获得1100个钱包余额，可以订阅GitHub赞助者或Patreon。Tost AI将演示的所有利润都发送给论文的第一作者，其预算由公司和个人赞助者支持。

为开发者提供快速的AI平台，部署、优化和运行200多个LLM和多模型。

SiliconFlow是一款为开发者提供LLM部署、AI模型托管和推理API的AI基础设施。它通过优化的堆栈为用户提供更低的延迟、更高的吞吐量和可预测的成本。

免费在线 AI 平面设计工具，快速生成专业平面设计。

AI 平面设计工具能够快速生成专业的平面设计方案，用户只需输入设计理念或上传现有房间照片，AI 便会自动生成多个设计概念。该工具的使用无需注册，且完全免费，为用户节省了大量设计费用与时间。凭借其先进的光线追踪算法和风格智能，用户可以获得高质量的可视化效果，适合家庭装修、室内设计师、建筑师等各类用户使用。

LG AI 推出的开源推理 AI 模型，具备卓越的推理能力。

EXAONE Deep 是 LG AI Research 推出的先进推理 AI 模型，标志着韩国在全球 AI 市场中的竞争力。它具备 32 亿参数，表现卓越，尤其在数学和科学问题解决方面展现出色。该模型的发布使得 LG 在 AI 领域迈入了自主决策的时代，其开源特性使得更多开发者能够利用这一技术进行研究与开发。EXAONE Deep 的轻量级和在设备上的模型设计使得其适用于多个行业，包括教育、科学研究、编程等。