产品库

企业级 LLM 平台，提供统一 API 和智能路由。

ZenMux 是一个企业级大语言模型（LLM）平台，旨在通过提供统一的 API 和智能路由来消除幻觉风险。该平台的主要优点包括低延迟、高稳定性和全面的 LLM 保险机制。通过 ZenMux，用户能够快速接入全球顶尖的 LLM，并仅为有效结果付费。其定价策略较竞争对手更加灵活，提供高达 20% 的额外积分，确保用户在使用过程中享受更高的性价比。

连接企业级API和即用MCP服务器的中心枢纽。

API Hub是一个提供强大API和云基础架构的平台，连接您到云端基础架构和可预测定价的API。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

提供OpenAI和Claude模型支持的API服务。

API易是一个提供OpenAI和Claude模型支持的API服务平台，用户可以通过API接口调用这些模型进行各种AI任务。该平台具有稳定性高、价格优惠、无需代理即可使用等特点，适合需要AI模型支持的开发者和企业。

企业软件开发的AI LLM平台

Lamini是一款面向企业软件开发的AI LLM平台，利用生成式人工智能和机器学习技术，自动化工作流程，优化软件开发过程，提高生产效率。体验Lamini，感受软件开发的未来。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

开源项目，实现AI音乐服务的API接口

Suno API是一个开源项目，允许用户设置自己的Suno AI音乐服务API。它实现了app.suno.ai的创建API，兼容OpenAI的API格式，支持自定义模式，一键部署到Vercel，并且拥有开放源代码许可证，允许自由集成和修改。

稳定可信赖的中转API服务

GPTACG中转API提供OpenAI官方api转发服务，主打稳定性，适合对稳定性有高要求的应用场景。产品背景是为用户提供解除地区限制、超高并发支持、高性价比的企业级稳定服务，承诺不收集用户请求与返回信息。价格方面，提供不同购买额度的优惠，例如单次购买小于$500和大于等于$500的不同费率。

领先的LLM服务提供平台

Mooncake是Kimi的服务平台，由Moonshot AI提供，是一个领先的大型语言模型(LLM)服务。它采用了以KVCache为中心的解耦架构，通过分离预填充(prefill)和解码(decoding)集群，以及利用GPU集群中未充分利用的CPU、DRAM和SSD资源来实现KVCache的解耦缓存。Mooncake的核心是其KVCache中心调度器，它在确保满足延迟相关的服务级别目标(SLOs)要求的同时，平衡最大化整体有效吞吐量。与传统研究不同，Mooncake面对的是高度过载的场景，为此开发了基于预测的早期拒绝策略。实验表明，Mooncake在长上下文场景中表现出色，与基线方法相比，在某些模拟场景中吞吐量可提高525%，同时遵守SLOs。在实际工作负载下，Mooncake的创新架构使Kimi能够处理75%以上的请求。

使用Runway API，随时随地创造视频内容。

Runway API是一个强大的视频模型平台，提供先进的生成视频模型，允许用户在安全、可靠的环境中嵌入Gen-3 Alpha Turbo到他们的产品中。它支持广泛的应用场景，包括创意广告、音乐视频、电影制作等，是全球顶尖创意人士的首选。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

API 测活工具，确保API服务的稳定性与响应速度。

API 信息测活是一个在线工具，专为开发者设计，用于测试和监控API的活跃状态。它通过模拟请求来检测API的响应时间，确保API服务的稳定性和响应速度，对于维护API的可靠性至关重要。该工具支持多种API格式，如oneapi/newapi等，并且可以设置测活请求的超时时间和并发数量，以适应不同的测试需求。

开源数据摄取API服务

Chunkr是一个开源的数据摄取API服务，专注于文档布局分析、OCR和分块处理，将文档转换成适合RAG和LLM的数据格式。支持PDF、DOC、PPT和XLS文件。该服务能够将文本、表格、图像和手写内容进行结构化处理，为人工智能和机器学习应用提供数据支持。它由Lumina AI Inc.维护，并且提供免费试用和定价方案。

DMXAPI 是一个提供全球大模型API聚合服务的平台，支持超过300个大模型调用。

DMXAPI 是由 LangChain 中文网提供的大模型API聚合服务，旨在帮助开发者快速接入全球领先的大模型。通过集中采购和直接与模型原厂合作，DMXAPI 提供更具竞争力的价格和高效的服务。其支持的模型包括 GPT-4、Claude、LLaMA 等，覆盖自然语言处理、图像识别、生成式 AI 等多种应用场景。DMXAPI 的主要优点是安全、低价、高效，并提供 7×24 小时在线客服支持，确保用户在使用过程中无后顾之忧。

企业知识管理与AI问答平台

Dashworks是一个企业级的知识管理和AI问答平台，它通过API使企业能够将Dashworks的智能问答能力集成到现有的工作流程和内部工具中。Dashworks通过AI技术，帮助企业快速获取和分享知识，提高工作效率，减少重复性工作。产品背景信息显示Dashworks致力于通过智能化手段，优化企业内部信息的流通和利用。价格和定位方面，Dashworks提供早期访问API，并接受用户申请以获取访问权限，具体价格未在页面中提及。

AI API服务平台，提供创新的AI模型和API服务，价格优惠。

UnificAlly是一家AI API服务平台，提供创新的AI模型和API服务，价格优惠。用户可以访问平台并选择各种先进的AI模型，如GPT 4.1、Suno、Higgsfield等，用于视频生成、图像创作、音乐作曲等。UnificAlly致力于提供高性价比的AI服务，并以快速可靠的API响应、简单易集成的REST API和详尽的文档和示例著称。

智能图像识别API

Monster API是一个智能图像识别API，可以帮助开发者快速实现图像识别功能。它提供了多种功能，包括物体识别、人脸识别、文字识别等。优势是准确率高、响应速度快、易于集成。价格根据使用情况计费，具体请查看官方网站。Monster API的定位是为开发者提供强大的图像识别能力，帮助他们构建智能应用。

高精度将图片或PDF转换为Markdown文本或JSON结构化文档的API

pdf-extract-api是一个使用现代OCR技术和Ollama支持的模型将任何文档或图片转换为结构化的JSON或Markdown文本的API。它使用FastAPI构建，并使用Celery进行异步任务处理，Redis用于缓存OCR结果。该API无需云或外部依赖，所有处理都在本地开发或服务器环境中完成，确保数据安全。它支持PDF到Markdown的高精度转换，包括表格数据、数字或数学公式，并且可以使用Ollama支持的模型进行PDF到JSON的转换。此外，该API还支持LLM改进OCR结果，去除PDF中的个人身份信息（PII），以及分布式队列处理和缓存。

Gemini API的指南和示例集合

Gemini API Cookbook是一个包含Gemini API使用指南和示例的集合，旨在帮助开发者快速上手并使用Gemini API。这些示例大多数是用Python编写的Colab Notebooks，可以直接在Google Colab中打开或下载到本地环境中运行。

强大的AI音频API，提升项目互动性。

ElevenLabs AI音频API提供了高质量的语音合成服务，支持多种语言，适用于聊天机器人、代理、网站、应用程序等，具有低延迟和高响应速度。该API支持企业级需求，确保数据安全，符合SOC2和GDPR合规性。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

为互联网提供API服务，连接用户账号，实现自动化操作。

Keet是一个提供API服务的平台，允许开发者通过API连接到任何网站，代表用户执行操作或获取数据。它支持与用户账号的链接，并提供RESTful API以集成到各种行业。Keet强调无需安装Chrome扩展即可实现自动化，提供稳定的自动化更新，并可为特定用例定制集成。此外，Keet还提供链接组件，使开发者能够轻松地将用户账号连接到其集成服务。

将LLM接入Comfy UI的插件

Tara是一款插件，可以将大型语言模型（LLM）接入到Comfy UI中，支持简单的API设置，并集成LLaVa模型。其中包含TaraPrompter节点用于生成精确结果、TaraApiKeyLoader节点管理API密钥、TaraApiKeySaver节点安全保存密钥、TaraDaisyChainNode节点串联输出实现复杂工作流。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

AI音乐API

WarpSound是一款灵活的生成式AI音乐API，能够为无限的动态音乐内容、应用和体验提供动力。它采用行业领先的工作室级创作技术，使您能够通过API轻松创建高质量的音乐体验。WarpSound还提供多种定价方案，适用于不同的用户需求。

监控OpenAI API使用情况的工具

LLM Report是一个可以监控OpenAI API使用情况的工具。用户只需输入OpenAI API密钥，工具会直接从OpenAI API中获取数据并创建仪表板，无需安装任何软件。用户可以清楚地了解每个模型、API密钥和用户的费用情况，避免盲目消耗资源。LLM Report得到了全球2500多个用户和公司的认可。