产品库

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

智能AI令牌管理和优化

Tokenomy是一款高级AI令牌计算器和成本估算工具，可用于LLMs。通过Tokenomy的高级令牌管理工具，优化您的AI提示，分析令牌使用情况，并节省OpenAI、Anthropic等LLM API的成本。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

智能图像识别API

Monster API是一个智能图像识别API，可以帮助开发者快速实现图像识别功能。它提供了多种功能，包括物体识别、人脸识别、文字识别等。优势是准确率高、响应速度快、易于集成。价格根据使用情况计费，具体请查看官方网站。Monster API的定位是为开发者提供强大的图像识别能力，帮助他们构建智能应用。

高精度将图片或PDF转换为Markdown文本或JSON结构化文档的API

pdf-extract-api是一个使用现代OCR技术和Ollama支持的模型将任何文档或图片转换为结构化的JSON或Markdown文本的API。它使用FastAPI构建，并使用Celery进行异步任务处理，Redis用于缓存OCR结果。该API无需云或外部依赖，所有处理都在本地开发或服务器环境中完成，确保数据安全。它支持PDF到Markdown的高精度转换，包括表格数据、数字或数学公式，并且可以使用Ollama支持的模型进行PDF到JSON的转换。此外，该API还支持LLM改进OCR结果，去除PDF中的个人身份信息（PII），以及分布式队列处理和缓存。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

提供OpenAI和Claude模型支持的API服务。

API易是一个提供OpenAI和Claude模型支持的API服务平台，用户可以通过API接口调用这些模型进行各种AI任务。该平台具有稳定性高、价格优惠、无需代理即可使用等特点，适合需要AI模型支持的开发者和企业。

Gemini API的指南和示例集合

Gemini API Cookbook是一个包含Gemini API使用指南和示例的集合，旨在帮助开发者快速上手并使用Gemini API。这些示例大多数是用Python编写的Colab Notebooks，可以直接在Google Colab中打开或下载到本地环境中运行。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

将LLM上下文窗口扩展至200万令牌的技术

LongRoPE是微软推出的技术，可以将预训练大型语言模型（LLM）的上下文窗口扩展到2048k（200万）令牌，实现从短上下文到长上下文的扩展，降低训练成本和时间，同时保持原有短上下文窗口性能。适用于提高语言模型在长文本上的理解和生成能力，提升机器阅读理解、文本摘要和长篇文章生成等任务。

将LLM接入Comfy UI的插件

Tara是一款插件，可以将大型语言模型（LLM）接入到Comfy UI中，支持简单的API设置，并集成LLaVa模型。其中包含TaraPrompter节点用于生成精确结果、TaraApiKeyLoader节点管理API密钥、TaraApiKeySaver节点安全保存密钥、TaraDaisyChainNode节点串联输出实现复杂工作流。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

AI模型令牌计数和成本估算工具

Token Counter是一个在线工具，用于计算文本中的令牌数量并估算使用AI模型的成本。它支持多种AI模型，如OpenAI和Anthropic，并提供了实时的令牌计数和成本估算。该工具对于管理API成本、估计处理时间以及确保输入不超过模型限制至关重要。Token Counter的主要优点包括高准确性、多语言支持、实时计数以及易于使用的界面。它适用于需要处理大量文本数据的开发者和企业，帮助他们更有效地管理和优化AI模型的使用。

AI音乐API

WarpSound是一款灵活的生成式AI音乐API，能够为无限的动态音乐内容、应用和体验提供动力。它采用行业领先的工作室级创作技术，使您能够通过API轻松创建高质量的音乐体验。WarpSound还提供多种定价方案，适用于不同的用户需求。

监控OpenAI API使用情况的工具

LLM Report是一个可以监控OpenAI API使用情况的工具。用户只需输入OpenAI API密钥，工具会直接从OpenAI API中获取数据并创建仪表板，无需安装任何软件。用户可以清楚地了解每个模型、API密钥和用户的费用情况，避免盲目消耗资源。LLM Report得到了全球2500多个用户和公司的认可。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

基于 Python 和 FastAPI 的非官方 Suno API。

SunoAPI 是一个基于 Python 和 FastAPI 的非官方 Suno API。它支持生成歌曲、歌词等功能，并带有内置的令牌维护和保持活跃功能，让您无需担心令牌过期。SunoAPI 采用全异步设计，运行速度快，适合后续扩展。用户可以轻松使用 API 生成各种音乐内容。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

开源项目，实现AI音乐服务的API接口

Suno API是一个开源项目，允许用户设置自己的Suno AI音乐服务API。它实现了app.suno.ai的创建API，兼容OpenAI的API格式，支持自定义模式，一键部署到Vercel，并且拥有开放源代码许可证，允许自由集成和修改。

本地测试API性能和真实性的工具

API CHECKER是一个用于本地测试API性能和真实性的工具，支持多种API中转格式，如oneapi/newapi等。它允许用户输入API URL和APIKey，选择或输入测试模型，进行本地测试，并提供详细报告。此外，它还具备官转验证功能，帮助用户确认API的真实性。

使用Runway API，随时随地创造视频内容。

Runway API是一个强大的视频模型平台，提供先进的生成视频模型，允许用户在安全、可靠的环境中嵌入Gen-3 Alpha Turbo到他们的产品中。它支持广泛的应用场景，包括创意广告、音乐视频、电影制作等，是全球顶尖创意人士的首选。

TypeScript客户端，用于OpenAI的实时语音API。

openai-realtime-api是一个TypeScript客户端，用于与OpenAI的实时语音API进行交互。它提供了强类型的特性，并且是OpenAI官方JavaScript版本的完美替代品。该客户端修复了许多小错误和不一致性，并且完全兼容官方和非官方事件。它支持Node.js、浏览器、Deno、Bun、CF workers等多种环境，并且已发布到NPM。该技术的重要性在于它能够为开发者提供一种更安全、更便捷的方式来集成和使用OpenAI的实时语音功能，特别是在需要处理大量数据和请求时。

快速、便宜的房地产API

Interior Design API是一个强大的AI房地产API，可用于将室内和室外设计能力添加到您的应用程序或网站中。它使用我们专有的ULTRA图像扩散模型生成高质量的设计效果。价格实惠且输出迅速。

智能搜索API，提供高效信息检索。

RAG Search API是一个由thinkany.ai开发的智能搜索API，它利用RAG（Retrieval-Augmented Generation）技术，结合了检索和生成的特点，为用户提供高效、准确的信息检索服务。该API支持自定义配置，包括搜索数量、是否进行重排、过滤等，能够满足不同用户的需求。

API 测活工具，确保API服务的稳定性与响应速度。

API 信息测活是一个在线工具，专为开发者设计，用于测试和监控API的活跃状态。它通过模拟请求来检测API的响应时间，确保API服务的稳定性和响应速度，对于维护API的可靠性至关重要。该工具支持多种API格式，如oneapi/newapi等，并且可以设置测活请求的超时时间和并发数量，以适应不同的测试需求。

开发者可使用的Grok系列基础模型API

xAI API提供了对Grok系列基础模型的程序化访问，支持文本和图像输入，具有128,000个token的上下文长度，并支持函数调用和系统提示。该API与OpenAI和Anthropic的API完全兼容，简化了迁移过程。产品背景信息显示，xAI正在进行公共Beta测试，直至2024年底，期间每位用户每月可获得25美元的免费API积分。

用API生成和优化Dreambooth稳定扩散，节省成本、时间、金钱，并获得50倍更快的图像生成

Stable Diffusion And Dreambooth API是一个API，让您可以专注于构建下一代人工智能产品，而不是维护GPU。使用Stable Diffusion API，您无需拥有昂贵的GPU和大内存，即可节省成本、时间和金钱，并以50倍更快的速度生成图像。Dreambooth API可让您使用自己的数据集对稳定扩散进行优化，生成所需的图像。您可以通过单击一个按钮从100多个模型中生成图像，无需训练自己的模型。