产品库

节省LLM成本，不牺牲质量的框架

RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

以低成本实现高性能的大型语言模型

JetMoE-8B是一个开源的大型语言模型，通过使用公共数据集和优化的训练方法，以低于10万美元的成本实现了超越Meta AI LLaMA2-7B的性能。该模型在推理时仅激活22亿参数，大幅降低了计算成本，同时保持了优异的性能。

AI 驱动的多云成本优化平台

AI 驱动的云成本管理优化平台，适用于多云环境，支持主流云服务提供商，帮助企业控制成本、提高财务可见性、简化操作。价格为免费试用，目标受众是希望控制云成本的组织。

实时动态路由AI模型到最佳提供商，以实现最佳性能和成本节省。

MakeHub是一个通用API负载均衡器，根据实时性能指标智能地将您的请求路由到最快、最便宜的提供商，确保速度、可靠性和成本的最优化。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

开源监控工具，提升LLM应用性能。

Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。

智能AI令牌管理和优化

Tokenomy是一款高级AI令牌计算器和成本估算工具，可用于LLMs。通过Tokenomy的高级令牌管理工具，优化您的AI提示，分析令牌使用情况，并节省OpenAI、Anthropic等LLM API的成本。

基于AI+FinOps的云成本优化平台

Mof是一个基于AI和FinOps理论框架构建的云降本增效平台，旨在帮助企业监控和优化云成本，提升云计算的投资回报率(ROI)。通过集中化管理和数据分析，Mof能够提供成本监控、KPI制定、财务报表等多种功能，帮助企业在产品迭代速度和敏捷性之间做出最佳权衡，实现云资源的高效利用和成本控制。

优化LLM应用的提示设计、测试和优化工具

Query Vary提供开发人员设计、测试和优化提示的工具，确保可靠性、降低延迟并优化成本。它具有强大的功能，包括比较不同的LLM模型、跟踪成本、延迟和质量、版本控制提示、将调优的LLM直接嵌入JavaScript等。Query Vary适用于个人开发者、初创公司和大型企业，提供灵活的定价计划。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

提升机器翻译性能的对比偏好优化

Contrastive Preference Optimization是一种用于机器翻译的创新方法，通过训练模型避免生成仅仅足够而不完美的翻译，从而显著提高了ALMA模型的性能。该方法在WMT'21、WMT'22和WMT'23测试数据集上可以达到或超过WMT竞赛获胜者和GPT-4的性能。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

优化AI性能的无代码Fine-Tuning

Fine-Tuner是一款优化AI性能的无代码Fine-Tuning工具。通过使用先进的Fine-Tuning技术，您可以在更少的数据和时间内获得更好的结果。Fine-Tuner可以帮助您提升NLP模型的性能，无需编写任何代码。您可以使用Fine-Tuner对现有的模型进行改进，优化其性能，从而节省时间和资源。Fine-Tuner还提供了丰富的功能列表，适用于各种场景。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

AI成本管理和资源优化的一站式平台，帮助用户跟踪和优化AI服务的支出。

AICosts.ai是一款完整的AI成本管理和资源优化工具，帮助用户跟踪和优化整个AI堆栈中的支出，包括LLMs、工作流工具和专业服务。通过预测资源需求、自动化提醒和优化建议，用户可以有效管理AI支出。

高性能、低成本的端到端chat-ruanyifeng向量搜索服务

Aha Vector Search是一个高性能、低成本的端到端向量搜索服务。它提供了一种快速构建端到端向量搜索的方法，帮助用户以更低的成本实现高效的搜索体验。

先进的编译器优化大型语言模型

Meta Large Language Model Compiler (LLM Compiler-13b) 是基于Code Llama构建的，专注于代码优化和编译器推理的先进大型语言模型。它在编译器优化任务上展现出比现有公开可用的大型语言模型更强的理解能力，能够完美模拟编译器输出20%的时间。LLM Compiler提供了两种模型尺寸：7B和13B参数，针对不同的服务和延迟需求进行了训练。该模型是免费的，适用于研究和商业用途，旨在支持编译器研究人员和工程师，并激发创新工具的开发。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

声音AI分析工具，优化语音助手性能

Canonical AI提供的声音AI分析工具，专注于分析和优化语音助手的通话性能。该工具通过可视化通话流程、识别关键性能指标（KPIs）和自定义度量标准，帮助企业理解语音AI通话的失败原因，并提供实时监控和深度分析功能。产品背景信息显示，它适用于需要提升语音AI服务质量的企业和团队，价格方面提供免费试用和不同规模的专业及企业方案。

AI项目成本计算器，比较不同AI模型的成本。

OpenAI和其他大型语言模型(LLM)API的成本计算器，帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

AI 驱动的 CUDA 代码优化平台，快速提升 GPU 性能，无需手动优化复杂代码。

RightNow AI 是一个创新的 AI 驱动的 CUDA 代码优化平台，旨在帮助开发者快速提升 GPU 性能。它通过强大的 AI 技术，自动分析 CUDA 内核，识别性能瓶颈，并生成优化后的代码，相比手动优化，大大节省了时间和精力。该平台支持多种优化策略，如共享内存利用、线程协作、循环展开等，可实现高达 4 倍的性能提升。其主要面向需要高性能 GPU 计算的开发者和企业，尤其是那些缺乏专业 GPU 优化知识的团队。RightNow AI 提供多种付费计划，包括按需付费、开发者、专业和企业套餐，满足不同规模用户的需求。

多云成本管理

CloudVerse.AI是一款多云成本管理工具，帮助用户跟踪、预测和管理云端开销，提供多个云服务的费用报告，让云端成本管理变得简单高效。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

先进的编译器优化大型语言模型

Meta Large Language Model Compiler (LLM Compiler-13b-ftd) 是一个基于Code Llama构建的先进大型语言模型，专注于编译器优化和代码推理。它在预测LLVM优化效果和汇编代码反编译方面展现出了卓越的性能，能够显著提高代码效率和减小代码体积。

先进的编译器优化大型语言模型

LLM Compiler-7b-ftd是由Meta开发的大型语言模型，它基于Code Llama，针对代码优化和编译器推理进行了改进。它在预测LLVM优化效果方面表现卓越，能够完美模拟编译器输出，是编译器优化任务的理想工具。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。