产品库

开源LLM路由器，路由请求到最具成本效益模型，节省70% AI令牌成本。

Manifest是一款开源的LLM路由器，主要用于OpenClaw。它的重要性在于可以优化AI使用成本，让用户以更低的花费获得更好的效果。主要优点包括：能将请求路由到最具成本效益的模型，节省高达70%的AI令牌成本；可以在本地快速分析查询并选择合适的模型；保护用户数据隐私，只收集遥测元数据；使用OpenTelemetry标准收集和导出遥测数据；是完全开源的，可检查、扩展或自行托管。产品定位是帮助用户降低OpenClaw的使用成本，提高效率。页面未提及价格相关信息。

开源路由器,连接各种AI模型

OpenRouter是一个开源的路由器,可以将请求路由到不同的AI模型,实现一个统一的界面访问各种AI服务。它支持连接多种知名AI模型,用户可以比较不同模型的价格和质量,选择最适合自己需求的模型,实现高效的人机交互。

用于AI代理的LLM路由器，支持USDC支付，有折扣和多模型选择

LLM Router for Agent - Agihalo是一款面向AI代理和AI SaaS创建的产品。它提供了LLM路由功能，结合了Gemini模型，利用X402支付协议实现去中心化代理和自主支付。产品的主要优点包括易于迁移，只需更改基础URL；拥有统一的SDK，整合了支付逻辑和代理功能；能够进行实时使用跟踪和成本监控；支持自主API管理，可精确控制每个代理的成本；让AI代理能够自动管理和补充LLM信用，实现24/7不间断运行。目前，产品针对所有Gemini模型提供20%的折扣，用户可以使用USDC进行支付。产品定位为帮助企业和开发者更高效地管理AI代理和控制成本，提升AI应用的自主性和经济性。

节省LLM成本，不牺牲质量的框架

RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。

实时动态路由AI模型到最佳提供商，以实现最佳性能和成本节省。

MakeHub是一个通用API负载均衡器，根据实时性能指标智能地将您的请求路由到最快、最便宜的提供商，确保速度、可靠性和成本的最优化。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

AI 驱动的多云成本优化平台

AI 驱动的云成本管理优化平台，适用于多云环境，支持主流云服务提供商，帮助企业控制成本、提高财务可见性、简化操作。价格为免费试用，目标受众是希望控制云成本的组织。

AI模型路由器，智能选择最佳模型。

Not Diamond 是一款强大的AI模型路由器，专为开发者设计，能够根据任务需求智能选择最合适的AI模型，以实现成本和延迟的显著降低。它支持开箱即用，也可以通过训练自定义路由器来优化模型路由，以适应特定用例。产品具备快速选择模型的能力，支持联合提示优化，无需手动调整和实验即可为每个大型语言模型(LM)编程最佳提示。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

构建零成本的设备端AI。

ZETIC.ai提供了一种革命性的设备端AI解决方案，使用NPU技术帮助企业减少对GPU服务器和AI云服务的依赖，从而显著降低成本。它支持任何操作系统、任何处理器和任何目标设备，确保AI模型在转换过程中不损失任何核心功能，同时实现最优性能和最大能效。此外，它还增强了数据安全性，因为数据在设备内部处理，避免了外部泄露的风险。

AI驱动的在线客服系统，提升销售并降低成本。

AI Desk 是一款AI驱动的在线客服系统，旨在为网站提供24/7的自动化客户支持。通过训练AI模型使用您的业务数据，AI Desk能够响应客户咨询，减少支持成本，并促进销售。产品背景信息显示，AI Desk能够显著降低传统客服管理的成本，同时通过AI技术提高客户满意度和销售转化率。AI Desk提供基础的免费聊天插件，并有多种付费升级选项，以满足不同规模企业的需求。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

AI 助力观测

Observo.ai 是一款 AI 助力的观测工具，可以帮助用户降低观测成本 50% 以上，同时将故障解决速度提升 40%。它通过人工智能自动化观测流程，实现更智能、更深入的数据优化，更快速的部署，并实现更大的成本节约。用户可以通过它来优化和减少数据、智能路由数据、检测异常、建立可搜索的低成本数据湖、数据丰富化、敏感数据发现等。Observo.ai 还集成了 40 多个数据源和目的地，为用户提供对观测数据的控制和灵活性。

AI项目成本计算器，比较不同AI模型的成本。

OpenAI和其他大型语言模型(LLM)API的成本计算器，帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

AI时尚模特生成器，高效节省成本

VModel是一款AI时尚模特生成器，可以高效且节省成本地生成时尚模特照片，提供高质量的图片以促进销售。它可将产品照片自动转换为专业的AI模特照片，无需昂贵的拍摄，可减少90%的模特摄影成本。同时，它还可以根据不同的受众群体自定义AI时尚模特，提高转化率并与竞争对手区别开来。使用VModel，您可以轻松上传产品照片，选择喜欢的模特类型和风格，然后在几分钟内获得精美逼真的AI生成图像。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

开源评估基础设施，为 LLM 提供信心

Confident AI 是一个开源的评估基础设施，为 LLM（Language Model）提供信心。用户可以通过编写和执行测试用例来评估自己的 LLM 应用，并使用丰富的开源指标来衡量其性能。通过定义预期输出并与实际输出进行比较，用户可以确定 LLM 的表现是否符合预期，并找出改进的方向。Confident AI 还提供了高级的差异跟踪功能，帮助用户优化 LLM 配置。此外，用户还可以利用全面的分析功能，识别重点关注的用例，实现 LLM 的有信心地投产。Confident AI 还提供了强大的功能，帮助用户自信地将 LLM 投入生产，包括 A/B 测试、评估、输出分类、报告仪表盘、数据集生成和详细监控。

由ChatGPT驱动的智能客服系统。

Circled是一个基于ChatGPT的智能客服平台，旨在通过自动化的聊天机器人提供快速、便捷的客户支持服务，减少企业在客户服务方面的人力成本，同时提高客户满意度。

开源UI可视化工具，轻松构建定制化的LLM流程

Flowise是一个开源的UI可视化工具，使用LangchainJS编写，用于构建定制化的LLM流程。它支持快速构建LLM应用程序，并提供可扩展的组件集成。Flowise可以用于构建LLM链、问答检索链、语言翻译链等多种应用场景。它是一个免费的开源项目，适用于商业和个人使用。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

开源知识图谱构建模型，成本低廉

Triplex是一个创新的开源模型，能够将大量非结构化数据转换为结构化数据，其在知识图谱构建方面的表现超越了gpt-4o，且成本仅为其十分之一。它通过高效的将非结构化文本转换为知识图谱的构建基础——语义三元组，大幅降低了知识图谱的生成成本。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

我们的人工智能平台提供虚拟远程安防监控，减少破坏、盗窃和未经授权访问。

Hakimo 是一款革命性的人工智能安全监控平台，旨在通过无缝集成现有安全系统，降低企业的安全成本和风险。通过实时监控和智能分析，Hakimo 提供高效的安全解决方案，显著减少破坏和盗窃事件。该平台的主要优点在于其无需昂贵的硬件升级，快速部署，且可与多个安全设备兼容，适合各类企业的安全需求。价格方面，Hakimo 帮助客户每年节省高达 125,000 美元，相比于传统安保方式，更具成本效益。

高效的发票自动化软件

MyiQ.Ai是一款发票自动化软件，通过精确读取和捕捉文档内容，提供高度准确的结果。它提供无缝和免费的使用体验，帮助您即刻优化工作流程。

全自动数据仓库和分析优化

Keebo是一个全自动数据仓库和分析优化平台，能够帮助数据团队节省时间、提升性能并节省成本。它学习和实时适应工作负载变化，优化云数据仓库和查询，无需团队任何努力。Keebo可以在几分钟内设置并在48小时内见效，无需更改仓库或应用程序。用户可以根据自己的需求进行配置，数据安全存储在仓库中，所有结果都可以在KPI仪表板中跟踪。通过全自动数据仓库优化，我们的客户在仓库许可成本上节省了高达70％。Keebo的算法基于顶尖大学多年的前沿研究，能够立即为您的数据团队带来许多好处。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

企业级 LLM 平台，提供统一 API 和智能路由。

ZenMux 是一个企业级大语言模型（LLM）平台，旨在通过提供统一的 API 和智能路由来消除幻觉风险。该平台的主要优点包括低延迟、高稳定性和全面的 LLM 保险机制。通过 ZenMux，用户能够快速接入全球顶尖的 LLM，并仅为有效结果付费。其定价策略较竞争对手更加灵活，提供高达 20% 的额外积分，确保用户在使用过程中享受更高的性价比。

开源全栈平台，为打造顶级LLM产品提供支持

Laminar是一个开源的全栈平台，专注于从第一性原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高大型语言模型（LLM）应用的质量。Laminar支持对文本和图像模型的追踪，并且即将支持音频模型。产品的主要优点包括零开销的可观测性、在线评估、数据集构建和LLM链管理。Laminar完全开源，易于自托管，适合需要构建和管理LLM产品的开发者和团队。

高效能混合专家语言模型

Yuan2.0-M32-hf-int8是一个具有32个专家的混合专家(MoE)语言模型，其中2个是活跃的。该模型通过采用新的路由网络——注意力路由器，提高了专家选择的效率，使得准确率比使用传统路由网络的模型提高了3.8%。Yuan2.0-M32从头开始训练，使用了2000亿个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。该模型在编程、数学和各种专业领域展现出竞争力，并且只使用37亿个活跃参数，占总参数40亿的一小部分，每个token的前向计算仅为7.4 GFLOPS，仅为Llama3-70B需求的1/19。Yuan2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B，分别达到了55.9%和95.8%的准确率。