产品库

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

全栈监控、调试和测试

Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。

开发者日志监控与调试的开源平台

Helicone AI是一个为开发者设计的开源平台，专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间，是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性，并支持风险无忧的实验，无需安装SDK，仅需添加头部信息即可访问所有功能。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

协作监控LLM

Llog是一个协作监控LLM应用程序的终端到终端平台，为团队提供洞察力，了解他们的LLM应用程序在生产后的情况。团队成员可以在一个协作空间中审查日志、标记重要事项并分配任务。无论团队规模多大，都可以在任何价格层级下享受无限的席位支持。通过直接观察用户交互，全面了解终端用户的行为，并永远不再担心LLM实际上在说什么。使用我们简单的格式，进行几个API请求，即可立即在我们的平台上查看结果。

Meta内部AI调试工具

HawkEye是Meta内部用于监控、可观测性和机器学习工作流调试的强大工具包。它支持为许多Meta产品提供推荐和排名模型。在过去的两年中,它实现了调试生产问题时间量级的改进。HawkEye包括用于持续收集服务和训练模型、数据生成相关数据的基础设施,以及用于挖掘根本原因的数据生成和分析组件。它支持UX工作流进行引导式的探索、调查和启动缓解措施。HawkEye通过提供基于必要组件的引导式探索界面,允许用户有效地调查并解决问题。

AI驱动的移动应用调试工具

Zipy for Mobile是一款AI驱动的移动应用调试工具，专为Flutter和React Native开发者设计，帮助他们通过会话回放、错误监控和用户行为分析等功能，快速定位并解决应用中的问题。产品背景信息显示，Zipy通过集成Firebase等平台，为开发者提供了一个统一的用户体验平台，以提高移动应用的质量和用户体验。Zipy的价格定位为免费试用，适合需要提升移动应用性能和用户体验的开发者和团队。

监控OpenAI API使用情况的工具

LLM Report是一个可以监控OpenAI API使用情况的工具。用户只需输入OpenAI API密钥，工具会直接从OpenAI API中获取数据并创建仪表板，无需安装任何软件。用户可以清楚地了解每个模型、API密钥和用户的费用情况，避免盲目消耗资源。LLM Report得到了全球2500多个用户和公司的认可。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

开源监控工具，提升LLM应用性能。

Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

调试更快，文档更快

Pagerly AI是一款用于快速调试和文档编写的工具。它能够帮助您更快速地解决问题，并提供自动化的文档生成功能。Pagerly AI还能与各种服务集成，如PagerDuty、Jira和OpsGenie，以获取相关的事故和工单信息。它还可以自动生成利益相关者的消息和根本原因分析（RCA）报告。使用Pagerly AI，您可以更轻松地协作和沟通，将更多的时间专注于处理事故。

AI驱动的API文档、调试和测试平台

ReAPI是一站式AI驱动的API文档、调试和测试平台。其直观的可视化编辑器让您轻松地创建详细的API文档，同时与ChatGPT集成，自动生成模式、示例、描述等，提高文档的准确性和效率。ReAPI还拥有精美的调试器，提供强大的故障排除工具，并支持OpenAPI组件的高效重用。此外，ReAPI还通过ChatGPT提供智能设计、文档增强、调试器辅助和自动生成测试用例等功能，以及内外部共享、成员邀请、权限管理和版本控制等功能。

高效监控和事故管理

Spectate是一个简单但功能强大的监控和事故管理平台，具备AI驱动的状态更新和事故解决方案。快速设置，帮助您轻松高效地进行云监控和事故管理。提供30秒检测，通知速度是传统监控的两倍；支持多种集成，包括Slack、Pushover等；提供自定义状态页面，支持全球性能监控等功能。适用于各种大小的团队和企业。

你的AI辅助调试助手

Debug-GPT是你不可或缺的调试伴侣，通过Chrome DevTools提供先进的人工智能技术，读取和解析复杂的错误日志，以用户友好的方式理解根本原因，并提供可操作的步骤来快速解决问题。

在线考试监控系统

AI-Proctor是一款在线考试监控系统，通过插件与桌面应用程序的配合，实现考生浏览器与监考教师的通信和全屏模式切换功能。该系统具备智能监控、全面功能点列表、多种使用场景等特点。

实时监控和管理AI模型与数据

WhyLabs AI Observability Platform是一个实时监控和管理AI模型与数据的平台。它可以帮助用户发现数据和机器学习问题，实现持续改进，避免昂贵的故障。该平台支持监控结构化和非结构化数据，以及所有类型的机器学习模型，包括LLMs。用户可以对数据进行全面的分析，检测数据漂移和数据质量问题，并获得有关训练和部署之间的差异的警报。WhyLabs AI Observability Platform可以快速集成到现有的数据管道和多云架构中，支持从海量数据到实时可行动洞察的转变。定价信息请参考官方网站。

灵活、可扩展、易于使用的云视频监控系统

Eagle Eye Cloud Video Management System (VMS)是一款灵活、可扩展、易于使用的云视频监控系统，适用于各种规模的企业。它提供了全方位的功能和优势，包括实时监控、录像回放、智能分析、远程访问等。该系统的定价和定位根据客户需求而定，更多信息请访问官方网站。

GPT安全认证与监控解决方案

GPT Auth是一个安全的GPT认证和监控平台。它可以让GPT开发者简单快速地为自己的GPT模型添加用户认证系统,实时监控用户查询,从而保护GPT不被非法访问。该平台提供简单易用的无代码解决方案,使所有层次的开发者都能轻松设置强大的安全认证。

使用AI解释和调试照片中的代码

Photocode是一个强大的工具，利用人工智能帮助用户理解源代码。使用Photocode，您只需拍照或从图库中选择代码，AI将分析并解释代码给您。甚至可以识别纸上手写的代码。Photocode还可以帮助您调试代码和提出优化建议。它支持十多种流行的编程语言，并可以提供超过二十种人类语言的解释。您可以轻松将代码解释及其照片与同事或朋友分享在各个平台上。此外，Photocode还提供内置的文本到语音功能，可以向您朗读解释。该应用会自动将您的代码分析保存到历史记录中，方便您随时查看。书签和智能筛选功能使您可以轻松浏览之前的条目。Photocode是希望学习和理解编程概念的人们的宝贵工具。它适用于各种用户，包括学生、教授、软件开发人员、项目经理等。应用具有现代而流畅的设计，可自定义主题选项，确保愉快的用户体验。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。