产品库

全栈监控、调试和测试

Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。

开发者日志监控与调试的开源平台

Helicone AI是一个为开发者设计的开源平台，专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间，是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性，并支持风险无忧的实验，无需安装SDK，仅需添加头部信息即可访问所有功能。

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

一个用于强化学习人类反馈训练过程可视化的工具，帮助深度理解与调试。

RLLoggingBoard 是一个专注于强化学习人类反馈（RLHF）训练过程可视化的工具。它通过细粒度的指标监控，帮助研究人员和开发者直观理解训练过程，快速定位问题，并优化训练效果。该工具支持多种可视化模块，包括奖励曲线、响应排序和 token 级别指标等，旨在辅助现有的训练框架，提升训练效率和效果。它适用于任何支持保存所需指标的训练框架，具有高度的灵活性和可扩展性。

AI语音代理测试与可观测性平台

fixa是一个专注于AI语音代理测试与可观测性的平台，旨在帮助开发者和企业快速发现并修复语音代理中的问题。通过自动化测试、生产监控和错误检测等功能，确保语音代理的稳定性和可靠性。该平台由Y Combinator资助，提供简单透明的定价策略，适合不同规模的企业使用。

为代码库定制的AI代理，帮助开发者进行调试、测试和系统设计等任务。

Potpie是一个面向开发者的技术平台，通过构建基于代码库的AI代理来帮助开发者进行调试、测试、系统设计、代码审查和文档生成等任务。该产品利用强大的知识图谱技术，使AI代理能够深入理解代码库的上下文，从而提供高精度的工程任务执行能力。Potpie的主要优点在于其高度定制化和易于集成的特点，能够显著提高开发效率和代码质量。产品提供免费试用，并且有开源版本可供选择。

开源的RAG应用日志工具

RAG-logger是一个为检索增强生成(Retrieval-Augmented Generation, RAG)应用设计的开源日志工具。它是一个轻量级的、针对RAG特定日志需求的开源替代方案，专注于为RAG应用提供全面的日志记录功能，包括查询跟踪、检索结果记录、LLM交互记录以及逐步性能监控。它采用基于JSON的日志格式，支持每日日志组织、自动文件管理和元数据丰富化。RAG-logger以其开源、轻量级和专注于RAG应用的特性，为开发者提供了一个有效的工具来监控和分析RAG应用的性能。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

AI驱动的移动应用调试工具

Zipy for Mobile是一款AI驱动的移动应用调试工具，专为Flutter和React Native开发者设计，帮助他们通过会话回放、错误监控和用户行为分析等功能，快速定位并解决应用中的问题。产品背景信息显示，Zipy通过集成Firebase等平台，为开发者提供了一个统一的用户体验平台，以提高移动应用的质量和用户体验。Zipy的价格定位为免费试用，适合需要提升移动应用性能和用户体验的开发者和团队。

开源的GenAI应用网关，快速构建个性化的AI应用

Arch是一个开源的网关，专为处理提示（prompts）而设计，它利用快速的大型语言模型（LLMs）来处理提示，并与后端系统无缝集成。Arch基于Envoy构建，支持任何应用程序语言，并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能，帮助开发者构建快速、健壮和个性化的GenAI应用。

AI语音代理测试与监控平台

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。

监控和管理您的Cursor编辑器使用情况

Editor Usage 是一款为macOS设计的菜单栏应用程序，旨在帮助用户监控和管理他们的Cursor编辑器使用情况。该应用程序能够追踪高级、普通和特殊请求的使用情况，并在接近使用限制时提供警告。它允许用户从菜单栏快速查看剩余的请求次数，从而确保用户始终了解他们的使用情况，并避免因超出限制而受到影响。这款应用的主要优点包括详细的使用监控、可定制的警告设置以及快速便捷的访问方式。它适合需要管理多个项目或希望实时监控请求使用情况的用户。

一站式SRE平台，提升服务可靠性。

Temperstack是一个企业级的主动式SRE平台，旨在减少SRE的重复劳动，提高服务的可靠性。它通过自动化服务目录、警报审计和跨您的监控工具的SLI报告，为从CTO到SRE工程师的团队提供可见性、主动发现问题并促进协作。Temperstack集成了流行的监控工具，提供统一的命令界面，以实现全面的SRE可见性和行动。

掌握AI前沿资讯、AI行业趋势

AIbase基地是一个专注于提供人工智能资讯、产品体验、教程、作品应用落地、产品灵感和AI应用服务构建的综合性平台。它通过聚合每日AI新闻、行业趋势分析、产品库和交流群等形式，为用户提供全面而深入的AI行业洞察。AIbase基地不仅为AI爱好者和专业人士提供了一个学习和交流的场所，也为AI产品的开发者和企业提供了展示和推广的机会。

StatusSight 是一款全面的监控工具。

StatusSight 是一款用于实时监控系统状态的工具，能够帮助企业及时了解其服务的运行状态。它提供直观的仪表板，用户可以轻松跟踪各项指标，确保系统的高可用性与性能。适合各种规模的企业，支持定制化配置，以满足不同需求。此工具通常以订阅方式收费，具体定价根据所需功能而定。

AI可观测性和机器学习监控平台

Evidently AI是一个开源的Python库，用于监控机器学习模型，支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控，拥有超过2000万的下载量和5000+的GitHub星标，是机器学习领域中一个值得信赖的监控工具。

自动化AI语音代理测试平台

Hamming是一个端到端的AI语音代理测试平台，支持从开发到生产的全流程。它通过自动化语音角色创建成千上万的并发电话呼叫，以测试和发现语音代理中的bug，显著提高测试效率。此外，Hamming还提供提示管理、优化器和游乐场，帮助用户自动生成优化的提示，并在数据集上测试LLM输出。Hamming还具备主动监控功能，能够跟踪和评分AI应用在生产中的使用情况，并标记需要关注的案例。

开源监控工具，提升LLM应用性能。

Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。

用于提示工程的开源可视化编程环境

ChainForge是一款开源的可视化编程环境,专注于提示工程。它可以让你评估提示和文本生成模型的稳健性,超越了简单的案例证据。我们认为,提示多个大型语言模型、比较它们的响应并测试关于它们的假设,应该不仅容易,而且有趣。ChainForge提供了一套工具,以最小的努力评估和可视化提示(和模型)的质量。换句话说,它旨在让大型语言模型的评估变得简单。ChainForge开箱即用地支持测试提示注入攻击的稳健性、测试响应格式的一致性、发送大量参数化提示并导出到Excel文件、验证同一模型不同设置的响应质量、测量不同系统消息对ChatGPT输出的影响等。

全栈开发平台，快速构建应用

Swizzle是一个全栈开发平台，提供数据库、认证、前端和后端等功能，可快速构建应用。它支持JavaScript语言，提供REST端点、定时任务、Websockets等功能。前端使用React框架，与后端实时连接。数据库使用MongoDB，支持动态修改结构和使用英文构建复杂查询。Swizzle还提供AI自动修复、代码调试等工具。用户认证支持多种方式，无需任何设置即可集成。文件存储支持公共和用户保护级别，可在仪表板中预览和上传文件。一键部署到测试和生产环境。Swizzle是学生、承包商和初创公司的选择。

GPT安全认证与监控解决方案

GPT Auth是一个安全的GPT认证和监控平台。它可以让GPT开发者简单快速地为自己的GPT模型添加用户认证系统,实时监控用户查询,从而保护GPT不被非法访问。该平台提供简单易用的无代码解决方案,使所有层次的开发者都能轻松设置强大的安全认证。

AI驱动的API文档、调试和测试平台

ReAPI是一站式AI驱动的API文档、调试和测试平台。其直观的可视化编辑器让您轻松地创建详细的API文档，同时与ChatGPT集成，自动生成模式、示例、描述等，提高文档的准确性和效率。ReAPI还拥有精美的调试器，提供强大的故障排除工具，并支持OpenAPI组件的高效重用。此外，ReAPI还通过ChatGPT提供智能设计、文档增强、调试器辅助和自动生成测试用例等功能，以及内外部共享、成员邀请、权限管理和版本控制等功能。

内容分类工具

Ramen AI是一款现代化的工具集，用于构建、测试和部署基于LLM的内容分类应用。它提供完整的AI工具集，让您能够轻松构建、评估、部署和监控内容分类。Ramen AI支持灵活的分类管理，可即时进行测试，以获得快速准确的结果。它还提供多种分类方法，为您选择最佳的分类方式。您还可以使用Ramen AI的API，将分类应用集成到您的代码中，甚至可以在Google表格中使用Ramen AI的公式。Ramen AI还提供AI生成的测试数据集，节省手动生成验证数据集的时间。它还可以监控和报告分类应用的使用情况，帮助您了解变化趋势。Ramen AI适用于各种分类应用场景，包括医疗、金融、零售、法律、客服、教育和研究等。

出色的数据科学工具

MLJAR提供出色的数据科学工具和学习材料，帮助用户理解和利用他们的数据。产品功能包括自动化机器学习、将笔记本转换为交互式网络应用、使用LLMs生成Python图表、构建自己的SaaS以及服务器和网站监控。MLJAR的优势在于提供XAI能力、公平的机器学习、模型解释、公平度指标、以及快速检测异常并及时通知。定价方面，MLJAR提供了多种产品比较和决策树、随机森林、Xgboost、LightGBM、CatBoost等算法的比较。定位于数据科学工具领域。

协作监控LLM

Llog是一个协作监控LLM应用程序的终端到终端平台，为团队提供洞察力，了解他们的LLM应用程序在生产后的情况。团队成员可以在一个协作空间中审查日志、标记重要事项并分配任务。无论团队规模多大，都可以在任何价格层级下享受无限的席位支持。通过直接观察用户交互，全面了解终端用户的行为，并永远不再担心LLM实际上在说什么。使用我们简单的格式，进行几个API请求，即可立即在我们的平台上查看结果。

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

构建更好、更具差异化的AI产品

Autoblocks是一个协作的云工作空间，专为产品团队快速迭代GenAI产品而构建。它提供了从原型设计到生产环境的所有工具，包括Prompt管理、可观察性、持续评估和微调。Autoblocks可以帮助您快速测试应用程序管道的更改、跟踪用户交互、评估用户结果，并为您的数据提供可视化和深入的理解。Autoblocks支持所有技术栈，并且具有企业级的LLMOps功能，包括可扩展的数据摄取和搜索、强大的协作功能、AI专家的支持以及安全性和隐私保护。

提交AI产品的上线清单和目录列表

BoostAITraffic是一个实用的Notion表格，帮助您将AI产品提交到高流量的来源，并获得高质量的反向链接。它包括一个上线清单和80个目录，助您简化AI产品的上线和提交流程。

Senuto是一个SEO数据分析工具集,提供关键词和排名等SEO数据

Senuto是一个SEO数据分析工具集,提供给SEO从业者使用。它可以追踪关键词排名变化,进行竞争对手分析,发现长尾关键词机会,生成SEO报告等。该工具提供免费试用,定价合理,定位为SEO人员的必备工具。

调试更快，文档更快

Pagerly AI是一款用于快速调试和文档编写的工具。它能够帮助您更快速地解决问题，并提供自动化的文档生成功能。Pagerly AI还能与各种服务集成，如PagerDuty、Jira和OpsGenie，以获取相关的事故和工单信息。它还可以自动生成利益相关者的消息和根本原因分析（RCA）报告。使用Pagerly AI，您可以更轻松地协作和沟通，将更多的时间专注于处理事故。