产品库

AI观测和模型监控平台

Censius是一个AI观测和模型监控平台，帮助团队了解、分析和改善AI模型在实际应用中的性能。它提供实时监控、报警通知、数据可视化和性能分析等功能。Censius帮助用户追踪模型的准确性、稳定性和效果，提高模型的可靠性和可解释性。Censius的定价根据使用量和功能套餐进行计费，提供灵活的选择。Censius适用于各种AI应用场景，包括图像识别、自然语言处理、预测分析等。

Opik是端到端AI可观测性平台，可测试、优化和监控AI代码。

Opik是Comet创建的端到端AI可观测性平台，为开发者提供最佳的代理测试、优化和监控功能。其重要性在于帮助开发者解决LLM模型黑盒问题，能清晰了解模型行为，快速调试和迭代。主要优点包括真正开源、企业级可靠性和安全性、灵活的托管和部署选项以及易于集成。产品背景是Comet针对AI开发者在模型评估和优化方面的需求而开发。价格方面提供免费试用。定位是面向AI开发者和团队，助力他们高效开发和管理AI项目。

中间件观测平台|云原生监控

Middleware是一个云原生监控平台，提供完整的应用和基础设施可观测性，以便您能够大规模监控和诊断问题。它包括基础设施监控、日志监控、应用性能监控、数据库监控、合成监控、无服务器监控、容器监控和实时用户监控等功能。通过使用Middleware，您可以轻松识别、理解和解决云基础架构中的问题。

AI可观测性和机器学习监控平台

Evidently AI是一个开源的Python库，用于监控机器学习模型，支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控，拥有超过2000万的下载量和5000+的GitHub星标，是机器学习领域中一个值得信赖的监控工具。

自动化监控平台，简化故障排查。

Edge Delta 是一个自动化的监控平台，它使用 AI/ML 技术自动检测异常并发出警报，无需手动设置警报阈值或预测监控条件。该平台提供辅助故障排查功能，通过汇总日志数据，帮助用户快速定位问题和受影响的资源。Edge Delta 还支持 PB 级日志搜索，允许用户存储和搜索所有数据，无需采样或过滤事件以控制成本。此外，Edge Delta 被 Gartner 评为 2023 年监控和可观测性的 Cool Vendor，并且是 SOC 2 Type 2 认证的，可以支持敏感的、关键的任务信息。

AI 助力观测

Observo.ai 是一款 AI 助力的观测工具，可以帮助用户降低观测成本 50% 以上，同时将故障解决速度提升 40%。它通过人工智能自动化观测流程，实现更智能、更深入的数据优化，更快速的部署，并实现更大的成本节约。用户可以通过它来优化和减少数据、智能路由数据、检测异常、建立可搜索的低成本数据湖、数据丰富化、敏感数据发现等。Observo.ai 还集成了 40 多个数据源和目的地，为用户提供对观测数据的控制和灵活性。

实时监控和管理AI模型与数据

WhyLabs AI Observability Platform是一个实时监控和管理AI模型与数据的平台。它可以帮助用户发现数据和机器学习问题，实现持续改进，避免昂贵的故障。该平台支持监控结构化和非结构化数据，以及所有类型的机器学习模型，包括LLMs。用户可以对数据进行全面的分析，检测数据漂移和数据质量问题，并获得有关训练和部署之间的差异的警报。WhyLabs AI Observability Platform可以快速集成到现有的数据管道和多云架构中，支持从海量数据到实时可行动洞察的转变。定价信息请参考官方网站。

Superlog提供全量可观测性，零麻烦，自动添加日志、追踪和指标。

Superlog是一款专注于代码可观测性的工具，它利用OpenTelemetry技术，为开发者提供全面的日志、追踪和指标管理。其重要性在于帮助开发者快速定位和解决代码中的问题，提高开发效率。产品的主要优点包括全量可观测性、自动添加日志和指标、避免观测性衰减、合并相似错误、提供严重程度和影响评估、准备解决方案PR等。产品背景信息暂未提及，价格信息也未在文档中明确体现，产品定位为帮助开发者更高效地进行代码调试和问题解决。

观测、分析和评估AI代理的可观测性和日志平台

LLMonitor是一个为LLM（语言模型）应用提供观测性、分析和测试的平台。它可以记录LLM的调用日志、指标和追踪，支持对话评估和聊天记录回放，帮助优化AI应用的性能和成本控制。LLMonitor提供了日志监控、性能分析、错误追踪、用户对话记录、用户反馈收集等功能。它适用于各种AI开发场景，包括代理人、聊天机器人等。

Respan是统一可观测性、评估、提示优化和LLM网关的工程平台。

Respan是一个LLM工程平台，它将可观测性、评估、提示优化和统一的LLM网关集成于一体。其重要性在于帮助团队可靠地部署AI应用，确保AI系统按预期运行。主要优点包括提供端到端的执行路径追踪、灵活的评估工作流、有效的优化机制、便捷的部署方式以及实时监控功能。产品背景信息暂不明确，价格方面提供免费试用。其定位是为处理大量API调用、需要确保AI系统可靠性和高效性的团队提供支持。

持续改进AI智能体，具备可观测性、评估、追踪和实验功能

Arize AI是一个专注于AI智能体可观测性、评估与改进的平台。其重要性在于帮助AI工程师更好地管理和优化AI智能体，提升性能和可靠性。主要优点包括提供全面的评估框架、支持大规模的追踪和评估、能快速测试提示和工具等。该平台基于开源和开放标准构建，具有高度的可控性和透明度。产品定位为服务全球领先的AI团队，助力他们实现AI智能体的持续学习和自我提升。关于价格，文档中未明确提及，可能提供免费试用或付费服务。

您的完整MLOps、监控和AI质量与治理解决方案。

数据科学家助手是您的完整MLOps、监控和AI质量与治理解决方案。它自动检测准确性、数据大小、模型漂移、运行时间、调度等的变化和趋势。通过提供统一的视图和关键指标，您可以全面了解您的机器学习环境。它还可以跟踪监控模型性能和数据漂移，以便快速识别准确性下降和数据质量变化。无需设置或等待基础架构配置，通过简单的代码集成，您就可以完全控制您发送的内容。您可以配置自定义警报和通知，以及可视化项目间的趋势和相关性。成为α用户即可获得免费访问。

在线考试监控系统

AI-Proctor是一款在线考试监控系统，通过插件与桌面应用程序的配合，实现考生浏览器与监考教师的通信和全屏模式切换功能。该系统具备智能监控、全面功能点列表、多种使用场景等特点。

Currai提供LLM可观测性、追踪、评估和提示A/B测试等功能。

Currai是一款针对LLM应用的可观测性平台。其重要性在于帮助团队更好地管理和优化LLM应用。主要优点包括能够追踪每个提示、令牌和工具调用，在生产环境中运行评估和提示A/B测试，让团队有信心发布产品。产品背景是为了解决LLM应用在开发和部署过程中的可观测性难题。它提供7天免费试用，定位是为开发和管理LLM应用的团队提供全面的可观测性解决方案。

高效监控和事故管理

Spectate是一个简单但功能强大的监控和事故管理平台，具备AI驱动的状态更新和事故解决方案。快速设置，帮助您轻松高效地进行云监控和事故管理。提供30秒检测，通知速度是传统监控的两倍；支持多种集成，包括Slack、Pushover等；提供自定义状态页面，支持全球性能监控等功能。适用于各种大小的团队和企业。

开源全栈监控平台，提供会话重放、错误监控等功能

highlight.io是一个开源的全栈监控平台，它结合了会话重放、错误监控、日志记录、追踪等多种功能，为开发者提供了对整个应用程序栈的统一视图。该平台支持现代框架，可与多种工具集成，具备合规性和安全性。其优点在于能够帮助开发者快速发现和调试隐藏的错误，深入了解用户行为，提升应用性能。产品定位是为现代开发者提供全面的应用监控解决方案。关于价格，文档中未明确提及，但有免费试用的提示，推测可能有免费和付费的不同套餐。

协作监控LLM

Llog是一个协作监控LLM应用程序的终端到终端平台，为团队提供洞察力，了解他们的LLM应用程序在生产后的情况。团队成员可以在一个协作空间中审查日志、标记重要事项并分配任务。无论团队规模多大，都可以在任何价格层级下享受无限的席位支持。通过直接观察用户交互，全面了解终端用户的行为，并永远不再担心LLM实际上在说什么。使用我们简单的格式，进行几个API请求，即可立即在我们的平台上查看结果。

AI搜索监控平台，提升品牌在AI搜索中的可见度。

Otterly.AI是一个创新的AI搜索监控平台，专注于新AI搜索平台上的内容和品牌监控。它可以帮助用户了解品牌在Google AI Overviews、ChatGPT和Perplexity.AI等AI搜索平台上的存在情况，监控链接和内容的变化，从而做出有关内容、营销和SEO策略的明智决策。该平台使用户能够及时获得品牌可见性、SEO和内容性能的洞察，节省时间并提高在AI驱动的搜索体验中的可见度。

AI-chatbot监控和追踪工具

Track AI Answers是一款AI-chatbot监控和追踪工具，用于追踪AI-chatbot在回答有关个人或品牌的问题时所知道的内容。用户可以搜索和追踪特定人物、品牌或产品的相关信息，以了解AI模型的回答是否发生变化。该产品提供邮件通知功能，当AI回答发生变化时，用户会收到自动通知邮件。用户还可以学习修复AI回答的技巧和工具，以保持在新型搜索引擎上的良好表现。

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

Chainlit助力构建可靠对话式AI，提供LLM应用可观测性与分析平台

Chainlit是一款为开发者和企业打造的AI开发工具，旨在构建、改进和扩展AI应用程序。其重要性在于提供了一套完整的解决方案，从构建对话式AI应用到评估AI系统，再到提供可观测性和分析平台，帮助用户更高效地开发和管理AI应用。主要优点包括支持多种认证方式、可定制前端和聊天组件、提供与流行框架和LLM提供商的集成等。产品背景信息显示，每月有50k开发者使用，拥有9K Github Stars和4.5K Discord成员。目前未提及价格信息。产品定位为帮助开发者和企业快速、可靠地开发和部署AI应用。

AI语音代理测试与可观测性平台

fixa是一个专注于AI语音代理测试与可观测性的平台，旨在帮助开发者和企业快速发现并修复语音代理中的问题。通过自动化测试、生产监控和错误检测等功能，确保语音代理的稳定性和可靠性。该平台由Y Combinator资助，提供简单透明的定价策略，适合不同规模的企业使用。

AI驱动的公司监控服务

RivalSense是一个利用人工智能技术连接80多个数据源，为用户提供深度公司洞察的监控服务。它能够帮助用户关注竞争对手、客户、目标账户、供应商、合作伙伴、投资者以及自己的公司，通过每周的精选更新，帮助用户在商业和职业发展上保持领先。

全栈监控、调试和测试

Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。

AI驱动的网站监控与竞争对手分析工具。

Let Me Know When 是一个AI驱动的网站监控平台，能够自动跟踪网站变化、价格变动、竞争对手更新等信息，为个人和企业提供实时的在线监控服务。它通过AI技术提供智能化的洞察，帮助用户及时把握市场动态和竞争对手的行动。

Safe Kids AI监控电子邮件中的有害语言

Safe Kids AI for Email是一款保护Gmail账户免受仇恨、欺凌和负面语言的插件。我们使用机器学习来标记可能有害的邮件。此外，当孩子们写不友善的邮件时，我们会暂停并让他们反思自己的选择，以便他们做出更好的决定。此插件在浏览器上本地运行，不会影响隐私。

AI Spend - 监控您的AI成本，避免意外费用

AI Spend是一个帮助您监控OpenAI API使用和成本的工具。它提供快速洞察、美观的仪表板、成本洞察、通知、使用分析、模型和令牌信息等功能。通过AI Spend，您可以轻松了解OpenAI的使用情况和成本，避免不必要的费用。定价简单透明。注册账户、添加API密钥，1分钟内即可获得洞察。

开发者日志监控与调试的开源平台

Helicone AI是一个为开发者设计的开源平台，专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间，是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性，并支持风险无忧的实验，无需安装SDK，仅需添加头部信息即可访问所有功能。

AI驱动的网站监控工具，通过模拟真实用户行为检测网站问题。

Flowtest.ai 是一款基于人工智能的网站监控工具，通过模拟真实用户行为来检测网站的可用性和性能问题。它利用先进的AI技术，能够像真实用户一样浏览网站、执行操作，并实时监控网站的运行状态。与传统监控工具相比，Flowtest.ai 的AI代理能够适应网站变化，无需频繁维护脚本，同时提供即时警报和详细的故障报告，帮助用户快速定位和解决问题。该产品主要面向电商企业、SaaS产品提供商和数字营销机构，旨在帮助企业减少因网站故障导致的销售损失，提升用户体验，并优化网站性能。其定价模式灵活，提供免费试用选项，适合不同规模的企业使用。

从任何网站提取和监控数据，无需编码

Browse AI是一款无需编码即可提取和监控任何网站数据的产品。它可以将特定数据从网站提取为自动填充的电子表格，并在数据发生变化时发送通知。它还提供了预构建的机器人，可以快速解决一些常见的数据提取和监控需求。Browse AI还可以将任何网站转化为API，方便用户进行数据集成和自定义工作流。它的灵活定价和易用性使其受到了101,000多个个人和团队的信赖。