产品库

Currai提供LLM可观测性、追踪、评估和提示A/B测试等功能。

Currai是一款针对LLM应用的可观测性平台。其重要性在于帮助团队更好地管理和优化LLM应用。主要优点包括能够追踪每个提示、令牌和工具调用，在生产环境中运行评估和提示A/B测试，让团队有信心发布产品。产品背景是为了解决LLM应用在开发和部署过程中的可观测性难题。它提供7天免费试用，定位是为开发和管理LLM应用的团队提供全面的可观测性解决方案。

Opik是端到端AI可观测性平台，可测试、优化和监控AI代码。

Opik是Comet创建的端到端AI可观测性平台，为开发者提供最佳的代理测试、优化和监控功能。其重要性在于帮助开发者解决LLM模型黑盒问题，能清晰了解模型行为，快速调试和迭代。主要优点包括真正开源、企业级可靠性和安全性、灵活的托管和部署选项以及易于集成。产品背景是Comet针对AI开发者在模型评估和优化方面的需求而开发。价格方面提供免费试用。定位是面向AI开发者和团队，助力他们高效开发和管理AI项目。

持续改进AI智能体，具备可观测性、评估、追踪和实验功能

Arize AI是一个专注于AI智能体可观测性、评估与改进的平台。其重要性在于帮助AI工程师更好地管理和优化AI智能体，提升性能和可靠性。主要优点包括提供全面的评估框架、支持大规模的追踪和评估、能快速测试提示和工具等。该平台基于开源和开放标准构建，具有高度的可控性和透明度。产品定位为服务全球领先的AI团队，助力他们实现AI智能体的持续学习和自我提升。关于价格，文档中未明确提及，可能提供免费试用或付费服务。

开源平台，提供LLM应用的提示管理、评估和可观测性工具。

Agenta是一个开源的LLMOps平台，专为LLM开发团队提供基础设施。其重要性在于解决了AI团队在LLM开发中的诸多问题，如工作流程分散、缺乏可观测性和调试困难等。产品的主要优点包括集中管理提示、评估和跟踪信息，支持团队协作，提供统一的实验和评估环境，以及模型无关性等。产品背景是随着大语言模型的广泛应用，开发团队需要更高效的工具来管理和优化开发流程。价格方面文档未提及，定位是成为LLM开发团队的一站式解决方案，帮助团队遵循LLMOps最佳实践。

观测、分析和评估AI代理的可观测性和日志平台

LLMonitor是一个为LLM（语言模型）应用提供观测性、分析和测试的平台。它可以记录LLM的调用日志、指标和追踪，支持对话评估和聊天记录回放，帮助优化AI应用的性能和成本控制。LLMonitor提供了日志监控、性能分析、错误追踪、用户对话记录、用户反馈收集等功能。它适用于各种AI开发场景，包括代理人、聊天机器人等。

Respan是统一可观测性、评估、提示优化和LLM网关的工程平台。

Respan是一个LLM工程平台，它将可观测性、评估、提示优化和统一的LLM网关集成于一体。其重要性在于帮助团队可靠地部署AI应用，确保AI系统按预期运行。主要优点包括提供端到端的执行路径追踪、灵活的评估工作流、有效的优化机制、便捷的部署方式以及实时监控功能。产品背景信息暂不明确，价格方面提供免费试用。其定位是为处理大量API调用、需要确保AI系统可靠性和高效性的团队提供支持。

AI语音代理测试与可观测性平台

fixa是一个专注于AI语音代理测试与可观测性的平台，旨在帮助开发者和企业快速发现并修复语音代理中的问题。通过自动化测试、生产监控和错误检测等功能，确保语音代理的稳定性和可靠性。该平台由Y Combinator资助，提供简单透明的定价策略，适合不同规模的企业使用。

OpenTelemetry原生可观测性平台，降本80%，含追踪、指标和日志。

OpenTelemetry-Native Observability Platform是基于OpenTelemetry的可观测性平台。OpenTelemetry是云原生计算基金会（CNCF）的开源项目，致力于为云原生软件提供统一的可观测性解决方案。该平台核心功能是跟踪、指标和日志管理，能帮助企业实时监控系统运行状态，及时发现并解决问题。其重要性在于应对现代复杂分布式系统的监控需求，提升系统稳定性和性能。主要优点包括降低80%的可观测性成本，提供可预测的定价模式，用户可选择免费自托管或使用Uptrace Cloud服务。定位是为企业提供高效、经济的可观测性解决方案。

开源可观测性工具，基于OpenTelemetry，集成APM、日志、追踪等功能

SigNoz是一个由OpenTelemetry驱动的开源可观测性工具。它的重要性在于为开发者和运维团队提供了统一的平台来监控应用程序的性能、日志、追踪等。主要优点包括基于开放标准，无专有锁定，提供简单的基于使用量的定价模式，可在云端或自有基础设施上运行。产品背景是2020年创立，旨在为开发者提供更好的可观测性解决方案。价格方面，有免费的社区版可供自托管，也有基于使用量定价的云版本。定位是作为Datadog或New Relic等工具的开源替代方案，满足开发者和企业对应用程序可观测性的需求。

Chainlit助力构建可靠对话式AI，提供LLM应用可观测性与分析平台

Chainlit是一款为开发者和企业打造的AI开发工具，旨在构建、改进和扩展AI应用程序。其重要性在于提供了一套完整的解决方案，从构建对话式AI应用到评估AI系统，再到提供可观测性和分析平台，帮助用户更高效地开发和管理AI应用。主要优点包括支持多种认证方式、可定制前端和聊天组件、提供与流行框架和LLM提供商的集成等。产品背景信息显示，每月有50k开发者使用，拥有9K Github Stars和4.5K Discord成员。目前未提及价格信息。产品定位为帮助开发者和企业快速、可靠地开发和部署AI应用。

Superlog提供全量可观测性，零麻烦，自动添加日志、追踪和指标。

Superlog是一款专注于代码可观测性的工具，它利用OpenTelemetry技术，为开发者提供全面的日志、追踪和指标管理。其重要性在于帮助开发者快速定位和解决代码中的问题，提高开发效率。产品的主要优点包括全量可观测性、自动添加日志和指标、避免观测性衰减、合并相似错误、提供严重程度和影响评估、准备解决方案PR等。产品背景信息暂未提及，价格信息也未在文档中明确体现，产品定位为帮助开发者更高效地进行代码调试和问题解决。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

专为MCP服务器提供可观测性，适用于SaaS工程团队。

Spanly是一款针对模型上下文协议（MCP）服务器的可观测性工具，由SaaS工程团队开发，用于生产环境中运行MCP的场景。它可以与Datadog、Sentry或New Relic等现有APM工具配合使用。产品提供免费、专业版和企业版三种价格方案，免费版无需信用卡，专业版每月49美元，企业版每月249美元。其主要优点是无需代码更改，能对MCP流量进行实时监控，为工程团队提供详细的性能分析和错误跟踪。

用于评估大型语言模型事实性的最新基准

FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。

AI观测和模型监控平台

Censius是一个AI观测和模型监控平台，帮助团队了解、分析和改善AI模型在实际应用中的性能。它提供实时监控、报警通知、数据可视化和性能分析等功能。Censius帮助用户追踪模型的准确性、稳定性和效果，提高模型的可靠性和可解释性。Censius的定价根据使用量和功能套餐进行计费，提供灵活的选择。Censius适用于各种AI应用场景，包括图像识别、自然语言处理、预测分析等。

Roark是一个声音AI的QA可观察性层，监控语音交互并进行测试和评估。

Roark是一个为团队提供可靠声音代理的平台，能够监控实时通话、进行规模模拟测试和将失败转化为测试。它提供全面的指标、多说话人分析、评估器运行等功能，帮助团队交付可靠的声音代理。

AI可观测性和机器学习监控平台

Evidently AI是一个开源的Python库，用于监控机器学习模型，支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控，拥有超过2000万的下载量和5000+的GitHub星标，是机器学习领域中一个值得信赖的监控工具。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

AI优先的可观察性平台

INTELLIZE是一款AI优先的可观察性平台，可以轻松搜索日志、创建仪表盘并设置自然语言警报。它提供先进的人工智能技术，帮助用户更好地监控和分析系统运行情况，提高生产力和效率。INTELLIZE的定价根据用户需求进行定制，适用于各种规模和类型的企业。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

ML模型的可观测性平台

Aporia是一款ML模型管理的可观测性平台，通过一个综合性的仪表盘监控您的ML模型，以确保最佳的机器学习模型性能。它提供了可解释性、监控、根本原因分析、LLM可观测性、Gen AI和Guardrails等功能。Aporia的平台功能强大，支持数据集成、定制化、大数据支持和安全与隐私等特点。

检测设备是否能运行不同规模的 DeepSeek 模型，提供兼容性预测。

DeepSeek 模型兼容性检测是一个用于评估设备是否能够运行不同规模 DeepSeek 模型的工具。它通过检测设备的系统内存、显存等配置，结合模型的参数量、精度位数等信息，为用户提供模型运行的预测结果。该工具对于开发者和研究人员在选择合适的硬件资源以部署 DeepSeek 模型时具有重要意义，能够帮助他们提前了解设备的兼容性，避免因硬件不足而导致的运行问题。DeepSeek 模型本身是一种先进的深度学习模型，广泛应用于自然语言处理等领域，具有高效、准确的特点。通过该检测工具，用户可以更好地利用 DeepSeek 模型进行项目开发和研究。

自动化AI语音代理测试与性能分析平台，提供真实场景模拟与评估。

TestAI是一个专注于AI语音代理的自动化测试与性能分析平台。它通过真实世界的场景模拟和详细的性能评估，帮助企业确保其语音和聊天代理的可靠性和流畅性。该平台提供快速设置、可靠洞察以及自定义指标等功能，能够有效提升AI代理的性能和用户体验。TestAI主要面向需要快速部署和优化AI语音代理的企业，帮助他们节省时间和成本，同时提高AI代理的可信度和安全性。

AI模型软件工程能力评估工具

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

视频生成模型的时间组合性评估工具

TC-Bench是一个专门用于评估视频生成模型的时间组合性的工具。它通过精心设计的文本提示、相应的真实视频以及强大的评估指标来衡量视频生成模型在不同时间点上新概念的出现及其关系转换的能力。TC-Bench不仅适用于文本条件模型，也适用于图像条件模型，能够进行生成性帧插值。该工具的开发旨在推动视频生成技术的发展，提高生成视频的质量和一致性。

自动化AI语音代理测试平台

Hamming是一个端到端的AI语音代理测试平台，支持从开发到生产的全流程。它通过自动化语音角色创建成千上万的并发电话呼叫，以测试和发现语音代理中的bug，显著提高测试效率。此外，Hamming还提供提示管理、优化器和游乐场，帮助用户自动生成优化的提示，并在数据集上测试LLM输出。Hamming还具备主动监控功能，能够跟踪和评分AI应用在生产中的使用情况，并标记需要关注的案例。