产品库

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

自动化AI语音代理测试与性能分析平台，提供真实场景模拟与评估。

TestAI是一个专注于AI语音代理的自动化测试与性能分析平台。它通过真实世界的场景模拟和详细的性能评估，帮助企业确保其语音和聊天代理的可靠性和流畅性。该平台提供快速设置、可靠洞察以及自定义指标等功能，能够有效提升AI代理的性能和用户体验。TestAI主要面向需要快速部署和优化AI语音代理的企业，帮助他们节省时间和成本，同时提高AI代理的可信度和安全性。

自动化AI语音代理测试平台

Hamming是一个端到端的AI语音代理测试平台，支持从开发到生产的全流程。它通过自动化语音角色创建成千上万的并发电话呼叫，以测试和发现语音代理中的bug，显著提高测试效率。此外，Hamming还提供提示管理、优化器和游乐场，帮助用户自动生成优化的提示，并在数据集上测试LLM输出。Hamming还具备主动监控功能，能够跟踪和评分AI应用在生产中的使用情况，并标记需要关注的案例。

机器学习工程能力的AI代理评估基准

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

AI语音代理测试与监控平台

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。

AI语音代理测试与可观测性平台

fixa是一个专注于AI语音代理测试与可观测性的平台，旨在帮助开发者和企业快速发现并修复语音代理中的问题。通过自动化测试、生产监控和错误检测等功能，确保语音代理的稳定性和可靠性。该平台由Y Combinator资助，提供简单透明的定价策略，适合不同规模的企业使用。

用于评估Windows PC或Apple Mac上AI推理引擎性能的基准测试工具。

Procyon AI Computer Vision Benchmark是由UL Solutions开发的一款专业基准测试工具，旨在帮助用户评估不同AI推理引擎在Windows PC或Apple Mac上的性能表现。该工具通过执行一系列基于常见机器视觉任务的测试，利用多种先进的神经网络模型，为工程团队提供独立、标准化的评估手段，以便他们了解AI推理引擎的实施质量和专用硬件的性能。产品支持多种主流的AI推理引擎，如NVIDIA® TensorRT™、Intel® OpenVINO™等，并可比较浮点和整数优化模型的性能。其主要优点包括易于安装和运行、无需复杂配置、可导出详细结果文件等。产品定位为专业用户，如硬件制造商、软件开发者和科研人员，以助力他们在AI领域的研发和优化工作。

RicAI自主测试代理

RicAI自主测试代理是一个用于自动生成测试用例的概念验证工具。它接受代码和软件需求规格作为输入，并生成可在CI/CD流水线上运行的测试用例。该工具仅演示了测试生成部分。 主要功能点列表： - 根据代码生成测试用例 - 支持验证输入参数 - 生成测试报告 使用场景： - 软件开发过程中的自动化测试 - CI/CD流水线中的测试环节 定价：免费试用，付费订阅 定位：提供自动化测试解决方案的概念验证工具

AI文本生成性能测试工具

Procyon AI Text Generation Benchmark 是一款专门用于测试和评估AI本地大型语言模型（LLM）性能的基准测试工具。它通过与AI软硬件领域的领导者紧密合作，确保测试能够充分利用系统中的本地AI加速硬件。该工具简化了PC性能比较和成本合理化，验证和标准化PC性能，并简化IT团队的PC生命周期管理，允许快速做出决策，以提供PC性能，降低硬件成本，节省测试时间。

跨平台AI性能基准测试工具

Geekbench AI 是一款使用真实世界机器学习任务来评估AI工作负载性能的跨平台AI基准测试工具。它通过测量CPU、GPU和NPU的性能，帮助用户确定他们的设备是否准备好应对当今和未来的尖端机器学习应用。

自动化AI代理测试工具

NotHotDog是一个专注于自动化测试AI代理和语音AI应用的平台。它通过提供自动化、可复用的语音测试案例，简化了对语音API、WebSocket API以及对话AI系统的测试和监控，从而加速功能部署并提高产品质量。

LLM prompt测试库

promptfoo是一个用于评估LLM prompt质量和进行测试的库。它能够帮助您创建测试用例，设置评估指标，并与现有的测试和CI流程集成。promptfoo还提供了一个Web Viewer，让您可以轻松地比较不同的prompt和模型输出。它被用于服务超过1000万用户的LLM应用程序。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

AI 驱动的 Web 应用测试自动化工具

Momentic 是一款使用 AI 代理实现端到端测试的 Web 应用测试自动化工具。无需编写代码，只需使用自然语言描述用户流程。

AI测试平台

Webo.Ai是一个易于使用、功能强大的测试平台，可以帮助您节省时间和资源。通过Webo.Ai，您可以自动化测试，减少测试时间，降低生产缺陷，并提高代码覆盖率。我们提供快速设置、AI生成测试用例、自动化准备等功能。试用期内，您将获得快速设置、AI生成测试用例、自动化准备等功能，并享受免费的回归测试和自愈功能。价格优势，将帮助您降低QA成本。

用于测试和开发AI代理的可扩展开源框架

Windows Agent Arena (WAA) 是一个专注于Windows操作系统的可扩展、开源框架，用于测试和开发能够使用语言模型在PC上进行推理、规划和行动的AI代理。它通过模拟真实的Windows环境，允许代理自由操作，并使用与人类用户相同的应用程序、工具和网络浏览器来解决任务。WAA通过Azure实现可扩展性和并行化，能够在短短20分钟内完成完整的基准测试评估。

将渗透测试和风险评估报告转化为协作工作空间，分配任务，跟踪进展，利用AI洞察

Mitigated.io是一个将渗透测试和风险评估报告转化为协作工作空间的平台。用户可以导入报告，邀请团队成员，共同解决问题，并追踪进展。该平台还提供AI增强的缓解指导，易于导入报告，Kanban等功能。此外，用户还可以从平台上直接获取安全缓解服务。Mitigated.io旨在帮助用户更高效地进行安全缓解，提高安全性。

为代码库定制的AI代理，帮助开发者进行调试、测试和系统设计等任务。

Potpie是一个面向开发者的技术平台，通过构建基于代码库的AI代理来帮助开发者进行调试、测试、系统设计、代码审查和文档生成等任务。该产品利用强大的知识图谱技术，使AI代理能够深入理解代码库的上下文，从而提供高精度的工程任务执行能力。Potpie的主要优点在于其高度定制化和易于集成的特点，能够显著提高开发效率和代码质量。产品提供免费试用，并且有开源版本可供选择。

AI模型软件工程能力评估工具

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。

生成大规模A/B测试的开源基础设施

使用Rompt.ai的开源基础设施，通过生成和评估不同的提示变体，发现高效的提示。创建和组织提示，声明变量以模拟动态项目，运行具有不同格式、模型和变量的提示变体，生成大量输出数据集，通过评分生成结果来找到性能最佳的提示。

用于衡量设备 AI 加速器推理性能的基准测试工具。

Procyon AI Image Generation Benchmark 是一款由 UL Solutions 开发的基准测试工具，旨在为专业用户提供一个一致、准确且易于理解的工作负载，用以测量设备上 AI 加速器的推理性能。该基准测试与多个关键行业成员合作开发，确保在所有支持的硬件上产生公平且可比较的结果。它包括三个测试，可测量从低功耗 NPU 到高端独立显卡的性能。用户可以通过 Procyon 应用程序或命令行进行配置和运行，支持 NVIDIA® TensorRT™、Intel® OpenVINO™ 和 ONNX with DirectML 等多种推理引擎。产品主要面向工程团队，适用于评估推理引擎实现和专用硬件的通用 AI 性能。价格方面，提供免费试用，正式版为年度场地许可，需付费获取报价。

开源评估基础设施，为 LLM 提供信心

Confident AI 是一个开源的评估基础设施，为 LLM（Language Model）提供信心。用户可以通过编写和执行测试用例来评估自己的 LLM 应用，并使用丰富的开源指标来衡量其性能。通过定义预期输出并与实际输出进行比较，用户可以确定 LLM 的表现是否符合预期，并找出改进的方向。Confident AI 还提供了高级的差异跟踪功能，帮助用户优化 LLM 配置。此外，用户还可以利用全面的分析功能，识别重点关注的用例，实现 LLM 的有信心地投产。Confident AI 还提供了强大的功能，帮助用户自信地将 LLM 投入生产，包括 A/B 测试、评估、输出分类、报告仪表盘、数据集生成和详细监控。

用于评估 AI 代理在 Pokemon Red 游戏中的表现。

PokemonGym 是一个基于服务器 - 客户端架构的平台，专为 AI 代理设计，能够在 Pokemon Red 游戏中进行评估和训练。它通过 FastAPI 提供游戏状态，支持人类与 AI 代理的互动，帮助研究人员和开发者测试和改进 AI 解决方案。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

智能测试工具

Teste.ai是一款智能测试工具，提供创建测试用例、场景和步骤的功能。通过使用人工智能技术，它能够生成测试数据和测试计划，并帮助测试人员提高测试效率和质量。Teste.ai具有高级和高效的测试功能，可以帮助测试人员转变测试方式。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

AI驱动的测试代理工具，帮助开发人员更快地发布无bug软件。

Bugster是一款AI驱动的测试解决方案，能够将用户流程转化为自动化测试，帮助开发人员快速发布无bug的软件。其主要优点在于自动化测试流程、智能测试适应性和减少测试维护工作。Bugster定位于提高开发速度并保证软件质量。