产品库

RagaAI Catalyst 是一个用于观察、评估和调试 AI 代理的平台，助力开发者优化 AI 工作流并安全部署。

RagaAI Catalyst 是一款专注于 AI 可观察性、监控和评估的平台，旨在帮助开发者和企业优化 AI 开发流程。它提供了从可视化追踪数据到执行图的用户友好仪表板，支持深度调试和性能提升。该平台强调安全性和可靠性，通过 RagaAI Guardrails 确保上下文准确的 LLM 响应，减少幻觉风险。此外，RagaAI Catalyst 支持定制化评估逻辑，满足特定用例的全面测试需求。其开源特性也为企业提供了透明度和灵活性，适合希望在 AI 开发中实现高效、安全和可扩展的企业和开发者。

Meta内部AI调试工具

HawkEye是Meta内部用于监控、可观测性和机器学习工作流调试的强大工具包。它支持为许多Meta产品提供推荐和排名模型。在过去的两年中,它实现了调试生产问题时间量级的改进。HawkEye包括用于持续收集服务和训练模型、数据生成相关数据的基础设施,以及用于挖掘根本原因的数据生成和分析组件。它支持UX工作流进行引导式的探索、调查和启动缓解措施。HawkEye通过提供基于必要组件的引导式探索界面,允许用户有效地调查并解决问题。

AI驱动的移动应用调试工具

Zipy for Mobile是一款AI驱动的移动应用调试工具，专为Flutter和React Native开发者设计，帮助他们通过会话回放、错误监控和用户行为分析等功能，快速定位并解决应用中的问题。产品背景信息显示，Zipy通过集成Firebase等平台，为开发者提供了一个统一的用户体验平台，以提高移动应用的质量和用户体验。Zipy的价格定位为免费试用，适合需要提升移动应用性能和用户体验的开发者和团队。

意义非凡的代码测试工具，让繁忙的开发人员更轻松

CodiumAI提供在IDE中为您建议非平凡的测试，让您编写更智能的代码，创造更大的价值，并在提交代码时保持信心。它通过分析您的代码、文档字符串和注释，并与您进行交互，为您提供测试建议。您只需接受并提交它们。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

智能测试工具

Teste.ai是一款智能测试工具，提供创建测试用例、场景和步骤的功能。通过使用人工智能技术，它能够生成测试数据和测试计划，并帮助测试人员提高测试效率和质量。Teste.ai具有高级和高效的测试功能，可以帮助测试人员转变测试方式。

易用、灵活、高效的开源大模型应用开发框架。

Agently是一个开源的大模型应用开发框架，旨在帮助开发者快速构建基于大语言模型的AI agent原生应用。它通过提供一系列工具和接口，简化了与大型语言模型的交互过程，使得开发者可以更专注于业务逻辑的实现。Agently框架支持多种模型，易于安装和配置，具有高度的灵活性和扩展性。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

你的AI辅助调试助手

Debug-GPT是你不可或缺的调试伴侣，通过Chrome DevTools提供先进的人工智能技术，读取和解析复杂的错误日志，以用户友好的方式理解根本原因，并提供可操作的步骤来快速解决问题。

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

Pythagora是世界上第一个全能AI开发平台，可帮助您构建超越演示的全栈应用。

Pythagora是一个全能AI开发平台，提供真正的调试工具和生产功能，帮助您推出实际可用的应用。它的主要优点在于其提供了强大的AI开发功能，使应用程序更智能化。

开发者日志监控与调试的开源平台

Helicone AI是一个为开发者设计的开源平台，专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间，是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性，并支持风险无忧的实验，无需安装SDK，仅需添加头部信息即可访问所有功能。

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。

AI 网站测试工具，简单高效

Aitida Test Suite是一个简单高效的工具，用于自动化测试网站的功能和外观。它可以模拟用户在网站上的操作，检查页面的正确性和响应性，并提供详细的测试报告。通过 AI 技术，可以提高测试效率并减少人工测试的工作量。Aitida Test Suite还提供了丰富的功能点列表，包括页面布局、链接、表单提交、登录等常见功能的测试。使用场景包括网站开发、网站更新、网站维护等。

Intel开发者平台,提供丰富的软件工具和开发产品

Intel Developer Zone是一个面向开发者的平台,提供各种软件工具、开发产品、解决方案等。开发者可以探索各种工具和技术,连接其他开发者,管理自己的产品等。平台覆盖人工智能、云计算、边缘计算、游戏开发、图形媒体处理等多个领域,提供代码示例、文档、论坛等资源。

用于评估Windows PC或Apple Mac上AI推理引擎性能的基准测试工具。

Procyon AI Computer Vision Benchmark是由UL Solutions开发的一款专业基准测试工具，旨在帮助用户评估不同AI推理引擎在Windows PC或Apple Mac上的性能表现。该工具通过执行一系列基于常见机器视觉任务的测试，利用多种先进的神经网络模型，为工程团队提供独立、标准化的评估手段，以便他们了解AI推理引擎的实施质量和专用硬件的性能。产品支持多种主流的AI推理引擎，如NVIDIA® TensorRT™、Intel® OpenVINO™等，并可比较浮点和整数优化模型的性能。其主要优点包括易于安装和运行、无需复杂配置、可导出详细结果文件等。产品定位为专业用户，如硬件制造商、软件开发者和科研人员，以助力他们在AI领域的研发和优化工作。

AI模型软件工程能力评估工具

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。

评估大型语言模型作为全栈开发者的能力

FullStack Bench是一个多语言的全栈编程基准测试，涵盖了广泛的应用领域和16种编程语言的3K测试样本，显著推动了代码语言模型在现实世界代码开发场景中的相关能力。该产品代表了编程语言模型在全栈开发领域的应用，其重要性在于能够评估和提升模型在实际编程任务中的表现，对于开发者和AI研究者来说都是一个宝贵的资源。

提供多种预训练模型，支持多维度筛选，助力AI模型应用与开发。

该平台是一个专注于AI预训练模型的资源平台，整合了大量不同类型、规模和应用场景的预训练模型。其重要性在于为AI开发者和研究人员提供了便捷的模型获取渠道，降低了模型开发的门槛。主要优点包括模型分类细致、多维度筛选功能强大、信息展示详细且提供智能推荐。产品背景是随着AI技术的发展，对预训练模型的需求日益增长，平台应运而生。平台主要定位为AI模型资源平台，部分模型免费商用，部分可能需要付费，具体价格因模型而异。

API测试工具

HTTPie是一个使API简单易用的测试工具，它提供友好的命令行界面和图形界面，帮助开发者测试HTTP服务器、RESTful API和Web服务。它受到全球开发者的信赖，被广泛应用于API测试和开发工作中。

无代码UI自动化测试工具

Screenwriter是一款无代码UI自动化测试工具，可以快速构建、执行和扩展UI测试，比传统方法快30倍，无代码编写，无故障。用户只需用简单的英语描述用户流程，Screenwriter将为您完成剩下的工作。您可以在5分钟内创建第一个测试，并在Screenwriter应用程序中查看每次测试运行的结果。Screenwriter能够存储和运行所有测试，无需访问您的代码库。与其他UI自动化测试工具相比，Screenwriter的AI能够适应您的应用程序，并只显示真实的问题。您可以通过在应用程序中查看执行回放来调试Screenwriter测试。目前支持GitHub Actions和CircleCI，更多支持即将推出。请加入等待列表，我们将在准备好为您提供服务时与您联系！

世界首个人工智能面试工具

Screenle是一个创新的人工智能面试工具，通过语音和视频录制面试、生成问题、答案转录和评估等功能，提供高效、透明、个性化的面试体验。通过结合技术与招聘需求，提升招聘流程的效率和效果。

一个能帮你写和调试代码的AI工具。

CodeMate是一个人工智能驱动的编码工具,通过自动化代码修复、自动完成和代码评审等功能,可以帮助开发者提高10倍的编码效率。它的核心技术基于GPT模型,可以理解代码意图,提供建议和自动纠正错误。代码保持私密和安全。主要功能包括:代码调试、聊天提问、代码优化、代码检查等。适用于各种编程语言,支持VS Code扩展。

跨平台AI性能基准测试工具

Geekbench AI 是一款使用真实世界机器学习任务来评估AI工作负载性能的跨平台AI基准测试工具。它通过测量CPU、GPU和NPU的性能，帮助用户确定他们的设备是否准备好应对当今和未来的尖端机器学习应用。

智能AI开发工具

Codefy AI是一款智能AI开发工具，提供强大的AI功能，帮助开发人员加速编码过程。支持所有编程语言。定价详见官网。

调试更快，文档更快

Pagerly AI是一款用于快速调试和文档编写的工具。它能够帮助您更快速地解决问题，并提供自动化的文档生成功能。Pagerly AI还能与各种服务集成，如PagerDuty、Jira和OpsGenie，以获取相关的事故和工单信息。它还可以自动生成利益相关者的消息和根本原因分析（RCA）报告。使用Pagerly AI，您可以更轻松地协作和沟通，将更多的时间专注于处理事故。

全栈监控、调试和测试

Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。

用于评估文本、对话和RAG设置的通用评估模型

Patronus GLIDER是一个经过微调的phi-3.5-mini-instruct模型，可以作为通用评估模型，根据用户定义的标准和评分规则来评判文本、对话和RAG设置。该模型使用合成数据和领域适应数据进行训练，覆盖了183个指标和685个领域，包括金融、医学等。模型支持的最大序列长度为8192个token，但经过测试可以支持更长的文本（高达12000个token）。

AI驱动的API文档、调试和测试平台

ReAPI是一站式AI驱动的API文档、调试和测试平台。其直观的可视化编辑器让您轻松地创建详细的API文档，同时与ChatGPT集成，自动生成模式、示例、描述等，提高文档的准确性和效率。ReAPI还拥有精美的调试器，提供强大的故障排除工具，并支持OpenAPI组件的高效重用。此外，ReAPI还通过ChatGPT提供智能设计、文档增强、调试器辅助和自动生成测试用例等功能，以及内外部共享、成员邀请、权限管理和版本控制等功能。