开源的GenAI应用网关，快速构建个性化的AI应用
Arch是一个开源的网关，专为处理提示（prompts）而设计，它利用快速的大型语言模型（LLMs）来处理提示，并与后端系统无缝集成。Arch基于Envoy构建，支持任何应用程序语言，并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能，帮助开发者构建快速、健壮和个性化的GenAI应用。
AI语音代理测试与监控平台
Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。
监控和管理您的Cursor编辑器使用情况
Editor Usage 是一款为macOS设计的菜单栏应用程序，旨在帮助用户监控和管理他们的Cursor编辑器使用情况。该应用程序能够追踪高级、普通和特殊请求的使用情况，并在接近使用限制时提供警告。它允许用户从菜单栏快速查看剩余的请求次数，从而确保用户始终了解他们的使用情况，并避免因超出限制而受到影响。这款应用的主要优点包括详细的使用监控、可定制的警告设置以及快速便捷的访问方式。它适合需要管理多个项目或希望实时监控请求使用情况的用户。
一站式SRE平台，提升服务可靠性。
Temperstack是一个企业级的主动式SRE平台，旨在减少SRE的重复劳动，提高服务的可靠性。它通过自动化服务目录、警报审计和跨您的监控工具的SLI报告，为从CTO到SRE工程师的团队提供可见性、主动发现问题并促进协作。Temperstack集成了流行的监控工具，提供统一的命令界面，以实现全面的SRE可见性和行动。
StatusSight 是一款全面的监控工具。
StatusSight 是一款用于实时监控系统状态的工具，能够帮助企业及时了解其服务的运行状态。它提供直观的仪表板，用户可以轻松跟踪各项指标，确保系统的高可用性与性能。适合各种规模的企业，支持定制化配置，以满足不同需求。此工具通常以订阅方式收费，具体定价根据所需功能而定。
开发者日志监控与调试的开源平台
Helicone AI是一个为开发者设计的开源平台，专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间，是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性，并支持风险无忧的实验，无需安装SDK，仅需添加头部信息即可访问所有功能。
AI可观测性和机器学习监控平台
Evidently AI是一个开源的Python库，用于监控机器学习模型，支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控，拥有超过2000万的下载量和5000+的GitHub星标，是机器学习领域中一个值得信赖的监控工具。
自动化AI语音代理测试平台
Hamming是一个端到端的AI语音代理测试平台，支持从开发到生产的全流程。它通过自动化语音角色创建成千上万的并发电话呼叫，以测试和发现语音代理中的bug，显著提高测试效率。此外，Hamming还提供提示管理、优化器和游乐场，帮助用户自动生成优化的提示，并在数据集上测试LLM输出。Hamming还具备主动监控功能，能够跟踪和评分AI应用在生产中的使用情况，并标记需要关注的案例。
开源监控工具，提升LLM应用性能。
Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。
GPT安全认证与监控解决方案
GPT Auth是一个安全的GPT认证和监控平台。它可以让GPT开发者简单快速地为自己的GPT模型添加用户认证系统,实时监控用户查询,从而保护GPT不被非法访问。该平台提供简单易用的无代码解决方案,使所有层次的开发者都能轻松设置强大的安全认证。
监控和调试你的LLM模型
Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。
内容分类工具
Ramen AI是一款现代化的工具集，用于构建、测试和部署基于LLM的内容分类应用。它提供完整的AI工具集，让您能够轻松构建、评估、部署和监控内容分类。Ramen AI支持灵活的分类管理，可即时进行测试，以获得快速准确的结果。它还提供多种分类方法，为您选择最佳的分类方式。您还可以使用Ramen AI的API，将分类应用集成到您的代码中，甚至可以在Google表格中使用Ramen AI的公式。Ramen AI还提供AI生成的测试数据集，节省手动生成验证数据集的时间。它还可以监控和报告分类应用的使用情况，帮助您了解变化趋势。Ramen AI适用于各种分类应用场景，包括医疗、金融、零售、法律、客服、教育和研究等。
出色的数据科学工具
MLJAR提供出色的数据科学工具和学习材料，帮助用户理解和利用他们的数据。产品功能包括自动化机器学习、将笔记本转换为交互式网络应用、使用LLMs生成Python图表、构建自己的SaaS以及服务器和网站监控。MLJAR的优势在于提供XAI能力、公平的机器学习、模型解释、公平度指标、以及快速检测异常并及时通知。定价方面，MLJAR提供了多种产品比较和决策树、随机森林、Xgboost、LightGBM、CatBoost等算法的比较。定位于数据科学工具领域。
协作监控LLM
Llog是一个协作监控LLM应用程序的终端到终端平台，为团队提供洞察力，了解他们的LLM应用程序在生产后的情况。团队成员可以在一个协作空间中审查日志、标记重要事项并分配任务。无论团队规模多大，都可以在任何价格层级下享受无限的席位支持。通过直接观察用户交互，全面了解终端用户的行为，并永远不再担心LLM实际上在说什么。使用我们简单的格式，进行几个API请求，即可立即在我们的平台上查看结果。
开发平台，构建 LLM 应用
Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。
全栈监控、调试和测试
Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。
Senuto是一个SEO数据分析工具集,提供关键词和排名等SEO数据
Senuto是一个SEO数据分析工具集,提供给SEO从业者使用。它可以追踪关键词排名变化,进行竞争对手分析,发现长尾关键词机会,生成SEO报告等。该工具提供免费试用,定价合理,定位为SEO人员的必备工具。
嵌入AI的影子平台
Humanloop是一个用于构建和监控以大语言模型为基础的生产级应用的协作平台。它提供了一套完整的工具集,可以帮助开发者更快速地将AI从原型开发到生产环境,同时保证系统的可靠性。主要功能包括:提示工程,可以迭代和版本化提示,提高命中率;模型管理,支持各种模型并进行跟踪;内容评估,收集反馈并进行定量分析;以及合作平台,让非技术人员也可以参与到AI应用开发中。典型应用场景有构建聊天机器人、自动化客户支持以及生成营销内容等。Humanloop已经受到了成千上万开发者的青睐,被多家知名企业所使用。
© 2024 AIbase 备案号：闽ICP备08105208号-14