产品库

生成大规模A/B测试的开源基础设施

使用Rompt.ai的开源基础设施，通过生成和评估不同的提示变体，发现高效的提示。创建和组织提示，声明变量以模拟动态项目，运行具有不同格式、模型和变量的提示变体，生成大量输出数据集，通过评分生成结果来找到性能最佳的提示。

免费方便的 Midjourney 生成 prompt提示工具

Midjourney 提示词生成器是一个辅助撰写 Midjourney prompt 的免费在线工具。工具支持自动翻译，还可以根据用户的需求选择模板，如 3D 渲染微缩模型、极简线条纹身风格、互联网风格插画、水彩画和极简 LOGO 风格，并生成模板对应的提示词。此外，用户还可以选择画面尺寸、模型版本、景深、质量和风格化等选项，快速产出一条高质量的提示词。

Flapico是一个用于管理和评估提示的工具。

Flapico是一个用于版本控制、测试和评估提示的LLMOps平台。它为企业提供银行级别的安全性，旨在构建和发布LLM应用程序。

使用生成性A/B测试优化您的图片

Living Images是Coframe提供的一项服务，专注于通过生成性A/B测试来优化网站图片。这项技术可以帮助提升用户体验和网站性能，通过不断的测试和优化，找到最适合目标受众的图片版本。

网站分析与A/B测试工具

WebLens是一个专注于网站分析和优化的工具，它通过自动生成的洞见来帮助用户进行A/B测试，从而提升网站性能和用户体验。该产品具有强大的数据分析能力，能够帮助用户审查假设，并将它们转化为实际的测试项目，以科学的方法验证网站设计和功能的有效性。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

轻量级A/B & 分流测试软件

Cline是一款轻量级的A/B和分流测试软件，可以帮助优化转化率。它提供隐私友好的测试环境，脚本大小小，使用生成式人工智能快速设置测试，支持与其他工具的集成。使用Cline，您可以轻松创建实验、跟踪成功指标、分析结果并优化您的网站。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

自动A/B测试工具

AutoOptimize是一款自动A/B测试工具，通过内置实验，可以提高网站的转化率。它简化了A/B测试和CRO过程，让您的网站优化自动化。

专家评估界面和数据评估脚本

OpenScholar_ExpertEval是一个用于专家评估和数据评估的界面和脚本集合，旨在支持OpenScholar项目。该项目通过检索增强型语言模型合成科学文献，对模型生成的文本进行细致的人工评估。产品背景基于AllenAI的研究项目，具有重要的学术和技术价值，能够帮助研究人员和开发者更好地理解和改进语言模型。

AI A/B测试软件，提升转化率

ABtesting.ai是一款AI A/B测试软件，帮助您优化落地页以提高转化率。通过使用我们的AI A/B测试工具，找到最好的展示产品的方式。节省时间，让AI为您提供标题、文案和行动号召的自动化文本建议。不需要手动操作，AI会根据高级统计分析为您选择最佳A/B测试方案。轻松优化您的落地页，增加转化率，增加收入。

未来的测试数据管理和生成工具

GenRocket是一款测试数据管理和生成工具，帮助QA团队以低成本生成所需的精确测试数据。它具备企业级的可扩展性、动态数据生成和与任何测试环境集成的能力，节省了大量的测试时间和成本。GenRocket能够根据不同的测试用例生成真实、负面、边缘情况和独特的数据，满足各种测试需求。

数据生成工具，用于测试和验证数字产品

Yadget是一个数据生成工具，帮助创作者生成大量合成数据，用于测试和验证数字产品。它对于机器学习和人工智能项目也非常有用。Yadget提供了丰富的数据类型和功能，包括随机数据生成、数据模板定义、数据批量生成等。用户可以根据自己的需求定制生成数据，并通过API接口或导出功能获取生成的数据。Yadget的定价灵活合理，适用于个人开发者和企业用户。

优化LLM应用的提示设计、测试和优化工具

Query Vary提供开发人员设计、测试和优化提示的工具，确保可靠性、降低延迟并优化成本。它具有强大的功能，包括比较不同的LLM模型、跟踪成本、延迟和质量、版本控制提示、将调优的LLM直接嵌入JavaScript等。Query Vary适用于个人开发者、初创公司和大型企业，提供灵活的定价计划。

一站式构建、部署和测试提示语的工具。

BasicPrompt是一个可以帮助您构建、部署和测试通用提示语的工具。它提供了一个编辑器，您可以使用其中的U块来编写通用的提示语。BasicPrompt会自动优化您的提示语以适应不同的语言模型。您可以通过内置的测试工具来评估提示语在不同模型上的性能。BasicPrompt还支持一键部署提示语到应用程序中，无需编码。通过BasicPrompt，您可以快速构建、部署和共享提示语，让团队成员轻松贡献。

大语言模型的提示工程指南

提示工程指南是一份全面介绍提示工程的指南，包括基本概念、设计提示的通用技巧、提示技术、提示应用等内容。它帮助用户更好地了解大型语言模型的能力和局限性，并掌握与大语言模型交互和研发的各种技能和技术。

开源评估基础设施，为 LLM 提供信心

Confident AI 是一个开源的评估基础设施，为 LLM（Language Model）提供信心。用户可以通过编写和执行测试用例来评估自己的 LLM 应用，并使用丰富的开源指标来衡量其性能。通过定义预期输出并与实际输出进行比较，用户可以确定 LLM 的表现是否符合预期，并找出改进的方向。Confident AI 还提供了高级的差异跟踪功能，帮助用户优化 LLM 配置。此外，用户还可以利用全面的分析功能，识别重点关注的用例，实现 LLM 的有信心地投产。Confident AI 还提供了强大的功能，帮助用户自信地将 LLM 投入生产，包括 A/B 测试、评估、输出分类、报告仪表盘、数据集生成和详细监控。

LLM prompt测试库

promptfoo是一个用于评估LLM prompt质量和进行测试的库。它能够帮助您创建测试用例，设置评估指标，并与现有的测试和CI流程集成。promptfoo还提供了一个Web Viewer，让您可以轻松地比较不同的prompt和模型输出。它被用于服务超过1000万用户的LLM应用程序。

灵活、可共享、可重复使用的生成式AI数据准备和评估工具

Unitxt是一款创新的库，专为生成式语言模型量身定制，用于定制文本数据准备和评估。Unitxt与HuggingFace和LM-eval-harness等常用库进行原生集成，并将处理流程拆分为模块化组件，实现了易定制和共享。这些组件包括模型特定格式、任务提示等全面的数据集处理定义。Unitxt-Catalog集中了这些组件，促进了现代文本数据工作流中的协作和探索。除了是一款工具，Unitxt还是一个社区驱动的平台，赋予用户协作构建、分享和推进他们的数据流水线的能力。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

探索优化的商业和个人任务提示。

Anthropic的提示库是一个在线平台，提供针对各种商业和个人任务优化的提示。它通过用户提交的提示，帮助用户更高效地完成任务，提高工作效率。平台支持多种任务类型，从编程、写作到商业分析等，是一个多功能的辅助工具。

简化AI生成的提示的创建、测试和分享过程。

GeneratedBy简化了为提示工程师和数字劳动者创建、测试和分享AI生成的提示的过程。通过我们的平台，您可以轻松编写、优化和共享提示，提高工作效率。主要功能包括：提示编辑和优化、多模态内容和LLM支持、启发式提示收藏、表单、聊天泡泡或微型SaaS生成、ChatGPT插件和提示工具、协作API和角色管理等。

创建、优化、测试和分享 AI 提示

ZenPrompts 是一款强大的提示编辑器，帮助您创建、优化、测试和分享提示。通过比较多个模型输出、展示提示作品集、实验提示版本、与他人分享提示、使用动态变量优化提示结构和添加注释记录，ZenPrompts 让您成为专业的提示工程师。

随机生成各种数据

Universal Data Generator是一款能够通过人工智能知识实时生成各种数据的工具。它可以根据用户的需求，生成符合特定规则的数据，包括姓名、地址、日期、数字、文本等。用户可以自定义字段，灵活指定数据生成的规则。该工具简单易用，适用于各种场景，包括数据测试、模拟、填充等。

通过大数据分析，揭示你的MBTI人格特质。

小红书MBTI人格测试是一个基于大数据分析的在线测试工具，它通过分析用户在小红书上的行为和内容，为用户提供个性化的MBTI人格分析。这种分析可以帮助用户更好地了解自己的性格特点、优势和潜在的发展方向。产品通过幽默风趣的语言和个性化的分析结果，增强了用户体验，同时也为用户提供了自我探索和自我提升的机会。

AI文本生成性能测试工具

Procyon AI Text Generation Benchmark 是一款专门用于测试和评估AI本地大型语言模型（LLM）性能的基准测试工具。它通过与AI软硬件领域的领导者紧密合作，确保测试能够充分利用系统中的本地AI加速硬件。该工具简化了PC性能比较和成本合理化，验证和标准化PC性能，并简化IT团队的PC生命周期管理，允许快速做出决策，以提供PC性能，降低硬件成本，节省测试时间。