产品库

LLM prompt测试库

promptfoo是一个用于评估LLM prompt质量和进行测试的库。它能够帮助您创建测试用例，设置评估指标，并与现有的测试和CI流程集成。promptfoo还提供了一个Web Viewer，让您可以轻松地比较不同的prompt和模型输出。它被用于服务超过1000万用户的LLM应用程序。

开源评估基础设施，为 LLM 提供信心

Confident AI 是一个开源的评估基础设施，为 LLM（Language Model）提供信心。用户可以通过编写和执行测试用例来评估自己的 LLM 应用，并使用丰富的开源指标来衡量其性能。通过定义预期输出并与实际输出进行比较，用户可以确定 LLM 的表现是否符合预期，并找出改进的方向。Confident AI 还提供了高级的差异跟踪功能，帮助用户优化 LLM 配置。此外，用户还可以利用全面的分析功能，识别重点关注的用例，实现 LLM 的有信心地投产。Confident AI 还提供了强大的功能，帮助用户自信地将 LLM 投入生产，包括 A/B 测试、评估、输出分类、报告仪表盘、数据集生成和详细监控。

科学测试LLM提示，确保其健壮性、可靠性和安全性。

Prompt Hippo是一个专门用于测试大型语言模型（LLM）提示的工具，它通过科学的方法来确保提示的质量和效果。该工具可以节省用户在测试提示时的时间，提高工作效率。它还集成了LangServe，允许用户测试自定义代理并优化它们，确保它们在生产环境中的可靠性和安全性。

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

LLM的评估和单元测试框架

DeepEval提供了不同方面的度量来评估LLM对问题的回答,以确保答案是相关的、一致的、无偏见的、非有毒的。这些可以很好地与CI/CD管道集成在一起,允许机器学习工程师快速评估并检查他们改进LLM应用程序时,LLM应用程序的性能是否良好。DeepEval提供了一种Python友好的离线评估方法,确保您的管道准备好投入生产。它就像是“针对您的管道的Pytest”,使生产和评估管道的过程与通过所有测试一样简单直接。

一个惊人的Prompt工具

Prompt Grip是一个惊人的Prompt工具，它提供了一个巨大的Prompt库，可以帮助用户生成各种创意作品。它具有丰富的功能和优势，支持多种艺术风格和媒体形态的创作。定价灵活合理，定位为帮助用户提升创意和艺术效果的工具。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

保护你的AI应用免受Prompt注入的威胁

无Prompt注入是一种保护你的AI应用免受Prompt注入威胁的解决方案。通过使用我们简单易用的API，你可以快速集成我们的服务，确保你的应用程序在处理用户输入时不受恶意注入的影响。我们的解决方案提供准确可靠的Prompt注入检测，并提供相应的应对措施，帮助你的应用保持安全。我们的定价灵活透明，根据数据大小和请求次数计费。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

简化LLM和RAG模型输出评估，提供对定性指标的洞察

Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。

Flapico是一个用于管理和评估提示的工具。

Flapico是一个用于版本控制、测试和评估提示的LLMOps平台。它为企业提供银行级别的安全性，旨在构建和发布LLM应用程序。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

优化LLM应用的提示设计、测试和优化工具

Query Vary提供开发人员设计、测试和优化提示的工具，确保可靠性、降低延迟并优化成本。它具有强大的功能，包括比较不同的LLM模型、跟踪成本、延迟和质量、版本控制提示、将调优的LLM直接嵌入JavaScript等。Query Vary适用于个人开发者、初创公司和大型企业，提供灵活的定价计划。

一个全面的Prompt Engineering技术资源库

Prompt Engineering是人工智能领域的前沿技术，它改变了我们与AI技术的交互方式。这个开源项目旨在为初学者和经验丰富的实践者提供一个学习、构建和分享Prompt Engineering技术的平台。该项目包含了从基础到高级的各种示例，旨在促进Prompt Engineering领域的学习、实验和创新。此外，它还鼓励社区成员分享自己的创新技术，共同推动Prompt Engineering技术的发展。

AI艺术社区，提供在线prompt构建工具

PromptoMANIA Prompt Generator是一个AI艺术社区，提供在线prompt构建工具。用户可以使用该工具成为CF Spark、Midjourney或Stable Diffusion大师。该人性化的prompt构建工具可以帮助用户生成AI艺术作品。用户还可以尝试与其他扩散模型（如DALL-E 2、Disco Diffusion、WOMBO Dream或任何扩散模型）一起使用。如果使用体验良好，可以在社交媒体上分享。

提升LLM响应质量，倍增生产力

LLM Quality Beefer-Upper是一款旨在通过自动化批评、反思和改进来提升大型语言模型(LLM)响应质量的网站。它采用思维链方法，已被证明是提高LLM质量和准确性的最佳方法。用户可以使用和细化定制和预构建的多代理提示模板，以获得最可靠和高质量的输出。该网站目前使用Claude Sonnet 3.5 API，因为它是市场上最好的LLM。一旦有更优秀的模型出现，它将立即采用，因为提供最高质量的输出是该应用的唯一目标。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

ChatGPT的Prompt模板工具，节省时间和精力。

ChatGPT Prompt Plus是一个强大的Prompt模板工具，让您可以快速保存和重用常用短语和提示，提高工作效率。它允许您创建带有参数的提示，以增加灵活性和自定义性。您还可以使用可自定义的快捷键快速调用已保存的提示。此外，您可以根据需要对每个参数进行自定义设置，如数据类型或输入选项。通过使用搜索和过滤功能，轻松找到已保存的提示。您可以将其组织成分类，以便更好地组织和访问。

评估ChatGPT回答的偏见、质量和可靠性

使用Skeptic AI评估ChatGPT生成的回答的偏见、质量和可靠性。它是一个强大的工具，帮助用户评估AI生成信息的准确性、有效性和可信度，促进更具辨别力的方法。

深入探索Prompt Engineering的前沿领域，这是一个全面的学习路径

CodeSignal Learn提供的Prompt Engineering for Everyone是一个全面的学习路径，旨在为初学者和经验丰富的实践者介绍有效的提示构建技术，以便与大型语言模型（LLMs）有效协作。通过这个学习旅程，你将掌握影响LLM输出、控制生成文本的格式和大小以及遵循复杂指令的艺术。准备好提升你的技能，创造精确、具有上下文感知的提示，引导AI模型达到预期结果。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

AI Prompt Marketplace

Prompt Marketplace是一个AI Prompt市场，为Stable Diffusion和Midjourney寻找最佳的AI Prompt，帮助您完善创意，并将其转化为生成式NFT。该产品提供稳定的扩散和中途旅程的AI提示。