产品库

统一的语言模型评估框架

PromptBench是一个基于Pytorch的Python包,用于评估大型语言模型(LLM)。它为研究人员提供了用户友好的API,以便对LLM进行评估。主要功能包括:快速模型性能评估、提示工程、对抗提示评估以及动态评估等。优势是使用简单,可以快速上手评估已有数据集和模型,也可以轻松定制自己的数据集和模型。定位为LLM评估的统一开源库。

通过 Minecraft 评估 AI 的表现。

MC-Bench 是一个在线平台，旨在通过 Minecraft 游戏环境评估和比较不同 AI 生成的建筑。它允许用户投票并参与到 AI 评估中，促进 AI 技术的发展。该平台的主要优势在于其趣味性和互动性，为用户提供了一个简单而有趣的方式来了解 AI 的能力。

Selene API 是一款用于评估 AI 应用性能的先进工具，提供精准的评分和反馈。

Selene API 是 Atla AI 推出的一款先进的人工智能评估模型。它通过使用世界领先的 LLM-as-a-Judge 技术，能够对 AI 应用进行精准的评估。该产品的主要优点是其高准确性和可靠性，能够在各种评估基准上超越前沿模型。它不仅能够提供准确的评分，还能生成具有可操作性的反馈意见，帮助开发者优化他们的 AI 应用。Selene API 的背景信息显示，它是由 Atla AI 公司开发的，该公司致力于构建安全的人工智能未来。目前，该产品提供免费试用，并采用基于使用量的定价模式。

Edexia 是一款智能评估标记工具。

Edexia 是一款旨在提升教育评估效率的人工智能工具，能够帮助教师更快速、准确地进行学生作业的评分与反馈。它通过模拟教师的标记方式，提供个性化的反馈，帮助学生更好地理解自己的学习情况。Edexia 的设计理念是减轻教师的工作负担，提高教育质量，适合各类学校和教育机构使用。该产品提供免费试用，便于用户体验其功能。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

发现最新的AI工具和提示

AI Valley是一个汇集了最新AI工具和提示的平台，提供给用户一个快速发现和使用AI资源的途径。它适合那些希望提高工作效率、探索AI应用的个人和企业。AI Valley的特点在于它每日更新的资源库，以及丰富的工具分类，满足不同用户的需求。

大型语言模型排行榜，实时评估模型性能。

OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估，为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜，帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

使用我们的AI评估工具，上传照片即可获得免费评估。

SnapAppraise是一个提供珠宝首饰评估的在线平台。通过上传照片，我们的AI评估工具可以快速分析珠宝首饰的价值并生成详细的评估报告。SnapAppraise提供免费的初步评估，方便用户在安排面对面评估之前获得快速的预估价值。

为教师提供即时的课程计划生成器，包括免费模板、PBL、UbD、教学资源、评估、评分表等。

SmartPrep AI是一款下一代课程计划生成器，可简化流程，释放无限创造力，减少重复性任务，让教师有更多时间专注于教学。

一种用于测试长文本语言模型的合理性的评估基准

RULER 是一种新的合成基准，为长文本语言模型提供了更全面的评估。它扩展了普通检索测试，涵盖了不同类型和数量的信息点。此外，RULER 引入了新的任务类别，如多跳跟踪和聚合，以测试超出检索从上下文中的行为。在 RULER 上评估了 10 个长文本语言模型，并在 13 个代表性任务中获得了表现。尽管这些模型在普通检索测试中取得了几乎完美的准确性，但在上下文长度增加时，它们表现得非常差。只有四个模型（GPT-4、Command-R、Yi-34B 和 Mixtral）在长度为 32K 时表现得相当不错。我们公开源 RULER，以促进对长文本语言模型的全面评估。

开发中大规模模型系统的组织

LMSYS Org 是一个组织，旨在使大型模型及其系统基础设施的技术民主化。他们开发了 Vicuna 聊天机器人，其在 7B/13B/33B 规模下可以印象 GPT-4，实现了 90% ChatGPT 质量。同时，还提供 Chatbot Arena 以众包和 Elo 评级系统进行大规模、游戏化评估 LLMs。SGLang 提供了复杂 LLM 程序的高效接口和运行时环境。LMSYS-Chat-1M 是一个大规模真实世界 LLM 对话数据集。FastChat 是一个用于训练、提供服务和评估基于 LLM 的聊天机器人的开放平台。MT-Bench 是一个用于评估聊天机器人的一组具有挑战性、多回合、开放式问题。

用于提示工程的开源可视化编程环境

ChainForge是一款开源的可视化编程环境,专注于提示工程。它可以让你评估提示和文本生成模型的稳健性,超越了简单的案例证据。我们认为,提示多个大型语言模型、比较它们的响应并测试关于它们的假设,应该不仅容易,而且有趣。ChainForge提供了一套工具,以最小的努力评估和可视化提示(和模型)的质量。换句话说,它旨在让大型语言模型的评估变得简单。ChainForge开箱即用地支持测试提示注入攻击的稳健性、测试响应格式的一致性、发送大量参数化提示并导出到Excel文件、验证同一模型不同设置的响应质量、测量不同系统消息对ChatGPT输出的影响等。

ChatGPT for YouTube，为YouTube提供定制的提示

ChatGPT for YouTube让YouTube的ChatGPT使用更加简单。您可以为每个新视频设置自定义提示。看了一个烹饪视频想要一个食谱？在回顾2009年的纪录片时感到困惑？GPT Prompts For YouTube应有尽有。欢迎使用这个插件，我们正在积极开发中，请在GitHub上留下您的反馈。如果遇到任何问题，请与我联系。

好的ChatGPT回答的秘密是好的提示，而好的提示往往会很长

Anywhere GPT是一个插件，它允许您保存提示并在任何地方快速应用它们。使用Anywhere GPT，您可以保存那些提示，并随时在需要时使用它们。它适用于Chrome浏览器，可以提高ChatGPT的使用效率。

最佳AI聚合网站

Trend AI Tools是最佳的AI聚合网站，每天更新。它提供了各种类别的AI工具，包括SEO、视频编辑、编程、提示等。用户可以根据分类选择所需的工具，以提高工作效率。

候选人技能评估工具

HunchAssess是HireHunch的候选人评估工具。它提供了一个全面的问题库,包含5000多个问题,涵盖40多种技术技能,包括多项选择题和编程题,可以快速筛选顶尖人才。它支持批量发送邀请,自动计分和高级监考功能,可以轻松地评估候选人的技能和专业知识。关键功能包括:预设的40多种技能集评估、批量发送邀请、自动计分板和高级监考、安排面试等。适用于招聘机构或HR团队进行校园招聘或大规模筛选应聘者。

构建应用程序的LLM通过组合性

LangChain是一个帮助开发人员构建应用程序的库，通过组合性将大型语言模型（LLMs）与其他计算或知识源结合起来。它提供了各种应用场景的端到端示例，包括问题回答、聊天机器人和代理等。LangChain还提供了对LLMs的通用接口、链式调用、数据增强生成、记忆和评估等功能。定价信息请访问官方网站。

Talently.ai通过智能聊天面试和实时评估,轻松识别顶尖人才

Talently.ai是一个人工智能面试官,可以进行真人互动式面试,并提供实时评估,以便轻松识别顶尖人才。它消除了手动筛选的需要,实现了更智能的招聘。

一键优化AI生成艺术创意

Prompter是一个Chrome浏览器插件,能够一键优化用户的文本提示,生成更加精美、细节丰富的AI艺术图像。关键功能包括:一键优化提示文本,实时预览创作效果,提示笔记本随时记录灵感等。适用于Midjourney、Stable Diffusion等主流生成平台,支持图像、视频、3D等创作,是创意工作者的最佳助手。

AI Teachakey: 用人工智能更聪明地工作

AI Teachakey是一款利用人工智能技术提供教育解决方案的产品。它包括课程计划生成器、评估生成器、课程生成器、讲义生成器等功能，帮助教育者提高工作效率，优化教学流程，提升学生学习成果。AI Teachakey还提供数学、物理和化学求解器，帮助解决复杂的数学问题和挑战性的物理、化学概念。AI Teachakey在教育领域的定位是革命性创新的技术，旨在提供智能化的教育解决方案。

训练自己的提示器，获得自己风格的最佳结果

G-Prompter是一个让用户根据自己的风格训练提示器，以获得最佳结果的平台。它使用GPT Api和用户自己训练的提示器，为用户提供中途任务的最佳提示。

AI工具助力教师节省时间

TeacherDashboard.ai是一款AI工具，可帮助教师优化教学流程。它包括生成评分标准、快速批改作业和生成个性化报告卡评论等功能。支持3天免费试用。

让AI告诉你你的音乐品味有多烂

Your Music Taste Sucks是一款基于人工智能的音乐品味评估网站。用户可以上传自己喜欢的音乐，AI会根据用户上传的音乐评估用户的音乐品味，并给出相应的评分和建议。Your Music Taste Sucks的评估结果准确、有趣，可以帮助用户更好地了解自己的音乐品味。

ChatGPT提示词优化

PromptPort 是一个提供创意写作灵感的平台，通过提供丰富的写作提示和创作工具，激发用户的创作热情和想象力，创建、优化和分享 ChatGPT 的提示词。用户可以浏览各种主题的写作提示，从中获取灵感并展开创作。PromptPort 还提供文本生成工具和可视化生成工具，帮助用户优化写作效果。该平台适用于作家、诗人、学生、教师和任何对创作感兴趣的人。

AI驱动的销售提示工具。

PromptROI是一个AI工具，帮助作家在不失去实际提示的情况下销售自己的提示。我们建立了第一个在线市场，让提示工程师可以销售对其提示的访问权限，而不需要将提示直接交出。

创建宏，使用变量，访问预定义的提示。简化ChatGPT的工作流程！

GPT Macros允许您轻松地从常用提示中创建自定义宏，并以任何您喜欢的顺序重新排列它们。在提示中使用变量，提高您的工作效率。 功能： 🛠️ 从常用提示创建自定义宏 🔁 以任意顺序重新排列宏 🔢 在提示中使用变量 🌐 使用Web参数（从网站上提取数据） 🤖 使用系统提示 🔍 轻松搜索宏和提示 📁 访问预定义的提示和宏 变量使用示例： 用例：创建一个询问不同汉堡包（如麦香鸡，奶酪汉堡或巨无霸）的宏营养素的提示。 提示：给我${burger}的宏营养素 变量：[{"burger":"麦香鸡"},{"burger":"奶酪汉堡"},{"burger":"巨无霸"}] 立即尝试GPT Macros，提升您的ChatGPT工作流程的效率！

ChatGPT标签管理插件

PinMyPrompt是一个针对ChatGPT爱好者设计的独特插件，它可以将ChatGPT提示的URL固定在特定的网页上，方便用户随时查看。

轻松保存和调用ChatGPT、Stable Diffusion、Lexica等AI提示

Spell是一个插件，可以轻松保存和调用ChatGPT、Stable Diffusion、Lexica等AI提示。它可以帮助你在ChatGPT、Hugging Face、Lexica等网站上使用快捷方式和搜索来保存和调用你的AI提示。

在几分钟内创建一个具体的商业战略

Strat.Chat是一款AI战略顾问工具，可以帮助用户在几分钟内创建一个专业的商业策略并生成立即实施计划。它可以评估您的商业想法，提供商业策略和实施计划，包括市场数据、竞争分析、供应商分析、PESTEL分析等。用户只需简要描述自己的商业想法，即可获得个性化的商业策略和实施计划。Strat.Chat提供免费和付费版本，付费版本可以获得更多深入分析和PDF导出等高级功能。