产品库

大型语言模型排行榜，实时评估模型性能。

OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估，为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜，帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

更适合中国宝宝体质的大模型产品排行榜

林哥的大模型野榜是一个专注于中国用户需求的大模型产品排行榜，提供了多维度的评估和排名，帮助用户更好地了解和选择适合的大模型产品。

AI 排行榜

AIGCRank.cn 是一个提供 AI 产品排行榜的网站，主要收集和整理国内外各类 AI 产品的相关信息，并通过排行榜形式展示给用户。该网站旨在帮助用户了解和选择最优秀的 AI 产品，以满足其需求。

实时更新的多模态模型性能排行榜

OpenCompass多模态排行榜是一个实时更新的平台，用于评估和排名不同的多模态模型（VLMs）。它通过8个多模态基准测试来计算模型的平均得分，并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs，旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。

AI音乐排行榜，探索最新的人工智能生成音乐

AI Hits是一个AI音乐排行榜，通过人工智能生成的音乐。用户可以在AI Hits上发现最新的AI生成音乐的Top 100和新歌曲。AI Hits使用人工智能算法生成音乐，并根据用户的播放次数和喜好进行排名。AI Hits提供了一个全新的音乐体验，让用户感受到人工智能在音乐创作中的无限可能。

评估大型语言模型调用函数能力的排行榜

Berkeley Function-Calling Leaderboard（伯克利函数调用排行榜）是一个专门用来评估大型语言模型（LLMs）准确调用函数（或工具）能力的在线平台。该排行榜基于真实世界数据，定期更新，提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

开放的大型语言模型排行榜

Open LLM Leaderboard是一个由Hugging Face提供的空间，旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台，可以查看不同模型在特定任务上的表现，从而帮助用户选择最适合自己需求的模型。

一个用于比较大型语言模型在总结短文档时产生幻觉的排行榜。

该产品是一个由Vectara开发的开源项目，用于评估大型语言模型（LLM）在总结短文档时的幻觉产生率。它使用了Vectara的Hughes幻觉评估模型（HHEM-2.1），通过检测模型输出中的幻觉来计算排名。该工具对于研究和开发更可靠的LLM具有重要意义，能够帮助开发者了解和改进模型的准确性。

领先的AI评测基准，衡量和比较AI模型性能。

SuperCLUE是一个用于评估和比较大型语言模型性能的在线平台。它提供了多种任务和排行榜，旨在为AI研究者和开发者提供一个标准化的测试环境。SuperCLUE支持各种AI应用场景，包括数学推理、代码生成、超长文本处理等，能够帮助用户准确评估模型在不同任务上的表现和能力。

大型语言模型 (LLM) 性能评测的众包开放平台

LMSys 聊天机器人竞技场排行榜是一个用于评估大型语言模型 (LLM) 性能的众包开放平台。它利用 Elo 排名系统对 LLM 进行排名，排名依据是超过 30 万用户投票的结果。用户可以在网站上与不同的 LLM 进行互动，并根据其对话质量进行投票。该排行榜可用于追踪不同 LLM 的发展趋势，并为研究人员和开发者提供基准测试工具。

发现2024年最佳AI工具

AI Top Rank是一个专注于AI工具发现和推广的平台，旨在帮助用户发现和使用最新的AI工具，促进AI技术的普及和应用。平台提供每周更新的AI工具排行榜，用户可以投票支持自己喜爱的工具，也可以提交自己的AI工具进行推广。

利用Text-to-Space创建交互式虚拟体验

Versy.ai | Text-to-Space是一个通过文本提示创建交互式虚拟体验的工具。它不仅可以构建3D体验，还可以让生成式人工智能构建逃脱房间、排行榜、产品配置体验等。让您超越3D，进入元宇宙的时代。

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

一种用于测试长文本语言模型的合理性的评估基准

RULER 是一种新的合成基准，为长文本语言模型提供了更全面的评估。它扩展了普通检索测试，涵盖了不同类型和数量的信息点。此外，RULER 引入了新的任务类别，如多跳跟踪和聚合，以测试超出检索从上下文中的行为。在 RULER 上评估了 10 个长文本语言模型，并在 13 个代表性任务中获得了表现。尽管这些模型在普通检索测试中取得了几乎完美的准确性，但在上下文长度增加时，它们表现得非常差。只有四个模型（GPT-4、Command-R、Yi-34B 和 Mixtral）在长度为 32K 时表现得相当不错。我们公开源 RULER，以促进对长文本语言模型的全面评估。

统一的语言模型评估框架

PromptBench是一个基于Pytorch的Python包,用于评估大型语言模型(LLM)。它为研究人员提供了用户友好的API,以便对LLM进行评估。主要功能包括:快速模型性能评估、提示工程、对抗提示评估以及动态评估等。优势是使用简单,可以快速上手评估已有数据集和模型,也可以轻松定制自己的数据集和模型。定位为LLM评估的统一开源库。

多语言多任务基准测试，用于评估大型语言模型（LLMs）

P-MMEval是一个多语言基准测试，覆盖了基础和能力专业化的数据集。它扩展了现有的基准测试，确保所有数据集在语言覆盖上保持一致，并在多种语言之间提供平行样本，支持多达10种语言，涵盖8个语言家族。P-MMEval有助于全面评估多语言能力，并进行跨语言可转移性的比较分析。

用于评估大型语言模型事实性的最新基准

FACTS Grounding是Google DeepMind推出的一个全面基准测试，旨在评估大型语言模型（LLMs）生成的回应是否不仅在给定输入方面事实准确，而且足够详细，能够为用户提供满意的答案。这一基准测试对于提高LLMs在现实世界中应用的信任度和准确性至关重要，有助于推动整个行业在事实性和基础性方面的进步。

知识编辑基准测试，用于评估大型语言模型的知识编辑方法。

KnowEdit是一个专注于大型语言模型（LLMs）的知识编辑基准测试。它提供了一个综合的评估框架，用于测试和比较不同的知识编辑方法在修改特定领域内LLMs行为时的有效性，同时保持跨各种输入的整体性能。KnowEdit基准测试包括六个不同的数据集，涵盖了事实操作、情感修改和幻觉生成等多种编辑类型。该基准测试旨在帮助研究者和开发者更好地理解和改进知识编辑技术，推动LLMs的持续发展和应用。

评估大型语言模型作为全栈开发者的能力

FullStack Bench是一个多语言的全栈编程基准测试，涵盖了广泛的应用领域和16种编程语言的3K测试样本，显著推动了代码语言模型在现实世界代码开发场景中的相关能力。该产品代表了编程语言模型在全栈开发领域的应用，其重要性在于能够评估和提升模型在实际编程任务中的表现，对于开发者和AI研究者来说都是一个宝贵的资源。

用于评估文本、对话和RAG设置的通用评估模型

Patronus GLIDER是一个经过微调的phi-3.5-mini-instruct模型，可以作为通用评估模型，根据用户定义的标准和评分规则来评判文本、对话和RAG设置。该模型使用合成数据和领域适应数据进行训练，覆盖了183个指标和685个领域，包括金融、医学等。模型支持的最大序列长度为8192个token，但经过测试可以支持更长的文本（高达12000个token）。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

汇总和比较全球主要AI模型提供商的价格信息

AIGCRank大语言模型API价格对比是一个专门汇总和比较全球主要AI模型提供商的价格信息的工具。它为用户提供最新的大语言模型（LLM）的价格数据，包括一些免费的AI大模型API。通过这个平台，用户可以轻松查找和比较OpenAI、Claude、Mixtral、Kimi、星火大模型、通义千问、文心一语、Llama 3、GPT-4、AWS和Google等国内外主要API提供商的最新价格，确保找到最适合自己项目的模型定价。

专家评估界面和数据评估脚本

OpenScholar_ExpertEval是一个用于专家评估和数据评估的界面和脚本集合，旨在支持OpenScholar项目。该项目通过检索增强型语言模型合成科学文献，对模型生成的文本进行细致的人工评估。产品背景基于AllenAI的研究项目，具有重要的学术和技术价值，能够帮助研究人员和开发者更好地理解和改进语言模型。

创造交互式虚拟体验的文本转换工具

Versy.ai是一个通过文本提示创造交互式虚拟体验的工具。它可以超越3D，让生成式人工智能构建逃生游戏、排行榜、产品配置等体验。不仅如此，虚拟元宇宙比你想象的更近。

vivo自主研发的智能语言理解模型

蓝心大模型是vivo自主研发的智能语言理解模型,具有70亿模型参数量,可以处理32K上下文长度。它基于260TB的多语言训练语料,拥有强大的语言理解能力,可以广泛应用于内容创作、知识问答、逻辑推理、代码生成等场景,持续为用户提供安全可靠的人机交互体验。该模型已通过严格的安全合规检测,输出结果安全合规。

AI助力健康与健身

Reflect是一款由AI技术驱动的健康与健身应用，提供24/7的个人辅导和指导，实时监测和纠正用户的动作，记录用户的进步并提供全球排行榜和互动活动。同时，Reflect还为教练和创作者提供全面的健康和健身工具，帮助他们扩大在线业务规模。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。