产品库

领先的AI评测基准，衡量和比较AI模型性能。

SuperCLUE是一个用于评估和比较大型语言模型性能的在线平台。它提供了多种任务和排行榜，旨在为AI研究者和开发者提供一个标准化的测试环境。SuperCLUE支持各种AI应用场景，包括数学推理、代码生成、超长文本处理等，能够帮助用户准确评估模型在不同任务上的表现和能力。

评估大型语言模型调用函数能力的排行榜

Berkeley Function-Calling Leaderboard（伯克利函数调用排行榜）是一个专门用来评估大型语言模型（LLMs）准确调用函数（或工具）能力的在线平台。该排行榜基于真实世界数据，定期更新，提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

大型语言模型 (LLM) 性能评测的众包开放平台

LMSys 聊天机器人竞技场排行榜是一个用于评估大型语言模型 (LLM) 性能的众包开放平台。它利用 Elo 排名系统对 LLM 进行排名，排名依据是超过 30 万用户投票的结果。用户可以在网站上与不同的 LLM 进行互动，并根据其对话质量进行投票。该排行榜可用于追踪不同 LLM 的发展趋势，并为研究人员和开发者提供基准测试工具。

19亿参数规模的角色扮演模型，支持few shots角色定制。

Index-1.9B-Character是由Index团队自主研发的大型语言模型，专注于角色扮演领域，拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制，具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中，整体均分排名第九，表现优于同量级模型。

AI驱动的市场研究工具，快速获取客户洞察。

OpinioAI是一个利用大型语言模型的AI市场研究平台，它可以帮助企业通过AI生成的合成样本来获取客户洞察，无需进行成本高昂的调查或访谈。该平台可以分析现有数据，合成新的洞见，并评估现有内容，以从目标受众的角度获取反馈。OpinioAI旨在帮助公司以更快、更简单、更经济的方式替代传统的数据收集和分析方法。

首个全面评估多模态大型语言模型在视频分析中的性能基准。

Video-MME是一个专注于多模态大型语言模型（MLLMs）在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白，为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频，并针对MLLMs的核心能力进行了评估。

AI模型性能评估平台

Scale Leaderboard是一个专注于AI模型性能评估的平台，提供专家驱动的私有评估数据集，确保评估结果的公正性和无污染。该平台定期更新排行榜，包括新的数据集和模型，营造动态竞争环境。评估由经过严格审查的专家使用特定领域的方法进行，保证评估的高质量和可信度。

实时更新的多模态模型性能排行榜

OpenCompass多模态排行榜是一个实时更新的平台，用于评估和排名不同的多模态模型（VLMs）。它通过8个多模态基准测试来计算模型的平均得分，并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs，旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。

AI项目成本计算器，比较不同AI模型的成本。

OpenAI和其他大型语言模型(LLM)API的成本计算器，帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

开源工具包，用于大型语言模型水印技术的研究和应用。

MarkLLM是一个开源工具包，旨在促进大型语言模型(Large Language Models, LLM)中水印技术的研究和应用。随着LLM的广泛使用，确保机器生成文本的真实性和来源变得至关重要。MarkLLM通过提供一个统一的、可扩展的平台，简化了水印技术的访问、理解和评估。它支持多种水印算法，包括KGW家族和EXP家族的算法，并提供了可视化工具和评估模块，帮助研究人员和开发者评估水印技术的可检测性、稳健性和对文本质量的影响。

一站式构建、部署和测试提示语的工具。

BasicPrompt是一个可以帮助您构建、部署和测试通用提示语的工具。它提供了一个编辑器，您可以使用其中的U块来编写通用的提示语。BasicPrompt会自动优化您的提示语以适应不同的语言模型。您可以通过内置的测试工具来评估提示语在不同模型上的性能。BasicPrompt还支持一键部署提示语到应用程序中，无需编码。通过BasicPrompt，您可以快速构建、部署和共享提示语，让团队成员轻松贡献。

独立分析AI语言模型和API提供商，帮助选择适合的模型和API。

Artificial Analysis是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。

基于GPT-4架构的先进聊天模型，提供高质量的对话体验。

gpt2-chatbot是一个基于GPT-4架构的大型语言模型，由OpenAI训练。它在对话中表现出色，能够提供结构化、有深度的回答，并且在知识存储方面表现出色。该模型在LMSYS的Direct Chat和Arena (Battle)模式中可供使用，允许用户无需登录即可进行交流和评估。

一款12.1B参数的解码型语言模型

Stable LM 2 12B是一种12.1十亿参数的解码器式语言模型,经过2万亿token的多语种和代码数据集预训练。该模型可用作基础模型进行下游任务的微调,但在使用前需要评估和微调以确保安全可靠的性能。该模型可能包含不当内容,建议使用时谨慎评估,不要用于可能会给他人造成伤害的应用。

探讨多模态大型语言模型在解决视觉数学问题中的能力

MATHVERSE项目旨在评估多模态大型语言模型处理和理解视觉数学问题的能力，特别是如何解析和理解问题中的图表信息。

使用大型语言模型进行逆向工程：反编译二进制代码

LLM4Decompile是一个开源项目，旨在创建并发布第一个专门用于反编译的LLM（大型语言模型），并通过构建首个专注于可重编译性和可执行性的反编译基准测试来评估其能力。该项目通过编译大量C代码样本到汇编代码，然后使用这些数据对DeepSeek-Coder模型进行微调，构建了评估基准Decompile-Eval。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

开源语言模型和训练框架

OLMo是一个开源的语言模型和训练框架,由AI2研究院发布。它提供了完整的训练数据、代码、模型参数、评估代码等资源,使研究人员能够训练并实验大规模语言模型。OLMo的优势在于真正开放,用户可以访问从数据到模型的完整信息,辅以丰富的文档,便于研究人员进行开放式研究和协作。该框架降低了语言模型研究的门槛,使更多人参与进来推动语言模型技术进步。

开源代码生成模型

Code Llama 70B是一个大型开源代码生成语言模型,可以从自然语言提示或现有代码片段生成多种编程语言的代码。它基于175亿参数的通用语言模型Llama 2,经过专门针对代码生成任务的微调,可以高效准确地生成Python、C++、Java等语言的代码。Code Llama 70B在人工评估基准测试中取得了67.8的高分,性能超过了以往的开源模型,可与专利模型媲美。它强大的代码生成能力可以提升编程效率,降低编码门槛,启发更多创新应用。

灵活、可共享、可重复使用的生成式AI数据准备和评估工具

Unitxt是一款创新的库，专为生成式语言模型量身定制，用于定制文本数据准备和评估。Unitxt与HuggingFace和LM-eval-harness等常用库进行原生集成，并将处理流程拆分为模块化组件，实现了易定制和共享。这些组件包括模型特定格式、任务提示等全面的数据集处理定义。Unitxt-Catalog集中了这些组件，促进了现代文本数据工作流中的协作和探索。除了是一款工具，Unitxt还是一个社区驱动的平台，赋予用户协作构建、分享和推进他们的数据流水线的能力。

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

基于视觉语言基础模型的胸部X光解读

CheXagent是一个基于视觉语言基础模型的胸部X光解读工具。它利用临床大型语言模型来解析放射学报告，视觉编码器用于表示X光图像，并设计了一个网络来桥接视觉和语言模态。此外，CheXagent还引入了CheXbench，一个旨在系统评估基于视觉语言基础模型在8个临床相关的胸部X光解读任务上的性能的新型基准。经过广泛的定量评估和与五名专家放射科医生的定性评审，CheXagent在CheXbench任务上的表现优于先前开发的通用和医学领域的基础模型。

提高LLM选择性预测能力的框架

ASPIRE是一个设计精良的框架,用于增强大型语言模型的选择性预测能力。它通过参数高效的微调训练LLM进行自我评估,使其能够针对生成的答案输出置信度分数。实验结果表明,ASPIRE在各种问答数据集上明显优于目前的选择性预测方法。

TOFU数据集为大型语言模型的虚构遗忘任务提供基准。

TOFU数据集包含根据不存在的200位作者虚构生成的问答对,用于评估大型语言模型在真实任务上的遗忘性能。该任务的目标是遗忘在各种遗忘集比例上经过微调的模型。该数据集采用问答格式,非常适合用于流行的聊天模型,如Llama2、Mistral或Qwen。但是,它也适用于任何其他大型语言模型。对应的代码库是针对Llama2聊天和Phi-1.5模型编写的,但可以轻松地适配到其他模型。

学习模型间字符串关系，检查视觉世界

这篇论文系统评估了大型语言模型（LLMs）生成和识别逐渐复杂的视觉概念的能力，并展示了如何使用文本模型训练初步的视觉表示学习系统。虽然语言模型不能直接处理像素级的视觉信息，但使用代码表示图像进行研究。LLM 生成的图像虽然不像自然图像，但在图像生成和纠正方面的结果表明，准确建模字符串可以教会语言模型许多关于视觉世界的方面。此外，利用文本模型生成的图像进行自监督视觉表示学习的实验，突出了只使用 LLMs 就能训练能够对自然图像进行语义评估的视觉模型的潜力。