在线聊天机器人竞技场,比较不同语言模型的表现。
LMSYS Chatbot Arena 是一个在线平台,旨在通过用户与匿名聊天机器人模型的互动,对大型语言模型(Large Language Models, LLMs)进行基准测试。该平台收集了超过70万次人类投票,计算出LLM的Elo排行榜,以确定谁是聊天机器人领域的冠军。平台提供了一个研究预览,具有有限的安全措施,可能生成不当内容,因此需要用户遵守特定的使用条款。
用于评估文本到视觉生成的创新性指标和基准测试
Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。
对视觉生成模型进行基准测试
GenAI-Arena是一个用于在野外对视觉生成模型进行基准测试的平台。用户可以匿名参与竞技,对比目标模型的表现,并投票选出更优秀的模型。平台支持不同领域的匿名模型对决,帮助用户找到最佳的条件图像生成模型。用户可以点击“New Round”开始新的对决,并通过点击按钮投票选择更优秀的模型。
一个用于评估大型视觉语言模型的精英基准测试集
MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。
Apollo是一个多语言医学领域的模型、数据集、基准和代码库
Apollo项目由FreedomIntelligence组织维护,旨在通过提供多语言医学领域的大型语言模型(LLMs)来民主化医疗AI,覆盖6亿人。该项目包括模型、数据集、基准测试和相关代码。
© 2024 AIbase 备案号:闽ICP备2023012347号-1