研究项目,探索自动语言模型基准测试中的作弊行为。
Cheating LLM Benchmarks 是一个研究项目,旨在通过构建所谓的“零模型”(null models)来探索在自动语言模型(LLM)基准测试中的作弊行为。该项目通过实验发现,即使是简单的零模型也能在这些基准测试中取得高胜率,这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。
AI应用开发加速器
Anthropic Console是一个为AI应用开发提供支持的平台,它通过内置的提示生成器,测试案例生成器和模型响应评估工具,帮助开发者快速生成高质量的提示,测试和优化AI模型的响应。该平台利用Claude 3.5 Sonnet模型,简化了开发流程,提高了AI应用的产出质量。
快速生成问答数据,评估语言模型。
FiddleCube是一个专注于数据科学领域的产品,它能够快速地从用户的数据中生成问答对,帮助用户评估大型语言模型(LLMs)。它提供了准确的黄金数据集,支持多种问题类型,并能够通过度量标准来评估数据的准确性。此外,FiddleCube还提供了诊断工具,帮助用户找出并改进性能不佳的查询。
DeepMind推出的AI安全框架,旨在识别和减轻高级AI模型的未来风险。
Frontier Safety Framework是Google DeepMind提出的一套协议,用于主动识别未来AI能力可能导致严重伤害的情况,并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力,如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究,即训练模型按照人类价值观和社会目标行事,以及Google现有的AI责任和安全实践。
ImagenHub:标准化条件图像生成模型的推理和评估
ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。
Vision Arena是一个面向计算机视觉领域的开源模型测试平台
Vision Arena是一个由Hugging Face创建的开源平台,用于测试和比较不同的计算机视觉模型效果。它提供了一个友好的界面,允许用户上传图片并通过不同模型处理,从而直观地对比结果质量。平台预装了主流的图像分类、对象检测、语义分割等模型,也支持自定义模型。关键优势是开源免费,使用简单,支持多模型并行测试,有利于模型效果评估和选择。适用于计算机视觉研发人员、算法工程师等角色,可以加速计算机视觉模型的实验和调优。
混合专家模型,性能优于单个专家模型
phixtral-2x2_8是第一个由两个microsoft/phi-2模型制作的混合专家模型,受到mistralai/Mixtral-8x7B-v0.1架构的启发。其性能优于每个单独的专家模型。该模型在AGIEval、GPT4All、TruthfulQA、Bigbench等多个评估指标上表现优异。它采用了自定义版本的mergekit库(mixtral分支)和特定配置。用户可以在Colab notebook上以4位精度在免费的T4 GPU上运行Phixtral。模型大小为4.46B参数,张量类型为F16。
© 2024 AIbase 备案号:闽ICP备08105208号-14