Prometheus-Eval

简介:

用于评估其他语言模型的开源工具集

功能:

绝对评分:根据给定的指令、参考答案和评分标准,输出1到5的分数

相对评分:基于给定的指令和评分标准,评估两个响应,输出'A'或'B'以表示更好的响应

支持直接从 Huggingface Hub 下载模型权重

提供 Python 包 prometheus-eval 用于简化评估过程

包含训练 Prometheus 模型或在自定义数据集上微调的脚本

提供评估数据集,用于训练和评估 Prometheus 模型

支持在消费者级 GPU 上运行,减少资源需求

需求人群:

["研究人员和开发者:用于评估和优化他们自己的语言模型","教育机构:作为教学工具,帮助学生理解语言模型的评估过程","企业:构建内部评估流程,不依赖闭源模型,保护数据隐私"]

浏览量:23

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图