OpenScholar_ExpertEval是一个用于专家评估和数据评估的界面和脚本集合，旨在支持OpenScholar项目。该项目通过检索增强型语言模型合成科学文献，对模型生成的文本进行细致的人工评估。产品背景基于AllenAI的研究项目，具有重要的学术和技术价值，能够帮助研究人员和开发者更好地理解和改进语言模型。
需求人群：
"目标受众为研究人员、开发者和教育工作者，特别是那些在自然语言处理和机器学习领域工作的专业人士。该产品适合他们，因为它提供了一个平台来评估和改进语言模型的性能，特别是在科学文献合成方面。"
使用场景示例：
研究人员使用该工具来评估不同语言模型生成的科学文献的准确性和可靠性。
教育工作者可以利用该工具来教授学生如何评估AI生成的内容。
开发者可以利用该工具来测试和改进他们自己的语言模型。
产品特色：
提供人工评估标注界面：用于专家对模型生成的文本进行评估。
支持RAG评估：能够对检索增强型生成模型进行评估。
细粒度评估：允许专家进行更细致的评估。
数据准备：需要将评估实例放入指定文件夹，支持JSONL格式。
结果数据库存储：评估结果默认存储在本地数据库文件中。
结果导出：支持将评估结果导出为Excel文件。
评估指标计算：提供脚本计算评估指标和一致性。
界面分享：支持在云服务上部署，以便分享评估界面。
使用教程：
1. 安装环境：按照README中的指南创建并激活虚拟环境，并安装依赖。
2. 准备数据：将评估实例放入`data`文件夹中，每个实例应包含提示和两个模型的完成结果。
3. 运行应用：使用`python app.py`命令启动评估界面。
4. 访问界面：在浏览器中打开`http://localhost:5001`来访问评估界面。
5. 评估结果：评估完成后，可以在`http://localhost:5001/summary`查看进度。
6. 结果导出：使用`python export_db.py`命令将评估结果导出为Excel文件。
7. 计算指标：使用`python compute_metrics.py`命令计算评估指标和一致性。
浏览量：3
最新流量情况
月访问量
5.16m
平均访问时长
00:06:42
每次访问页数
5.81
跳出率
37.20%
流量来源
直接访问
52.27%
自然搜索
32.92%
邮件
0.05%
外链引荐
12.52%
社交媒体
2.15%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
11.99%
德国
3.63%
印度
9.20%
俄罗斯
5.25%
美国
19.02%
专家评估界面和数据评估脚本
OpenScholar_ExpertEval是一个用于专家评估和数据评估的界面和脚本集合，旨在支持OpenScholar项目。该项目通过检索增强型语言模型合成科学文献，对模型生成的文本进行细致的人工评估。产品背景基于AllenAI的研究项目，具有重要的学术和技术价值，能够帮助研究人员和开发者更好地理解和改进语言模型。
ImagenHub:标准化条件图像生成模型的推理和评估
ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。
© 2024 AIbase 备案号：闽ICP备08105208号-14