简介:
通过人机盲评对战,实时比较计算机使用AI代理的成效、速度与成本。
功能:
- 竞技场实时对战:随机将两个计算机使用智能体置于同一真实浏览器任务中,以匿名方式呈现给用户;用户只依据任务完成效果投票,避免品牌偏好和先入为主的影响,得到更接近真实使用体验的胜负结果。
- 多维模型排行榜:基于大量人类投票与客观指标,按人类偏好、任务完成度、执行速度、故障恢复能力和运行成本等维度对模型进行排序,并提供模型画像与对比工具,帮助用户快速定位适合自研场景的智能体。
- 真实浏览器任务环境:任务需要在真实网页中完成研究、填表、购物、导航等操作,能够检验智能体的规划、点击、输入、读取反馈和异常恢复能力,评测生态远优于静态问答型测试。
- 透明可复现的评测方法:每个排名都附带生成该排名所使用的规则、数据集和方法说明,关键数据全部公开,支持下载证据、查看任务记录和复现评测流程,降低黑箱和不公平比较的风险。
- 安全与知识专项基准:提供 CUA Knowledge、Safety benchmark 等专项评测,覆盖计算机使用智能体所需的知识能力以及执行任务时的安全边界,帮助开发者发现危险操作、越权行为和无害性缺陷。
- 开放生态与协作:用户可以发布自己的任务参与对战,也可以使用 Metrics API 获取榜单数据;平台公开模型身份、证据文件和引用方式,便于外部研究者进行后续分析与学术引用。
需求人群:
["- AI 研究者与算法工程师:Coarena 提供公开的原始任务记录、投票数据、数据集和方法学文档,可以高效研究不同模型在真实浏览器任务中的表现差异,并为论文或技术报告引入可引用的评测证据。", "- 企业技术选型与采购决策者:通过多维排行榜和模型对比工具,能够在完成度、速度、恢复能力和成本之间进行权衡,降低选择计算机使用智能体时的试错成本,帮助团队落地自动化的客户服务、数据录入和工作流处理。", "- 智能体开发者和产品经理:在正式发布前使用平台的基准测试和安全评测,发现智能体在真实网页中的失败模式和安全隐患,针对性地改进提示词、工具调用和容错机制,从而提升用户体验。", "- 普通用户和技术爱好者:无需编程即可观看两个智能体执行真实任务并参与投票,直观感受当前计算机使用 AI 的能力边界,同时以众包方式帮助社区收集高质量的人类偏好数据。"]
浏览量:0
© 2026 AIbase 备案号:闽ICP备08105208号-14