Coarena by Coasty

Coarena by Coasty

Coarena 是由 Y Combinator 支持的计算机使用 AI 评测与模型排行榜平台,由 Coasty Systems Inc 推出。它采用竞技场模式,让两个计算机使用智能体在真实浏览器任务中同时执行操作,由用户盲评哪个表现更好。平台公开任务、方法、数据和结果,按人类偏好、完成度、速度、恢复能力和成本等维度进行排名,并提供排行榜、基准测试、模型画像、安全评测、数据集、方法学文档和 Metrics API。其核心定位是解决当前计算机使用智能体缺乏可靠评测的问题,通过透明可复现的众包评测帮助开发者、研究者和企业在真实场景中比较模型,避免黑箱榜单带来的误导。平台免费向公众开放,用户可登录后参与对战、发布任务并贡献投票。

需求人群:

["- AI 研究者与算法工程师:Coarena 提供公开的原始任务记录、投票数据、数据集和方法学文档,可以高效研究不同模型在真实浏览器任务中的表现差异,并为论文或技术报告引入可引用的评测证据。", "- 企业技术选型与采购决策者:通过多维排行榜和模型对比工具,能够在完成度、速度、恢复能力和成本之间进行权衡,降低选择计算机使用智能体时的试错成本,帮助团队落地自动化的客户服务、数据录入和工作流处理。", "- 智能体开发者和产品经理:在正式发布前使用平台的基准测试和安全评测,发现智能体在真实网页中的失败模式和安全隐患,针对性地改进提示词、工具调用和容错机制,从而提升用户体验。", "- 普通用户和技术爱好者:无需编程即可观看两个智能体执行真实任务并参与投票,直观感受当前计算机使用 AI 的能力边界,同时以众包方式帮助社区收集高质量的人类偏好数据。"]

使用场景示例:

在 Coarena 上发布“预订一家餐厅”的浏览器任务,观看两个智能体如何操作订座网站,并投票选出完成得更好的一方。

使用排行榜筛选出速度最快且成本最低的计算机使用智能体,用于批量处理企业内部的数据录入与表单提交任务。

研究者下载平台的公开数据与引用信息,分析不同智能体在购物、填表和搜索任务中的失败原因,形成评估报告。

产品特色:

- 竞技场实时对战:随机将两个计算机使用智能体置于同一真实浏览器任务中,以匿名方式呈现给用户;用户只依据任务完成效果投票,避免品牌偏好和先入为主的影响,得到更接近真实使用体验的胜负结果。

- 多维模型排行榜:基于大量人类投票与客观指标,按人类偏好、任务完成度、执行速度、故障恢复能力和运行成本等维度对模型进行排序,并提供模型画像与对比工具,帮助用户快速定位适合自研场景的智能体。

- 真实浏览器任务环境:任务需要在真实网页中完成研究、填表、购物、导航等操作,能够检验智能体的规划、点击、输入、读取反馈和异常恢复能力,评测生态远优于静态问答型测试。

- 透明可复现的评测方法:每个排名都附带生成该排名所使用的规则、数据集和方法说明,关键数据全部公开,支持下载证据、查看任务记录和复现评测流程,降低黑箱和不公平比较的风险。

- 安全与知识专项基准:提供 CUA Knowledge、Safety benchmark 等专项评测,覆盖计算机使用智能体所需的知识能力以及执行任务时的安全边界,帮助开发者发现危险操作、越权行为和无害性缺陷。

- 开放生态与协作:用户可以发布自己的任务参与对战,也可以使用 Metrics API 获取榜单数据;平台公开模型身份、证据文件和引用方式,便于外部研究者进行后续分析与学术引用。

使用教程:

1. 打开 Coarena 官网,点击 Sign in 登录,或直接浏览排行榜和基准测试页面。

2. 在 Arena/Play 页面选择一个正在进行的任务,或上传/编写一个自己的浏览器任务。

3. 系统会启动两个匿名的计算机使用智能体同时执行该任务,用户实时观察它们的操作过程。

4. 任务结束后,根据两个智能体的完成效果、效率和处理异常的方式,选择你认为更优的智能体并投票。

5. 投票结果计入排行榜;可继续提交更多任务或浏览模型画像、数据集和方法学文档。

6. 如需程序化访问,可使用 Metrics API 获取榜单数据进行二次分析。

浏览量:0

打开站点

类似产品

© 2026     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图