产品库

AI驱动的网络安全风险评估与审计工具

CyberRiskAI是一款由AI驱动的网络安全风险评估与审计工具，提供全面的工具、模板和清单，帮助企业识别和减轻网络安全风险，并向客户传达信任。我们基于NIST 800-171或ISO/IEC 27001提供框架，以全面的风险评估模板和清单来快速、准确、经济地完成网络安全风险审核。通过获取潜在漏洞的有价值洞察，您可以优先考虑安全工作，并与合作伙伴建立信任。

DeepMind推出的AI安全框架，旨在识别和减轻高级AI模型的未来风险。

Frontier Safety Framework是Google DeepMind提出的一套协议，用于主动识别未来AI能力可能导致严重伤害的情况，并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力，如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究，即训练模型按照人类价值观和社会目标行事，以及Google现有的AI责任和安全实践。

城市安全评估工具，快速了解区域安全状况

locationCheck是一款AI城市安全评估工具，用户可以通过该应用搜索并扫描城市特定区域，并通过情感分析评估该地点的总体安全性。它为用户提供实时数据支持，帮助做出关于城市不同区域安全性的明智决策。该应用免费提供基础功能，并提供付费升级以获得更高级的用户体验。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

将渗透测试和风险评估报告转化为协作工作空间，分配任务，跟踪进展，利用AI洞察

Mitigated.io是一个将渗透测试和风险评估报告转化为协作工作空间的平台。用户可以导入报告，邀请团队成员，共同解决问题，并追踪进展。该平台还提供AI增强的缓解指导，易于导入报告，Kanban等功能。此外，用户还可以从平台上直接获取安全缓解服务。Mitigated.io旨在帮助用户更高效地进行安全缓解，提高安全性。

AI 驱动的安全设计审查

Remy Security 是一款 AI 驱动的安全设计审查工具，可以帮助减少昂贵的审查会议，按照风险级别对设计进行优先排序，并以更少的工作量生成高质量的审查结果。它通过自动生成问题和反馈，为您提供发送给设计作者的具体风险方面的见解。Remy 提供建议，您做出决策。您可以在发送之前编辑、重新生成或审查建议。Remy 旨在赋予您权力，而不是取代您。

AI安全框架，引导AI安全和负责任地构建

Google的Secure AI Framework（SAIF）是一个实践指南，旨在帮助从业者通过安全视角导航AI开发。它提供了一个框架，用于理解和应对AI开发过程中固有的安全风险，并提供了相应的控制措施来帮助解决这些问题。SAIF代表了Google在全球规模上防御AI的经验，强调了构建AI时的安全性和责任感。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

专家评估界面和数据评估脚本

OpenScholar_ExpertEval是一个用于专家评估和数据评估的界面和脚本集合，旨在支持OpenScholar项目。该项目通过检索增强型语言模型合成科学文献，对模型生成的文本进行细致的人工评估。产品背景基于AllenAI的研究项目，具有重要的学术和技术价值，能够帮助研究人员和开发者更好地理解和改进语言模型。

用于评估文本、对话和RAG设置的通用评估模型

Patronus GLIDER是一个经过微调的phi-3.5-mini-instruct模型，可以作为通用评估模型，根据用户定义的标准和评分规则来评判文本、对话和RAG设置。该模型使用合成数据和领域适应数据进行训练，覆盖了183个指标和685个领域，包括金融、医学等。模型支持的最大序列长度为8192个token，但经过测试可以支持更长的文本（高达12000个token）。

AI模型软件工程能力评估工具

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。

AI模型性能评估平台

Scale Leaderboard是一个专注于AI模型性能评估的平台，提供专家驱动的私有评估数据集，确保评估结果的公正性和无污染。该平台定期更新排行榜，包括新的数据集和模型，营造动态竞争环境。评估由经过严格审查的专家使用特定领域的方法进行，保证评估的高质量和可信度。

几秒内生成具有定制合规安全工作方法说明书

SWMS AI利用人工智能技术,在几秒内生成针对特定工作的安全工作方法说明书,简化安全合规工作流程。用户只需提供项目细节,SWMS AI即可快速生成安全工作顺序、识别危险因素、分配风险等级并提出适当的控制措施,从而制定符合要求的风险评估。SWMS AI可定制化以配合公司的安全标准和要求。

使用我们的AI评估工具，上传照片即可获得免费评估。

SnapAppraise是一个提供珠宝首饰评估的在线平台。通过上传照片，我们的AI评估工具可以快速分析珠宝首饰的价值并生成详细的评估报告。SnapAppraise提供免费的初步评估，方便用户在安排面对面评估之前获得快速的预估价值。

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。

网站优化神器，AI智能评估插件

Bolty是一款AI智能评估插件，通过使用ChatGPT提供网站内容的洞察。它简单易用：1. 扫描网站 2. 评估优化建议

AI风险数据库与分类系统

AI Risk Repository是一个全面的生活数据库，收录了700多个AI风险，并根据其原因和风险领域进行了分类。它提供了一个易于访问的AI风险概览，是研究人员、开发者、企业、评估者、审计师、政策制定者和监管者共同参考的框架，有助于发展研究、课程、审计和政策。

AI安全防护平台，全面管理AI风险

Protect AI是一个专注于AI安全的综合性平台，提供从端到端的AI安全风险管理和防护措施。它通过AI安全态势管理(AI-SPM)整合，帮助企业实现AI应用的安全性，同时保障数据安全和抵御AI特有的安全威胁。该平台能够为AI系统提供全面的可见性、修复和治理，支持企业在AI探索和创新中保持信心。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

通过 Minecraft 评估 AI 的表现。

MC-Bench 是一个在线平台，旨在通过 Minecraft 游戏环境评估和比较不同 AI 生成的建筑。它允许用户投票并参与到 AI 评估中，促进 AI 技术的发展。该平台的主要优势在于其趣味性和互动性，为用户提供了一个简单而有趣的方式来了解 AI 的能力。

评估大型语言模型调用函数能力的排行榜

Berkeley Function-Calling Leaderboard（伯克利函数调用排行榜）是一个专门用来评估大型语言模型（LLMs）准确调用函数（或工具）能力的在线平台。该排行榜基于真实世界数据，定期更新，提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

AI基础设施安全评估工具，用于发现和检测AI系统中的潜在安全风险。

AI Infra Guard是一款由腾讯开发的AI基础设施安全评估工具。它专注于发现和检测AI系统中的潜在安全风险，支持28种AI框架指纹识别，覆盖200多个安全漏洞数据库。该工具轻量级、易于使用，无需复杂配置，具有灵活的匹配语法和跨平台支持。它为AI基础设施的安全性提供了高效的评估手段，帮助企业和开发者保护其AI系统免受安全威胁。

开源幻觉评估模型

Patronus-Lynx-8B-Instruct-v1.1是基于meta-llama/Meta-Llama-3.1-8B-Instruct模型的微调版本，主要用于检测RAG设置中的幻觉。该模型经过CovidQA、PubmedQA、DROP、RAGTruth等多个数据集的训练，包含人工标注和合成数据。它能够评估给定文档、问题和答案是否忠实于文档内容，不提供超出文档范围的新信息，也不与文档信息相矛盾。

新型AI驱动的编码评估

Ropes AI是一种新型的编码评估工具，利用人工智能技术进行评估。它能够生成总结每个编码评估的详细信息，并给出评分卡。同时，它还提供了定制的编程挑战，让候选人有机会展示自己的技能。Ropes AI还可以根据您的业务需求定制编码挑战，并提供了防作弊功能和候选人友好的体验。

简化LLM和RAG模型输出评估，提供对定性指标的洞察

Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。

大型语言模型排行榜，实时评估模型性能。

OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估，为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜，帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

在线伤病评估工具

Anatolink是一个快速免费的在线伤病评估工具，结合交互式3D软件和生成式人工智能，为广泛的身体健康问题提供全面的指导。该工具赋予用户关于身体的知识，并提供最佳的物理治疗洞见，使您保持活动和健康。

一种用于测试长文本语言模型的合理性的评估基准

RULER 是一种新的合成基准，为长文本语言模型提供了更全面的评估。它扩展了普通检索测试，涵盖了不同类型和数量的信息点。此外，RULER 引入了新的任务类别，如多跳跟踪和聚合，以测试超出检索从上下文中的行为。在 RULER 上评估了 10 个长文本语言模型，并在 13 个代表性任务中获得了表现。尽管这些模型在普通检索测试中取得了几乎完美的准确性，但在上下文长度增加时，它们表现得非常差。只有四个模型（GPT-4、Command-R、Yi-34B 和 Mixtral）在长度为 32K 时表现得相当不错。我们公开源 RULER，以促进对长文本语言模型的全面评估。

智能招聘评估工具

Potis是一个AI驱动的招聘评估工具，能够自动评估应聘者的实际工作技能，提供实际案例测试、防作弊的评估方法、公正的人才评分系统等特点。Potis自动化评估可以节省高达80%的招聘初始预算，并加速招聘流程5倍，适用于所有层级的招聘需求。