产品库

DeepMind推出的AI安全框架，旨在识别和减轻高级AI模型的未来风险。

Frontier Safety Framework是Google DeepMind提出的一套协议，用于主动识别未来AI能力可能导致严重伤害的情况，并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力，如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究，即训练模型按照人类价值观和社会目标行事，以及Google现有的AI责任和安全实践。

RagaAI Catalyst 是一个用于观察、评估和调试 AI 代理的平台，助力开发者优化 AI 工作流并安全部署。

RagaAI Catalyst 是一款专注于 AI 可观察性、监控和评估的平台，旨在帮助开发者和企业优化 AI 开发流程。它提供了从可视化追踪数据到执行图的用户友好仪表板，支持深度调试和性能提升。该平台强调安全性和可靠性，通过 RagaAI Guardrails 确保上下文准确的 LLM 响应，减少幻觉风险。此外，RagaAI Catalyst 支持定制化评估逻辑，满足特定用例的全面测试需求。其开源特性也为企业提供了透明度和灵活性，适合希望在 AI 开发中实现高效、安全和可扩展的企业和开发者。

AI基础设施安全评估工具，用于发现和检测AI系统中的潜在安全风险。

AI Infra Guard是一款由腾讯开发的AI基础设施安全评估工具。它专注于发现和检测AI系统中的潜在安全风险，支持28种AI框架指纹识别，覆盖200多个安全漏洞数据库。该工具轻量级、易于使用，无需复杂配置，具有灵活的匹配语法和跨平台支持。它为AI基础设施的安全性提供了高效的评估手段，帮助企业和开发者保护其AI系统免受安全威胁。

为AI驱动的应用程序提供细粒度权限管理，确保安全性和合规性。

Permit.io AI Access Control 是一款专注于AI应用安全与权限管理的解决方案。它通过细粒度的权限控制，确保AI交互的每个阶段（从输入到输出）都符合安全策略，防止未经授权的输入、数据泄露和有害输出。该产品采用框架无关的技术，支持多种AI框架，并提供灵活的集成方式，可逐步扩展到任何AI技术栈中。Permit.io 的定位是为企业提供AI驱动应用的安全保障，帮助企业在享受AI带来的便利的同时，满足合规性要求。

一个用于比较大型语言模型在总结短文档时产生幻觉的排行榜。

该产品是一个由Vectara开发的开源项目，用于评估大型语言模型（LLM）在总结短文档时的幻觉产生率。它使用了Vectara的Hughes幻觉评估模型（HHEM-2.1），通过检测模型输出中的幻觉来计算排名。该工具对于研究和开发更可靠的LLM具有重要意义，能够帮助开发者了解和改进模型的准确性。

ZeroBench 是一个针对当代大型多模态模型的高难度视觉基准测试。

ZeroBench 是一个专为评估大型多模态模型（LMMs）视觉理解能力而设计的基准测试。它通过 100 个精心设计且经过严格审查的复杂问题，以及 334 个子问题，挑战当前模型的极限。该基准测试旨在填补现有视觉基准的不足，提供更具挑战性和高质量的评估工具。ZeroBench 的主要优点是其高难度、轻量级、多样化和高质量的特点，使其能够有效区分模型的性能。此外，它还提供了详细的子问题评估，帮助研究人员更好地理解模型的推理能力。

SWE-Lancer 是一个包含 1400 多个自由软件工程任务的基准测试，总价值 100 万美元。

SWE-Lancer 是由 OpenAI 推出的一个基准测试，旨在评估前沿语言模型在真实世界中的自由软件工程任务中的表现。该基准测试涵盖了从 50 美元的漏洞修复到 32000 美元的功能实现等多种独立工程任务，以及模型在技术实现方案之间的选择等管理任务。通过模型将性能映射到货币价值，SWE-Lancer 为研究 AI 模型开发的经济影响提供了新的视角，并推动了相关研究的发展。

AI法律团队，提供全面的法律文档分析和建议

AI Legal Agent Team是一个使用多个AI代理模拟全服务法律团队的Streamlit应用程序。每个代理代表不同的法律专家角色，从研究和合同分析到战略规划，共同提供全面的法律分析和建议。该产品使用GPT-4o进行分析，并使用text-embedding-3-small进行嵌入，需要稳定的互联网连接，并可能产生API使用成本。

确保AI可解释、可审计、安全的硬件解决方案

Verifiable Compute是由EQTY Lab与Intel和NVIDIA合作推出的AI框架，旨在治理和审计AI工作流程。它代表了确保AI在运行时可解释、可审计和安全的硬件基础解决方案的重大进步，为消费者和企业提供了加速AI采用和发展的新信心。Verifiable Compute引入了专利待审的基于硬件的加密AI公证和证书系统，以隔离敏感的AI操作，并用不可篡改的记录公证每一个在AI训练和推理中计算的数据对象和代码。它还提供了实时合规性检查和执行AI业务政策以及新的主权AI法规，如欧盟AI法案。Verifiable Compute的新信任层直接根植于NVIDIA和Intel的下一代硬件的硅片中，为AI安全和创新树立了新的标准。

AI驱动的安全工程师，发现并修复代码库中的漏洞

Gecko Security是一个AI驱动的安全工程师，旨在发现并修复代码库中的漏洞。它通过自动化黑客直觉，构建下一代安全工具，使寻找0-day漏洞成为可能。Gecko Security通过在安全沙箱中验证发现，减少误报，测试代码像黑客一样，发现其他工具可能遗漏的逻辑漏洞，并集成到开发环境中，实时捕捉新出现的漏洞。产品背景信息显示，Gecko Security由一支有安全经验的团队开发，致力于提高代码安全性，同时不减缓开发速度。价格方面，Gecko Security提供免费的Open Beta版本，以及针对企业客户的定制计划。

利用AI技术提升账户研究和规划效率的销售工具

Endgame是一款专注于商业领域的AI销售工具，它通过整合电子邮件、电话、CRM、产品文档、LinkedIn、新闻和财务数据等信息，帮助销售人员深入了解客户，构建信任，从而赢得每一次互动。产品背景信息显示，Endgame旨在解决销售人员在客户互动中面临的数据整合、风险评估和个性化策略制定等挑战，通过AI技术提供即时的账户研究和规划支持。Endgame的价格和定位信息未在页面中明确提供，但可通过页面中的'Get a demo'链接获取更多信息。

AI安全框架，引导AI安全和负责任地构建

Google的Secure AI Framework（SAIF）是一个实践指南，旨在帮助从业者通过安全视角导航AI开发。它提供了一个框架，用于理解和应对AI开发过程中固有的安全风险，并提供了相应的控制措施来帮助解决这些问题。SAIF代表了Google在全球规模上防御AI的经验，强调了构建AI时的安全性和责任感。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

AI风险数据库与分类系统

AI Risk Repository是一个全面的生活数据库，收录了700多个AI风险，并根据其原因和风险领域进行了分类。它提供了一个易于访问的AI风险概览，是研究人员、开发者、企业、评估者、审计师、政策制定者和监管者共同参考的框架，有助于发展研究、课程、审计和政策。

AI安全防护平台，全面管理AI风险

Protect AI是一个专注于AI安全的综合性平台，提供从端到端的AI安全风险管理和防护措施。它通过AI安全态势管理(AI-SPM)整合，帮助企业实现AI应用的安全性，同时保障数据安全和抵御AI特有的安全威胁。该平台能够为AI系统提供全面的可见性、修复和治理，支持企业在AI探索和创新中保持信心。

AI应用开发加速器

Anthropic Console是一个为AI应用开发提供支持的平台，它通过内置的提示生成器，测试案例生成器和模型响应评估工具，帮助开发者快速生成高质量的提示，测试和优化AI模型的响应。该平台利用Claude 3.5 Sonnet模型，简化了开发流程，提高了AI应用的产出质量。

探索大型语言和视觉语言模型的漏洞与防护

JailbreakZoo是一个专注于破解大型模型（包括大型语言模型和视觉语言模型）的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制，目的是促进对大规模AI系统安全方面的更深入理解和认识。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

ImagenHub:标准化条件图像生成模型的推理和评估

ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。

生成AI风险识别自动化框架

PyRIT是由Azure开发的Python风险识别工具，旨在帮助安全专业人员和机器学习工程师主动发现其生成AI系统中的风险。该工具自动化了AI红队任务，使操作者能够专注于更复杂和耗时的任务，同时能够识别安全和隐私危害。

Vision Arena是一个面向计算机视觉领域的开源模型测试平台

Vision Arena是一个由Hugging Face创建的开源平台,用于测试和比较不同的计算机视觉模型效果。它提供了一个友好的界面,允许用户上传图片并通过不同模型处理,从而直观地对比结果质量。平台预装了主流的图像分类、对象检测、语义分割等模型,也支持自定义模型。关键优势是开源免费,使用简单,支持多模型并行测试,有利于模型效果评估和选择。适用于计算机视觉研发人员、算法工程师等角色,可以加速计算机视觉模型的实验和调优。

几秒内生成具有定制合规安全工作方法说明书

SWMS AI利用人工智能技术,在几秒内生成针对特定工作的安全工作方法说明书,简化安全合规工作流程。用户只需提供项目细节,SWMS AI即可快速生成安全工作顺序、识别危险因素、分配风险等级并提出适当的控制措施,从而制定符合要求的风险评估。SWMS AI可定制化以配合公司的安全标准和要求。

混合专家模型，性能优于单个专家模型

phixtral-2x2_8是第一个由两个microsoft/phi-2模型制作的混合专家模型，受到mistralai/Mixtral-8x7B-v0.1架构的启发。其性能优于每个单独的专家模型。该模型在AGIEval、GPT4All、TruthfulQA、Bigbench等多个评估指标上表现优异。它采用了自定义版本的mergekit库（mixtral分支）和特定配置。用户可以在Colab notebook上以4位精度在免费的T4 GPU上运行Phixtral。模型大小为4.46B参数，张量类型为F16。

简化LLM和RAG模型输出评估，提供对定性指标的洞察

Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。

洞察管理平台

Manot洞察管理平台通过准确定位改进计算机视觉模型的表现。它为产品经理和工程师提供了可操作的见解,以便他们能够确定计算机视觉模型失败的原因。

AI 驱动的安全设计审查

Remy Security 是一款 AI 驱动的安全设计审查工具，可以帮助减少昂贵的审查会议，按照风险级别对设计进行优先排序，并以更少的工作量生成高质量的审查结果。它通过自动生成问题和反馈，为您提供发送给设计作者的具体风险方面的见解。Remy 提供建议，您做出决策。您可以在发送之前编辑、重新生成或审查建议。Remy 旨在赋予您权力，而不是取代您。

保护您的AI应用安全免受攻击

Lakera Guard通过一行代码为机器学习模型提供企业级安全保护,防止prompt注入、数据泄露、有害内容生成等安全风险,让组织轻松构建安全可靠的AI应用。

查找云存储中的开放存储桶

OpenBuckets是一个在线平台，通过简单的搜索可以轻松找到云存储中的开放存储桶。该工具还可以在这些存储桶中进行目标文件类型的搜索，对于安全专家、研究人员和那些想要发现暴露数据的人来说非常有价值。OpenBuckets每天更新数据，提供多云提供商支持，具有过滤选项和API访问，以及识别敏感信息和自定义扫描等功能。

AI安全、美术、音乐等多种工具，赋能行业，让创作更简单

行者AI提供多种工具，包括AI安全、美术、音乐等，赋能行业，让创作更简单。其中包括内容风控、游戏风控、解决方案、智能反灰、产云短信、信息认证、人工审核、AI绘图创作、AI模型训练、二次元转化、ICON生成、3D减面、2D转3D、场景切换等功能。产品定位为提供专业内容与业务安全服务，赋能行业，让艺术创作更简单。产品定价根据不同功能点而定。

AI合规简化

我们的平台帮助您了解AI系统的风险水平，更容易满足监管要求。使用我们的先进报告工具，为透明义务生成详细报告，专为欧盟的AI法规而设计。