产品库

DeepMind推出的AI安全框架，旨在识别和减轻高级AI模型的未来风险。

Frontier Safety Framework是Google DeepMind提出的一套协议，用于主动识别未来AI能力可能导致严重伤害的情况，并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力，如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究，即训练模型按照人类价值观和社会目标行事，以及Google现有的AI责任和安全实践。

AI驱动的安全工程师，发现并修复代码库中的漏洞

Gecko Security是一个AI驱动的安全工程师，旨在发现并修复代码库中的漏洞。它通过自动化黑客直觉，构建下一代安全工具，使寻找0-day漏洞成为可能。Gecko Security通过在安全沙箱中验证发现，减少误报，测试代码像黑客一样，发现其他工具可能遗漏的逻辑漏洞，并集成到开发环境中，实时捕捉新出现的漏洞。产品背景信息显示，Gecko Security由一支有安全经验的团队开发，致力于提高代码安全性，同时不减缓开发速度。价格方面，Gecko Security提供免费的Open Beta版本，以及针对企业客户的定制计划。

利用AI技术提升账户研究和规划效率的销售工具

Endgame是一款专注于商业领域的AI销售工具，它通过整合电子邮件、电话、CRM、产品文档、LinkedIn、新闻和财务数据等信息，帮助销售人员深入了解客户，构建信任，从而赢得每一次互动。产品背景信息显示，Endgame旨在解决销售人员在客户互动中面临的数据整合、风险评估和个性化策略制定等挑战，通过AI技术提供即时的账户研究和规划支持。Endgame的价格和定位信息未在页面中明确提供，但可通过页面中的'Get a demo'链接获取更多信息。

AI安全框架，引导AI安全和负责任地构建

Google的Secure AI Framework（SAIF）是一个实践指南，旨在帮助从业者通过安全视角导航AI开发。它提供了一个框架，用于理解和应对AI开发过程中固有的安全风险，并提供了相应的控制措施来帮助解决这些问题。SAIF代表了Google在全球规模上防御AI的经验，强调了构建AI时的安全性和责任感。

研究项目，探索自动语言模型基准测试中的作弊行为。

Cheating LLM Benchmarks 是一个研究项目，旨在通过构建所谓的“零模型”（null models）来探索在自动语言模型（LLM）基准测试中的作弊行为。该项目通过实验发现，即使是简单的零模型也能在这些基准测试中取得高胜率，这挑战了现有基准测试的有效性和可靠性。该研究对于理解当前语言模型的局限性和改进基准测试方法具有重要意义。

AI风险数据库与分类系统

AI Risk Repository是一个全面的生活数据库，收录了700多个AI风险，并根据其原因和风险领域进行了分类。它提供了一个易于访问的AI风险概览，是研究人员、开发者、企业、评估者、审计师、政策制定者和监管者共同参考的框架，有助于发展研究、课程、审计和政策。

AI安全防护平台，全面管理AI风险

Protect AI是一个专注于AI安全的综合性平台，提供从端到端的AI安全风险管理和防护措施。它通过AI安全态势管理(AI-SPM)整合，帮助企业实现AI应用的安全性，同时保障数据安全和抵御AI特有的安全威胁。该平台能够为AI系统提供全面的可见性、修复和治理，支持企业在AI探索和创新中保持信心。

AI应用开发加速器

Anthropic Console是一个为AI应用开发提供支持的平台，它通过内置的提示生成器，测试案例生成器和模型响应评估工具，帮助开发者快速生成高质量的提示，测试和优化AI模型的响应。该平台利用Claude 3.5 Sonnet模型，简化了开发流程，提高了AI应用的产出质量。

探索大型语言和视觉语言模型的漏洞与防护

JailbreakZoo是一个专注于破解大型模型（包括大型语言模型和视觉语言模型）的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制，目的是促进对大规模AI系统安全方面的更深入理解和认识。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

ImagenHub:标准化条件图像生成模型的推理和评估

ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。

生成AI风险识别自动化框架

PyRIT是由Azure开发的Python风险识别工具，旨在帮助安全专业人员和机器学习工程师主动发现其生成AI系统中的风险。该工具自动化了AI红队任务，使操作者能够专注于更复杂和耗时的任务，同时能够识别安全和隐私危害。

Vision Arena是一个面向计算机视觉领域的开源模型测试平台

Vision Arena是一个由Hugging Face创建的开源平台,用于测试和比较不同的计算机视觉模型效果。它提供了一个友好的界面,允许用户上传图片并通过不同模型处理,从而直观地对比结果质量。平台预装了主流的图像分类、对象检测、语义分割等模型,也支持自定义模型。关键优势是开源免费,使用简单,支持多模型并行测试,有利于模型效果评估和选择。适用于计算机视觉研发人员、算法工程师等角色,可以加速计算机视觉模型的实验和调优。

几秒内生成具有定制合规安全工作方法说明书

SWMS AI利用人工智能技术,在几秒内生成针对特定工作的安全工作方法说明书,简化安全合规工作流程。用户只需提供项目细节,SWMS AI即可快速生成安全工作顺序、识别危险因素、分配风险等级并提出适当的控制措施,从而制定符合要求的风险评估。SWMS AI可定制化以配合公司的安全标准和要求。

混合专家模型，性能优于单个专家模型

phixtral-2x2_8是第一个由两个microsoft/phi-2模型制作的混合专家模型，受到mistralai/Mixtral-8x7B-v0.1架构的启发。其性能优于每个单独的专家模型。该模型在AGIEval、GPT4All、TruthfulQA、Bigbench等多个评估指标上表现优异。它采用了自定义版本的mergekit库（mixtral分支）和特定配置。用户可以在Colab notebook上以4位精度在免费的T4 GPU上运行Phixtral。模型大小为4.46B参数，张量类型为F16。

简化LLM和RAG模型输出评估，提供对定性指标的洞察

Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。

洞察管理平台

Manot洞察管理平台通过准确定位改进计算机视觉模型的表现。它为产品经理和工程师提供了可操作的见解,以便他们能够确定计算机视觉模型失败的原因。

AI 驱动的安全设计审查

Remy Security 是一款 AI 驱动的安全设计审查工具，可以帮助减少昂贵的审查会议，按照风险级别对设计进行优先排序，并以更少的工作量生成高质量的审查结果。它通过自动生成问题和反馈，为您提供发送给设计作者的具体风险方面的见解。Remy 提供建议，您做出决策。您可以在发送之前编辑、重新生成或审查建议。Remy 旨在赋予您权力，而不是取代您。

保护您的AI应用安全免受攻击

Lakera Guard通过一行代码为机器学习模型提供企业级安全保护,防止prompt注入、数据泄露、有害内容生成等安全风险,让组织轻松构建安全可靠的AI应用。

查找云存储中的开放存储桶

OpenBuckets是一个在线平台，通过简单的搜索可以轻松找到云存储中的开放存储桶。该工具还可以在这些存储桶中进行目标文件类型的搜索，对于安全专家、研究人员和那些想要发现暴露数据的人来说非常有价值。OpenBuckets每天更新数据，提供多云提供商支持，具有过滤选项和API访问，以及识别敏感信息和自定义扫描等功能。

AI安全、美术、音乐等多种工具，赋能行业，让创作更简单

行者AI提供多种工具，包括AI安全、美术、音乐等，赋能行业，让创作更简单。其中包括内容风控、游戏风控、解决方案、智能反灰、产云短信、信息认证、人工审核、AI绘图创作、AI模型训练、二次元转化、ICON生成、3D减面、2D转3D、场景切换等功能。产品定位为提供专业内容与业务安全服务，赋能行业，让艺术创作更简单。产品定价根据不同功能点而定。

AI合规简化

我们的平台帮助您了解AI系统的风险水平，更容易满足监管要求。使用我们的先进报告工具，为透明义务生成详细报告，专为欧盟的AI法规而设计。

保护您的AI应用免受提示注入的威胁

NoPromptInjections是一款用于保护AI应用免受提示注入威胁的产品。它提供简单的API接口，快速易用。定价透明，根据数据大小计费。适用于各种AI应用场景。

简化合同分析的AI平台

Legaliser是一个直观高效的AI驱动合同分析平台，帮助企业和个人轻松审查、理解和优化合同。通过AI驱动的洞见，发现合同的好处。

外部网络安全的顶级攻击面管理平台

Surfaccer是一款专注于外部网络安全的攻击面管理平台。它通过自动化扫描和监测，帮助组织发现和管理潜在的安全风险，提供实时的威胁情报和风险评估，有效保护组织的网络和数据安全。Surfaccer具有直观的用户界面和强大的功能，支持定制化报告和告警，可满足各种规模和行业的安全需求。

将渗透测试和风险评估报告转化为协作工作空间，分配任务，跟踪进展，利用AI洞察

Mitigated.io是一个将渗透测试和风险评估报告转化为协作工作空间的平台。用户可以导入报告，邀请团队成员，共同解决问题，并追踪进展。该平台还提供AI增强的缓解指导，易于导入报告，Kanban等功能。此外，用户还可以从平台上直接获取安全缓解服务。Mitigated.io旨在帮助用户更高效地进行安全缓解，提高安全性。

AI驱动的网络安全风险评估与审计工具

CyberRiskAI是一款由AI驱动的网络安全风险评估与审计工具，提供全面的工具、模板和清单，帮助企业识别和减轻网络安全风险，并向客户传达信任。我们基于NIST 800-171或ISO/IEC 27001提供框架，以全面的风险评估模板和清单来快速、准确、经济地完成网络安全风险审核。通过获取潜在漏洞的有价值洞察，您可以优先考虑安全工作，并与合作伙伴建立信任。