AI基础设施安全评估工具,用于发现和检测AI系统中的潜在安全风险。
AI Infra Guard是一款由腾讯开发的AI基础设施安全评估工具。它专注于发现和检测AI系统中的潜在安全风险,支持28种AI框架指纹识别,覆盖200多个安全漏洞数据库。该工具轻量级、易于使用,无需复杂配置,具有灵活的匹配语法和跨平台支持。它为AI基础设施的安全性提供了高效的评估手段,帮助企业和开发者保护其AI系统免受安全威胁。
为AI驱动的应用程序提供细粒度权限管理,确保安全性和合规性。
Permit.io AI Access Control 是一款专注于AI应用安全与权限管理的解决方案。它通过细粒度的权限控制,确保AI交互的每个阶段(从输入到输出)都符合安全策略,防止未经授权的输入、数据泄露和有害输出。该产品采用框架无关的技术,支持多种AI框架,并提供灵活的集成方式,可逐步扩展到任何AI技术栈中。Permit.io 的定位是为企业提供AI驱动应用的安全保障,帮助企业在享受AI带来的便利的同时,满足合规性要求。
确保AI可解释、可审计、安全的硬件解决方案
Verifiable Compute是由EQTY Lab与Intel和NVIDIA合作推出的AI框架,旨在治理和审计AI工作流程。它代表了确保AI在运行时可解释、可审计和安全的硬件基础解决方案的重大进步,为消费者和企业提供了加速AI采用和发展的新信心。Verifiable Compute引入了专利待审的基于硬件的加密AI公证和证书系统,以隔离敏感的AI操作,并用不可篡改的记录公证每一个在AI训练和推理中计算的数据对象和代码。它还提供了实时合规性检查和执行AI业务政策以及新的主权AI法规,如欧盟AI法案。Verifiable Compute的新信任层直接根植于NVIDIA和Intel的下一代硬件的硅片中,为AI安全和创新树立了新的标准。
AI驱动的安全工程师,发现并修复代码库中的漏洞
Gecko Security是一个AI驱动的安全工程师,旨在发现并修复代码库中的漏洞。它通过自动化黑客直觉,构建下一代安全工具,使寻找0-day漏洞成为可能。Gecko Security通过在安全沙箱中验证发现,减少误报,测试代码像黑客一样,发现其他工具可能遗漏的逻辑漏洞,并集成到开发环境中,实时捕捉新出现的漏洞。产品背景信息显示,Gecko Security由一支有安全经验的团队开发,致力于提高代码安全性,同时不减缓开发速度。价格方面,Gecko Security提供免费的Open Beta版本,以及针对企业客户的定制计划。
AI安全防护平台,全面管理AI风险
Protect AI是一个专注于AI安全的综合性平台,提供从端到端的AI安全风险管理和防护措施。它通过AI安全态势管理(AI-SPM)整合,帮助企业实现AI应用的安全性,同时保障数据安全和抵御AI特有的安全威胁。该平台能够为AI系统提供全面的可见性、修复和治理,支持企业在AI探索和创新中保持信心。
探索大型语言和视觉语言模型的漏洞与防护
JailbreakZoo是一个专注于破解大型模型(包括大型语言模型和视觉语言模型)的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制,目的是促进对大规模AI系统安全方面的更深入理解和认识。
DeepMind推出的AI安全框架,旨在识别和减轻高级AI模型的未来风险。
Frontier Safety Framework是Google DeepMind提出的一套协议,用于主动识别未来AI能力可能导致严重伤害的情况,并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力,如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究,即训练模型按照人类价值观和社会目标行事,以及Google现有的AI责任和安全实践。
生成AI风险识别自动化框架
PyRIT是由Azure开发的Python风险识别工具,旨在帮助安全专业人员和机器学习工程师主动发现其生成AI系统中的风险。该工具自动化了AI红队任务,使操作者能够专注于更复杂和耗时的任务,同时能够识别安全和隐私危害。
© 2025 AIbase 备案号:闽ICP备08105208号-14