产品库

探索大型语言和视觉语言模型的漏洞与防护

JailbreakZoo是一个专注于破解大型模型（包括大型语言模型和视觉语言模型）的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制，目的是促进对大规模AI系统安全方面的更深入理解和认识。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

AI + 安全双重赋能，助力企业数智化转型。

360 企业安全浏览器是面向企业用户的智能办公安全浏览器，通过结合 AI 技术和安全防护措施，旨在提升企业的工作效率与数据安全。该产品支持多平台使用（包括 Windows、macOS 和 Linux），并提供集中管理功能，适合各种规模的企业进行灵活部署。产品定位于提供全面的数据保护和灵活的管理策略，价格方面提供基础版、专业版和旗舰版等多种付费方案，满足不同企业需求。

一份综合性的 MCP 基础 AI 工具安全检查清单。

MCP 安全检查表是由 SlowMist 团队编制和维护的，旨在帮助开发者识别和减轻 MCP 实施过程中的安全风险。随着基于 MCP 标准的 AI 工具迅速发展，安全问题愈发重要。该检查表提供了详尽的安全指导，涵盖 MCP 服务器、客户端及多种场景的安全需求，以保护用户隐私并提升整体系统的稳定性和可控性。

安全内容审核模型

ShieldGemma是由Google开发的一系列基于Gemma 2构建的安全内容审核模型，专注于四个危害类别（儿童不宜内容、危险内容、仇恨和骚扰）。它们是文本到文本的解码器仅大型语言模型，仅包含英文版本，具有开放权重，包括2B、9B和27B参数大小的模型。这些模型旨在作为负责任的生成AI工具包的一部分，提高AI应用的安全性。

高分辨率多视角扩散模型，使用高效行注意力机制。

Era3D是一个开源的高分辨率多视角扩散模型，它通过高效的行注意力机制来生成高质量的图像。该模型能够生成多视角的颜色和法线图像，支持自定义参数以获得最佳结果。Era3D在图像生成领域具有重要性，因为它提供了一种新的方法来生成逼真的三维图像。

DeepMind推出的AI安全框架，旨在识别和减轻高级AI模型的未来风险。

Frontier Safety Framework是Google DeepMind提出的一套协议，用于主动识别未来AI能力可能导致严重伤害的情况，并建立机制来检测和减轻这些风险。该框架专注于模型层面的强大能力，如卓越的代理能力或复杂的网络能力。它旨在补充我们的对齐研究，即训练模型按照人类价值观和社会目标行事，以及Google现有的AI责任和安全实践。

快速且内存高效的精确注意力机制

FlashAttention是一个开源的注意力机制库，专为深度学习中的Transformer模型设计，以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算，减少了内存占用，同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配，而FlashAttention-3针对Hopper GPU进行了优化，支持FP16和BF16数据类型。

OpenAI发布模型行为规范，指导AI模型如何安全、有益地与用户互动。

OpenAI Model Spec是OpenAI发布的AI模型行为规范，旨在指导AI模型如何与用户安全、有益地互动。该规范详细阐述了模型在不同场景下的行为准则，包括如何处理敏感内容、如何避免生成有害信息、如何在法律和道德框架内提供帮助等。它强调了AI模型的透明性、可控性和安全性，确保模型能够为用户提供可靠、有益的工具，同时避免潜在风险。OpenAI通过这一规范展示了其对AI技术负责任的态度，为开发者和用户提供了明确的指导，推动AI技术的健康发展。

AI安全框架，引导AI安全和负责任地构建

Google的Secure AI Framework（SAIF）是一个实践指南，旨在帮助从业者通过安全视角导航AI开发。它提供了一个框架，用于理解和应对AI开发过程中固有的安全风险，并提供了相应的控制措施来帮助解决这些问题。SAIF代表了Google在全球规模上防御AI的经验，强调了构建AI时的安全性和责任感。

推动人工智能安全治理，促进技术健康发展

《人工智能安全治理框架》1.0版是由全国网络安全标准化技术委员会发布的技术指南，旨在鼓励人工智能创新发展的同时，有效防范和化解人工智能安全风险。该框架提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等原则。它结合人工智能技术特性，分析风险来源和表现形式，针对模型算法安全、数据安全和系统安全等内生安全风险，以及网络域、现实域、认知域、伦理域等应用安全风险，提出了相应的技术应对和综合防治措施。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

实时保护您的AI代理，阻止越狱和注入攻击，确保安全性。

grimly.ai是一款旨在保护AI代理免受越狱、注入攻击和滥用的产品。它为开发人员、安全团队和企业AI采用者量身打造，提供实时的保护。

基于注意力机制的运动生成和无训练编辑模型

MotionCLR是一个基于注意力机制的运动扩散模型，专注于人类动作的生成和编辑。它通过自注意力和交叉注意力机制，分别模拟模态内和模态间的交互，实现对动作序列的精细控制和编辑。该模型的主要优点包括无需训练即可进行编辑，具有较好的解释性，能够通过操作注意力图来实现多种运动编辑方法，如动作的强调或减弱、就地替换动作、基于示例的动作生成等。MotionCLR的研究背景是解决以往运动扩散模型在细粒度编辑能力上的不足，通过清晰的文本-动作对应关系，提高动作编辑的灵活性和精确性。

网站安全服务

Cloudflare是一项网站安全服务，用于保护网站免受在线攻击。它提供多种安全功能，包括防止恶意请求、DDoS攻击防护、Web应用防火墙等。Cloudflare还提供性能优化功能，如全球CDN加速和网页缓存。定价根据使用的功能和流量进行计费，定位于为网站提供安全性和可靠性。

提供多种预训练模型，支持多维度筛选，助力AI模型应用与开发。

该平台是一个专注于AI预训练模型的资源平台，整合了大量不同类型、规模和应用场景的预训练模型。其重要性在于为AI开发者和研究人员提供了便捷的模型获取渠道，降低了模型开发的门槛。主要优点包括模型分类细致、多维度筛选功能强大、信息展示详细且提供智能推荐。产品背景是随着AI技术的发展，对预训练模型的需求日益增长，平台应运而生。平台主要定位为AI模型资源平台，部分模型免费商用，部分可能需要付费，具体价格因模型而异。

AI安全防护平台，全面管理AI风险

Protect AI是一个专注于AI安全的综合性平台，提供从端到端的AI安全风险管理和防护措施。它通过AI安全态势管理(AI-SPM)整合，帮助企业实现AI应用的安全性，同时保障数据安全和抵御AI特有的安全威胁。该平台能够为AI系统提供全面的可见性、修复和治理，支持企业在AI探索和创新中保持信心。

MoBA 是一种用于长文本上下文的混合块注意力机制，旨在提升大语言模型的效率。

MoBA（Mixture of Block Attention）是一种创新的注意力机制，专为长文本上下文的大语言模型设计。它通过将上下文划分为块，并让每个查询令牌学习关注最相关的块，从而实现高效的长序列处理。MoBA 的主要优点是能够在全注意力和稀疏注意力之间无缝切换，既保证了性能，又提高了计算效率。该技术适用于需要处理长文本的任务，如文档分析、代码生成等，能够显著降低计算成本，同时保持模型的高性能表现。MoBA 的开源实现为研究人员和开发者提供了强大的工具，推动了大语言模型在长文本处理领域的应用。

自我提升的安全 LLM

Automorphic 是一个安全、自我提升的语言模型平台。它使用 fine-tuning 技术将知识注入语言模型，绕过上下文窗口的限制。您可以训练适配器以实现特定行为或知识，并在运行时动态组合和切换它们。同时，Automorphic 提供人机交互反馈，以快速迭代模型，并将其投入生产环境。您还可以使用 Automorphic Hub 上的公开模型进行推理。

快速检测和保护您的网站免受在线攻击

DexCheck是一款用于保护网站免受在线攻击的安全服务。它提供快速检测和防御机制，可以阻止恶意行为、SQL注入等常见攻击方式。DexCheck的优势在于其高效的反欺诈引擎和实时分析功能，可有效保护您的网站安全。定价方面根据网站规模和需求而定，定位于提供可靠的网站安全解决方案。

威胁蜜蜂AI | Hive Defender

Hive Defender是一款基于人工智能技术的威胁蜜蜂AI解决方案。它提供全面的网络安全保护，包括实时监测、威胁检测和自动防御等功能。Hive Defender采用先进的机器学习算法和深度学习技术，能够快速识别和应对各种网络威胁，并保护用户的敏感数据和机密信息。Hive Defender定位于中小型企业和个人用户，价格实惠，易于使用。

保护您的AI应用安全免受攻击

Lakera Guard通过一行代码为机器学习模型提供企业级安全保护,防止prompt注入、数据泄露、有害内容生成等安全风险,让组织轻松构建安全可靠的AI应用。

AI基础设施安全评估工具，用于发现和检测AI系统中的潜在安全风险。

AI Infra Guard是一款由腾讯开发的AI基础设施安全评估工具。它专注于发现和检测AI系统中的潜在安全风险，支持28种AI框架指纹识别，覆盖200多个安全漏洞数据库。该工具轻量级、易于使用，无需复杂配置，具有灵活的匹配语法和跨平台支持。它为AI基础设施的安全性提供了高效的评估手段，帮助企业和开发者保护其AI系统免受安全威胁。

创建安全的人工智能，造福全人类

OpenAI致力于创建安全且有益的人工智能，通过研究生成模型和价值观对齐的方法，开创了通向人工智能的道路。我们的产品包括ChatGPT和GPT-4D，可以在工作和创意中转化AI的力量。通过我们的API平台，开发者可以使用最新的模型并遵循安全最佳实践。加入我们，共同塑造未来的技术。

DevOps安全检查工具

SecCheck是一款专为开发运维团队设计的安全检查工具，能够帮助团队快速生成安全检查清单。它提供了自动生成安全需求清单的功能，帮助开发团队提高代码安全性。同时，SecCheck还支持定制化的安全检查需求，满足不同项目的特定需求。SecCheck的定价灵活适应不同团队规模和需求。无论是初创公司还是大型企业，都可以通过SecCheck来提升团队的安全意识和代码质量。

AI代码审查工具，提升代码质量和安全

CodeAnt AI 是一款AI代码审查工具，旨在通过人工智能技术帮助开发人员提高代码审查的效率和准确性。它通过实时审查代码变更，扫描潜在的安全漏洞，并提供代码质量改进建议。CodeAnt AI 支持多种编程语言，能够自动修复问题，并集成到现有的版本控制系统中。产品背景信息显示，CodeAnt AI 得到了行业专家的认可，并且已经在多个高价值企业中得到应用，证明了其在提升开发效率和代码质量方面的重要性。产品定价为每月每位用户10美元，提供30天免费试用。

AI 驱动的安全设计审查

Remy Security 是一款 AI 驱动的安全设计审查工具，可以帮助减少昂贵的审查会议，按照风险级别对设计进行优先排序，并以更少的工作量生成高质量的审查结果。它通过自动生成问题和反馈，为您提供发送给设计作者的具体风险方面的见解。Remy 提供建议，您做出决策。您可以在发送之前编辑、重新生成或审查建议。Remy 旨在赋予您权力，而不是取代您。

儿童友好AI应用 - 安全、互动、教育

Twixie是一款儿童友好的AI应用，提供安全、有趣、教育性的体验。通过简单的游戏和互动聊天，孩子们可以轻松理解人工智能的概念。Twixie还可以帮助孩子们发挥想象力，与独特的AI创造物进行互动，培养创造力、好奇心和未来所需的技能。

安全工程师的AI协同助手

Warden是一款为安全工程师设计的AI协同助手，提供10倍的工作效率提升。它通过生成技术架构图、识别风险、提出风险缓解方案等功能，帮助安全工程师更快速地发现和解决安全问题。定价为每个账号每月$500，提供14天免费试用。Warden的定位是帮助企业加速产品上线，最大程度保障产品安全。

AI自动完成安全问卷调查

RiskAssessmentAI是一款通过学习您的政策和流程，自动完成客户和潜在客户发送的安全问卷调查的AI工具。它可以帮助您节省大量时间和人力资源，并确保您的安全措施符合行业标准。