产品库

高效小型语言模型

SmolLM是一系列最新的小型语言模型，包含135M、360M和1.7B参数的版本。这些模型在精心策划的高质量训练语料库上进行训练，能够实现在本地设备上运行，显著降低推理成本并提高用户隐私。SmolLM模型在多种基准测试中表现优异，测试了常识推理和世界知识。

为边缘设备定制的小型语言模型

MobiLlama是一个为资源受限设备设计的小型语言模型（SLM），它旨在提供准确且轻量级的解决方案，以满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发，通过精心设计的参数共享方案来降低预训练和部署成本。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

智能AI助手，本地处理数据，保护隐私。

H2O AI Personal GPT是一款由H2O.ai开发的AI助手应用，旨在提供智能、对话式的AI服务，同时确保用户的隐私安全。该应用在本地处理数据，无需担心数据离开设备，支持无网络环境下使用，适合需要移动办公和隐私保护的用户。

优化的小型语言模型，适用于移动设备

MobileLLM是一种针对移动设备优化的小型语言模型，专注于设计少于十亿参数的高质量LLMs，以适应移动部署的实用性。与传统观念不同，该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构，结合嵌入共享和分组查询注意力机制，MobileLLM在准确性上取得了显著提升，并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外，MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进，并在API调用任务中接近LLaMA-v2 7B的正确性，突出了小型模型在普通设备用例中的能力。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

Ai2 OLMoE 是一款可在 iOS 设备上运行的开源语言模型应用

OLMoE 是由 Ai2 开发的开源语言模型应用，旨在为研究人员和开发者提供一个完全开放的工具包，用于在设备上进行人工智能实验。该应用支持在 iPhone 和 iPad 上离线运行，确保用户数据完全私密。它基于高效的 OLMoE 模型构建，通过优化和量化，使其在移动设备上运行时保持高性能。该应用的开源特性使其成为研究和开发新一代设备端人工智能应用的重要基础。

在口袋里拥有十亿参数，与私有本地大型语言模型聊天。

fullmoon是一款由Mainframe开发的本地智能应用，允许用户在本地设备上与大型语言模型进行聊天。它支持完全离线操作，优化了Apple硅芯片的模型运行，提供了个性化的主题、字体和系统提示调整功能。作为一款免费、开源且注重隐私的应用，它为用户提供了一种简单、安全的方式来利用强大的语言模型进行交流和创作。

AI助手，隐私保护

Anon是一个注重隐私的AI助手，类似于ChatGPT，但默认提供隐私保护。它允许用户在不登录、无追踪的情况下自由使用，所有对话都保留在本地设备上。Anon由先进的技术如Llama 3.1 405B和FLUX提供支持，旨在为用户提供一个安全、私密的AI对话环境。

本地部署AI工具，保护数据隐私，降低成本

Self-hosted AI Starter Kit 是一个本地部署的AI工具包，旨在帮助用户在自有硬件上快速启动AI项目。它通过Docker Compose模板，简化了本地AI工具的部署过程。该工具包包括n8n以及一系列精选的本地AI工具，如Ollama、Qdrant和PostgreSQL，支持快速搭建自托管AI工作流。它的优势在于增强了数据隐私保护，减少了对外部API调用的依赖，从而降低了成本。此外，它还提供了AI工作流模板和网络配置，支持本地部署或私有云实例。

保护您的身份和数据免受大型语言模型隐私泄露威胁

ZeroTrusted.ai是一家先驱性的公司,专门从事生成式人工智能安全领域。他们的LLM防火墙产品旨在保护您免受由于语言模型训练数据集可能包含您的敏感信息而带来的数据曝光和被不道德的语言模型提供商或恶意行为者利用的风险。该产品提供匿名功能以保护提示语隐私,通过ztPolicyServer和ztDataPrivacy确保数据安全和隐私,优化提示语和验证结果以提高准确性并防止模型编造,并支持与LangChain、Zapier等多种工具集成。该产品分为免费版、标准版、商业版和企业版等多个定价方案,功能和服务级别有所不同。ZeroTrusted.ai致力于简化安全合规,通过云无关的零信任解决方案、动态自适应加密等技术最大程度地保护应用程序和数据。

一款支持多种语言模型的高性能AI聊天工具，提供本地隐私保护和多模态交互功能。

ChatWise是一款高性能的AI聊天工具，支持GPT-4、Claude、Gemini等主流语言模型。它注重隐私保护，所有数据本地存储，仅在发送请求时与LLM提供商交互。其多模态交互功能允许用户通过音频、PDF、图片等多种形式进行聊天，同时支持网页搜索和HTML/React等渲染功能。ChatWise定位为高效、简洁且功能强大的桌面端聊天工具，适合需要快速获取信息和进行多模态交互的用户。

一款强大的网络搜索和本地搜索工具，支持隐私保护。

Brave Search MCP Server 是由 Brave Software 开发的网络搜索工具，拥有超过 100 亿网页的索引，支持本地搜索功能，能快速提供用户需要的信息，适合寻找实时、本地化的商家和服务。该工具强调隐私保护，确保用户信息安全，基础套餐提供 2000 次查询 / 月，便于个人及开发者使用。

本地大语言模型

Ollama是一款本地大语言模型工具，让用户能够快速运行Llama 2、Code Llama和其他模型。用户可以自定义和创建他们自己的模型。Ollama目前支持macOS和Linux，Windows版本即将推出。该产品定位于为用户提供本地化的大语言模型运行环境，以满足用户个性化的需求。

享受最好的AI模型，保护您的隐私

BlindChat是一款聊天应用，提供最好的AI模型，保护用户的隐私。通过BlindChat，用户可以与AI进行对话，并获得准确和有趣的回答。该应用内置了Xenova/LaMini-Flan-T5-783M模型，可以回答各种问题。BlindChat还提供端到端的加密，确保用户的对话内容得到保护。该应用目前处于测试阶段，用户可以加入Beta测试。

高效优化的小型语言模型，专为设备端应用设计。

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

小型语言模型调研、测量与洞察

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

本地AI管理、验证和推断

本地AI游乐场是一个本地AI模型管理、验证和推断的桌面客户端应用。它提供了零技术设置的AI实验环境，不需要GPU支持。用户可以在本地离线环境中运行AI模型，享受更高的隐私保护。该应用具有简洁易用的界面和强大的功能，支持CPU推断、模型下载和管理、模型完整性验证等功能。本地AI游乐场是免费开源的。

隐私保护的AI使用洞察系统

Clio是Anthropic公司开发的一种自动化分析工具，旨在隐私保护的前提下分析真实世界中的语言模型使用情况。它通过将对话抽象化成主题聚类，帮助我们了解用户如何在日常中使用Claude AI模型，类似于Google Trends工具。Clio的主要优点在于它能够在不侵犯用户隐私的情况下提供对AI模型使用情况的洞察，这对于提高AI模型的安全性至关重要。Anthropic公司非常重视用户数据的保护，Clio的设计体现了这一点，通过多层隐私保护措施确保用户隐私。

免费AI动漫滤镜，保护隐私

Photo to Anime是一个免费的AI动漫滤镜工具，可以将照片或文字转换为动漫风格的艺术作品。它使用先进的AI技术，将您的照片转换为独特的动漫风格艺术，同时也可以根据您提供的文字描述生成定制的动漫风格图片。它注重隐私保护，所有处理都在设备上进行，您的照片不会上传到云端。使用Photo to Anime，您可以轻松地将您的回忆转化为迷人的动漫艺术作品。

Lora 是一个为移动设备优化的本地语言模型，支持 iOS 和 Android 平台。

Lora 是一款为移动设备优化的本地语言模型，通过其 SDK 可以快速集成到移动应用中。它支持 iOS 和 Android 平台，性能与 GPT-4o-mini 相当，拥有 1.5GB 大小和 24 亿参数，专为实时移动推理进行了优化。Lora 的主要优点包括低能耗、轻量化和快速响应，相比其他模型，它在能耗、体积和速度上都有显著优势。Lora 由 PeekabooLabs 提供，主要面向开发者和企业客户，帮助他们快速将先进的语言模型能力集成到移动应用中，提升用户体验和应用竞争力。

企业级设备上的智能AI

Nexa AI提供企业级的设备上的智能AI解决方案，包括Tiny Multimodal Models和Seamless Edge Deployment解决方案，旨在构建私密、成本效益高且可靠的设备上AI。产品背景强调了在没有互联网连接的情况下也能提供可靠的能力，适用于各种挑战性环境，如偏远地区、油和气矿场、互联网受限的工作场所、极端位置等。Nexa AI的产品定位是为企业提供定制化的设备上模型和本地部署解决方案，以增强控制和速度，无论是在本地还是在任何设备上。

AI解读隐私政策，保护个人隐私

parsepolicy是一款利用人工智能解读隐私政策的产品。通过先进的解析技术，将繁琐的法律术语和复杂性简化，将隐私政策转化为易于理解的语言。用户可以更好地了解自己的数据处理方式，保护个人隐私。产品采用先进的加密和安全协议，确保用户数据的保护。个人信息将保持机密，用户的电子邮件地址仅用于沟通，不会被共享或出售。该产品目前处于MVP阶段，免费使用。

小型语言模型结合增强视觉词汇

Vary-toy是一个小型Vary模型，基于Qwen-1.8B作为基础“大”语言模型。Vary-toy引入了改进的视觉词汇，使模型不仅具备Vary的所有特性，还具有更广泛的泛化能力。具体来说，在生成视觉词汇的过程中，我们用目标检测驱动的正样本数据替换自然图像的负样本，更充分地利用了词汇网络的容量，使其能够高效地编码与自然物体对应的视觉信息。在实验中，Vary-toy在DocVQA上实现了65.6%的ANLS，在ChartQA上实现了59.1%的准确率，在RefCOCO上实现了88.1%的准确率，在MMVet上实现了29%的准确率。定价：免费试用，付费版本定价待定。定位：为研究人员提供在资源有限的情况下在普通GPU上训练和部署LVLMs的解决方案。

AI助手，本地化、个性化、高隐私。

Pulsar是由AstraMind开发的创新应用，旨在直接在个人设备上高效管理和运行高级语言模型，完全消除了分享个人数据的担忧。它允许用户创建高度个性化的、跨学科的AI助手，用于对话，同时保持对数据的完全隐私和控制。Pulsar支持Linux、Windows和Mac系统，并且即将支持Android和iOS。

允许用户直接在浏览器本地运行Phi-3模型的AI工具。

Phi-3 WebGPU是一款结合了Transformers.js和onnxruntime-web的AI模型，它利用WebGPU加速技术，提供超过20t/s的处理速度，并且所有数据处理在本地完成，确保用户隐私安全。尽管在中文回答上存在一些不足，但其在浏览器中提供的AI模型运行能力仍然值得关注。

AI情感支持伴侣，保护用户隐私

GentleGossip是一款AI情感支持伴侣应用，旨在帮助用户缓解情感压力。我们的应用非常注重用户隐私，不会保留或记录任何对话数据。GentleGossip可以提供安全、私密、无压力的聊天环境，帮助用户获得更清晰的思路和更好的心情。我们的应用是免费的。

本地运行的AI模型训练与部署工具，支持个性化训练和多平台使用。

Kolosal AI 是一款用于本地设备训练和运行大型语言模型（LLMs）的工具。它通过简化模型训练、优化和部署流程，使用户能够在本地设备上高效地使用 AI 技术。该工具支持多种硬件平台，提供快速的推理速度和灵活的定制能力，适合从个人开发者到大型企业的广泛应用场景。其开源特性也使得用户可以根据自身需求进行二次开发。

保护隐私的音频深度检测

SafeEar是一个创新的音频深度检测框架，它能够在不依赖于语音内容的情况下检测深度音频。这个框架通过设计一个神经音频编解码器，将语义和声学信息从音频样本中分离出来，仅使用声学信息（如韵律和音色）进行深度检测，从而保护了语音内容的隐私。SafeEar通过在真实世界中增强编解码器来提高检测器的能力，使其能够识别各种深度音频。该框架在四个基准数据集上的广泛实验表明，SafeEar在检测各种深度技术方面非常有效，其等错误率（EER）低至2.02%。同时，它还能保护五种语言的语音内容不被机器和人类听觉分析破译，通过我们的用户研究和单词错误率（WER）均高于93.93%来证明。此外，SafeEar还构建了一个用于反深度和反内容恢复评估的基准，为未来在音频隐私保护和深度检测领域的研究提供了基础。

桌面本地语言处理工具

Ava PLS是一个桌面应用程序,允许您在本地计算机上运行语言模型,进行各种语言任务,如文本生成、语法纠正、改写、摘要、数据提取等。具有强大的功能,注重隐私,一体化设计,易于上手使用。