产品库

专为智能手机设计的高效大型语言模型推理框架

PowerInfer-2是一个为智能手机特别优化的推理框架，支持高达47B参数的MoE模型，实现了每秒11.68个token的推理速度，比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术，显著减少了内存使用，并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景，以增强数据隐私和性能。

快速获取答案的AI助手

Groq是一款由Omid Aziz开发的AI助手应用，旨在为用户提供快速、私密的问答服务。该应用利用Groq的高性能推理引擎，能够迅速处理用户请求并提供答案。Groq的界面简洁，操作直观，用户可以轻松上手。此外，Groq还支持多种不同的AI模型，如LLaMA、Mixtral和Gemma，让用户能够直接访问这些模型的参数记忆，进行快速的模型比较和测试。作为一款生产力工具，Groq以其高效、便捷的特点，非常适合需要快速获取信息和解决方案的用户。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

AI生成文本检测，用AI治理AI。

天目智能识别系统是由人民网传播内容认知全国重点实验室研发的产品，专注于检测AI生成的文本内容。它利用先进的AI技术来识别和治理AI生成的内容，确保信息的真实性和可靠性。产品的主要优点包括高准确率、大文本容量检测、一键生成PDF报告、保护数据隐私等。它适用于新闻传播、学术研究等领域，旨在提升内容质量和维护学术诚信。

AI驱动的屏幕和麦克风记录工具

Screenpipe是一个利用人工智能技术，对用户的屏幕和麦克风进行24/7全天候录制的产品。它通过连接到AI，从用户的数据中提取有价值的信息，以提高工作效率和数据隐私保护。产品支持多种通讯工具，如WhatsApp、Zoom、Google Meet等，无需将数据发送到云端即可捕捉会议细节，自动化工作流程，并快速提取任何内容的要点。此外，Screenpipe强调数据隐私保护，确保个人信息在网络级别被剥离，用户的数据安全无忧。

本地部署AI工具，保护数据隐私，降低成本

Self-hosted AI Starter Kit 是一个本地部署的AI工具包，旨在帮助用户在自有硬件上快速启动AI项目。它通过Docker Compose模板，简化了本地AI工具的部署过程。该工具包包括n8n以及一系列精选的本地AI工具，如Ollama、Qdrant和PostgreSQL，支持快速搭建自托管AI工作流。它的优势在于增强了数据隐私保护，减少了对外部API调用的依赖，从而降低了成本。此外，它还提供了AI工作流模板和网络配置，支持本地部署或私有云实例。

创造独特的名人名言，激发灵感与思考。

名人名言生成器是一种创新工具，根据用户输入生成独特的名人名言。它利用人工智能技术，为作家、演讲者和任何寻求引人深思话语的人提供新颖的视角和内容。产品支持商业使用，并且强调数据隐私和用户体验。

最强大的Pixel手机，内置Gemini AI助手。

Pixel 9 Pro是谷歌推出的高端智能手机，以其先进的摄像头系统和内置的Gemini AI助手为特色。该手机配备了多项创新技术，包括超级夜景模式、超级变焦视频、以及专业级别的摄影控制功能。它代表了智能手机摄影的新高度，为用户提供了前所未有的拍摄体验。价格从$999起，或可选择36个月分期付款，每月$27.75。

新一代谷歌智能手机，搭载先进的AI技术。

Pixel 9是谷歌推出的新一代智能手机，以其先进的AI技术和摄影能力为特色。它配备了内置的AI助手Gemini，提供个性化的智能服务，如写作、规划、学习和执行任务。此外，Pixel 9的相机技术得到了显著提升，包括夜间拍摄、宏观摄影到天文摄影等。它还具备紧急情况下通过卫星连接紧急服务的能力，以及7年的操作系统和安全更新支持。

首个无需注意力机制的7B大规模模型

Falcon Mamba是由阿布扎比技术创新研究所（TII）发布的首个无需注意力机制的7B大规模模型。该模型在处理大型序列时，不受序列长度增加导致的计算和存储成本增加的限制，同时保持了与现有最先进模型相当的性能。

开源监控工具，提升LLM应用性能。

Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。

AI驱动的智能书签搜索引擎

Markable是一款利用人工智能技术，为用户提供智能搜索书签服务的网站。它通过先进的算法，无需用户手动标记或分类，即可快速找到所需的书签。Markable支持多种格式的收藏，包括网站、文本和图片，同时提供书签导入导出功能，确保用户数据的隐私和安全。此外，Markable还提供了简洁直观的用户界面，让用户能够轻松管理书签，并通过不同的订阅计划满足不同用户的需求。

智能电脑助手，轻松玩转电脑

惠小微是一款全面覆盖办公、学习、娱乐场景的智能助手APP，通过实时翻译、会议记录、字幕翻译、语音输入等功能，帮助用户提升工作效率和学习效率。它还具备电脑性能提升工具，如快速配对、一键加速、清理空间等，使得电脑运行更加流畅。此外，惠小微与搜狗输入法合作，提供截图识图和智能纠错功能，为用户提供高效编写内容的辅助。

本地安全AI，保障数据隐私。

Klee是一款macOS原生的AI助手应用程序，专注于本地处理数据，确保数据安全和隐私。它使用先进的AI技术，如RAG（检索增强生成）和开源大型语言模型，如Llama 3和Mistral，为用户提供高效、智能的笔记、搜索和知识管理功能。Klee的主要优点包括本地运行以保护隐私、支持团队协作、免费使用以及优化的macOS体验。

一站式AI应用部署平台。

OmniAI是一个提供统一API体验的AI应用构建平台，支持在现有基础设施内运行，支持多种AI模型，如Llama 3、Claude 3、Mistral Large等，适用于自然语言理解、生成任务等复杂需求。

自托管网站分析平台

UXWizz是一个自托管的网站分析平台，旨在帮助用户在不分享数据给大公司的情况下，通过强大的分析工具理解访问者行为并改进网站。它提供深入的智能分析功能，支持热图、会话回放等功能，帮助用户发现并解决用户体验问题。UXWizz自2012年开发以来，一直根据用户反馈不断改进，提供高质量的支持和易于维护的系统。

优化您的简历，让您在求职市场脱颖而出

Easy2Resume是一个专注于简历优化的在线服务，使用先进的GPT-4技术结合prompt魔法，帮助求职者提升简历的专业度和吸引力。它提供免费、用户友好的服务，确保数据隐私，所有上传的文件在1小时内物理删除。

加速长上下文大型语言模型的预填充处理

MInference 1.0 是一种稀疏计算方法，旨在加速长序列处理的预填充阶段。它通过识别长上下文注意力矩阵中的三种独特模式，实现了对长上下文大型语言模型（LLMs）的动态稀疏注意力方法，加速了1M token提示的预填充阶段，同时保持了LLMs的能力，尤其是检索能力。

从视频自动生成文档的AI工具

MakeTheDocs是一个利用人工智能技术将视频内容自动转换成文档页面的工具。它通过上传视频，快速生成高质量的文档，帮助用户节省编写文档的时间，从而专注于创新和提高工作效率。产品背景信息表明，公司致力于通过自动化减少手动文档编写的时间和成本，同时保证文档质量。产品定位于需要快速生成文档的企业和个人，提供不同层级的订阅服务，以满足不同用户的需求。

.NET 9的第五个预览版，包含多项库改进和新功能。

.NET 9 Preview 5是.NET平台的最新预览版本，它为开发者带来了一系列新的功能和改进。其中包括增强的AI功能、性能优化、对Azure Cosmos DB的增强支持、对Blazor Hybrid模板的更新以及对ASP.NET Core的多项改进。这些更新旨在提高开发效率，增强应用程序的性能和可扩展性。

一站式企业级数据平台，专为生成式AI应用设计

Context Data是一个为生成式AI应用设计的数据处理和转换平台，旨在帮助AI团队构建数据基础设施，以便他们专注于构建AI逻辑。它提供了无需设置基础设施、跨多个源转换数据、连接多个模型、加载数据到主要向量数据库、查询私有向量数据、定时管道以及构建数据和ETL管道等功能。Context Data强调数据隐私控制，避免了将数据上传到OpenAI等外部模型，简化了构建AI就绪数据平台的压力和复杂性。

您的AI伙伴，帮助您更好地写作、绘图和演示。

AFFiNE AI是一个多模态的AI助手，旨在通过其先进的人工智能技术帮助用户提高写作、绘图和演示的效率和质量。它通过提供即时的洞察力、完美的语调、快速的图像转换以及智能的演示生成，来辅助用户从概念到完成的整个创造过程。AFFiNE AI的主要优点包括其用户友好的界面、高效的AI驱动功能以及对数据隐私的重视。该产品目前定价为每月8.9美元，按年计费，同时提供免费试用。

无需编码，自动训练、评估和部署先进的机器学习模型。

AutoTrain是Hugging Face生态系统中的一个自动化机器学习(AutoML)工具，它允许用户通过上传数据来训练定制的机器学习模型，而无需编写代码。该工具自动寻找最适合数据的模型，并快速部署。它支持多种机器学习任务，包括文本分类、图像分类、问答、翻译等，并且支持所有Hugging Face Hub上的语言。用户的数据在服务器上保持私密，并通过加密保护数据传输。根据用户选择的硬件，按分钟计费。

语音转文字应用，提供AI和人工转录服务

Tunk是一款提供快速准确的语音转文字服务的应用。我们使用AI和人工转录相结合的方式，保证高准确性和快速交付。我们的应用具有可靠性和数据完整性，适用于撰写重要文章、记录讲座笔记等场景。

自动化私有数据到AI应用的无缝管道。

Unbody是一个简化AI应用开发流程的平台，支持多种AI模型和数据格式，提供从私有数据到AI应用的无缝转换。它通过一个API端点和一行代码，即可实现从生成搜索到创建私人聊天机器人等功能，大大简化了AI的使用过程。

统一大型模型 API调用方式

支持将 openai、claude、azure openai, gemini,kimi, 智谱 AI, 通义千问，讯飞星火 API 等模型服务方的调用转为 openai 方式调用。屏蔽不同大模型 API 的差异，统一用 openai api 标准格式使用大模型。提供多种大型模型支持，包括负载均衡、路由、配置管理等功能。

开发中大规模模型系统的组织

LMSYS Org 是一个组织，旨在使大型模型及其系统基础设施的技术民主化。他们开发了 Vicuna 聊天机器人，其在 7B/13B/33B 规模下可以印象 GPT-4，实现了 90% ChatGPT 质量。同时，还提供 Chatbot Arena 以众包和 Elo 评级系统进行大规模、游戏化评估 LLMs。SGLang 提供了复杂 LLM 程序的高效接口和运行时环境。LMSYS-Chat-1M 是一个大规模真实世界 LLM 对话数据集。FastChat 是一个用于训练、提供服务和评估基于 LLM 的聊天机器人的开放平台。MT-Bench 是一个用于评估聊天机器人的一组具有挑战性、多回合、开放式问题。

定制AI解决方案，瑞士托管服务

AIToolBox专注于为企业提供定制的AI解决方案和瑞士托管服务，帮助企业掌控数据和分析。我们的定制AI工具旨在确保数据隐私、运营效率和战略决策。通过AIToolBox，您可以利用AI的力量推动战略决策，提高运营效率。联系contact@aitoolbox.org了解商业合作。

时序预测的解码器基础模型

TimesFM是一款基于大型时序数据集预训练的解码器基础模型，具有200亿参数。相较于大型语言模型，虽然规模较小，但在不同领域和时间粒度的多个未见数据集上，其零-shot性能接近最先进的监督方法。TimesFM无需额外训练即可提供出色的未见时间序列预测。