产品库

一个快速的AI网关

Portkey的AI网关是应用程序和托管LLM之间的接口。它使用统一的API对OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API请求进行了优化,从而实现了流畅的路由。该网关快速、轻量,内置重试机制,支持多模型负载均衡,确保应用程序的可靠性和性能。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

Sidecar是Aide编辑器的AI大脑，与编辑器协同工作。

Sidecar是为Aide编辑器设计的人工智能插件，它在本地机器上与编辑器一起工作，负责创建提示、与大型语言模型（LLM）通信以及处理它们之间的所有交互。Sidecar的主要优点包括提高编程效率、智能代码补全和集成化的AI辅助开发。它基于Rust语言开发，确保了性能和安全性。Sidecar适用于需要在本地机器上进行高效编程和代码管理的开发者。

AI内容审核服务，保护下游部署安全。

Mistral Moderation API是Mistral AI推出的内容审核服务，旨在帮助用户检测和过滤不受欢迎的文本内容。该API是Le Chat中使用的审核服务的同一技术，现在对外开放，以便用户可以根据特定的应用和安全标准定制和使用这一工具。该模型是一个基于LLM（大型语言模型）的分类器，能够将文本输入分类到9个预定义的类别中。Mistral AI的这一API支持原生多语言，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语进行了训练。该API的主要优点包括提高审核的可扩展性和鲁棒性，以及通过技术文档提供的详细政策定义和启动指南，帮助用户有效实施系统级的安全防护。

国内领先的LLM一站式企业解决方案

Chat Nio是一个国内领先的LLM（Large Language Model）一站式企业解决方案，提供强大的AI集成工具，支持35+主流AI模型，涵盖文本生成、图像创作、音频处理和视频编辑等领域，并支持私有化部署和中转服务。它为开发者、个人用户和企业提供定制化的AI解决方案，包括但不限于多租户令牌分发、计费管理系统、深度集成Midjourney Proxy Plus绘画功能、全方位调用日志记录系统等。Chat Nio以其多功能性、灵活性和易用性，满足企业和团队的多样化需求，帮助他们高效开发和部署AI应用。

一个全面的Prompt Engineering技术资源库

Prompt Engineering是人工智能领域的前沿技术，它改变了我们与AI技术的交互方式。这个开源项目旨在为初学者和经验丰富的实践者提供一个学习、构建和分享Prompt Engineering技术的平台。该项目包含了从基础到高级的各种示例，旨在促进Prompt Engineering领域的学习、实验和创新。此外，它还鼓励社区成员分享自己的创新技术，共同推动Prompt Engineering技术的发展。

利用OpenAI技术生成与品牌视觉一致的UI代码

Coframe是一个利用人工智能技术进行网站优化和个性化的平台。它通过与OpenAI合作，开发了一种模型，可以生成高质量、视觉上与品牌一致的UI代码。这种技术的主要优点在于能够加速网站优化过程，使网站优化变得更快速、更经济，同时允许进行以前不可能的实验和个性化方法。Coframe的背景信息显示，它已经与OpenAI合作，在其博客上也有相关介绍。产品的价格和定位信息在页面上没有明确说明。

终端中的个人AI助手，具备本地工具。

gptme是一个运行在终端的个人AI助手，它装备了本地工具，可以编写代码、使用终端、浏览网页、视觉识别等。它是一个不受软件、互联网访问、超时或隐私问题限制的ChatGPT“代码解释器”的本地替代方案。

一个全面的生成式AI代理开发和实现资源库

GenAI_Agents是一个开源的、面向生成式AI代理开发和实现的资源库。它提供了从基础到高级的教程和实现，旨在帮助开发者学习、构建和分享生成式AI代理。这个资源库不仅适合初学者，也适合经验丰富的从业者，通过提供丰富的示例和文档，促进学习和创新。

提供OpenAI和Claude模型支持的API服务。

API易是一个提供OpenAI和Claude模型支持的API服务平台，用户可以通过API接口调用这些模型进行各种AI任务。该平台具有稳定性高、价格优惠、无需代理即可使用等特点，适合需要AI模型支持的开发者和企业。

AI与产品管理领域的知识社区

觅识AI社区是一个专注于人工智能与产品管理领域的知识社区，提供AI产品管理的相关知识体系和研发产品用例。社区成员有机会成为'超级个体和一人公司'。可通过邮件或社交媒体与主理人联系，加入AI PM社区。

一个简单而强大的Python库，用于使用大型语言模型（LLMs）。

promptic是一个轻量级、基于装饰器的Python库，它通过litellm简化了与大型语言模型（LLMs）交互的过程。使用promptic，你可以轻松创建提示，处理输入参数，并从LLMs接收结构化输出，仅需几行代码。

无需编码即可构建生产就绪的LLM应用程序

Epsilla是一个无需编码的RAG即服务(RAG-as-a-Service)平台，它允许用户基于私有或公共数据构建生产就绪的大型语言模型(Large Language Model, LLM)应用程序。该平台提供了一站式服务，包括数据管理、RAG工具、CI/CD风格的评估以及企业级安全措施，旨在降低总拥有成本(TCO)，提高查询速度和吞吐量，同时确保信息的时效性和安全性。

AI提示工程师，优化大型语言模型应用

Weavel是一个AI提示工程师，它通过追踪、数据集管理、批量测试和评估等功能，帮助用户优化大型语言模型（LLM）的应用。Weavel与Weavel SDK结合使用，能够自动记录并添加LLM生成的数据到您的数据集中，实现无缝集成和针对特定用例的持续改进。此外，Weavel能够自动生成评估代码，并使用LLM作为复杂任务的公正裁判，简化评估流程，确保准确、细致的性能指标。

企业自定义AI工作流程的蓝图

NVIDIA NIM™ Agent Blueprints是一系列预训练的、可定制的AI工作流程，旨在为数百万企业开发者提供构建和部署生成式AI应用程序的全套软件工具。这些蓝图支持开发者使用一个或多个AI代理创建AI应用程序，包括客户服务头像、检索增强生成和药物发现虚拟筛选等典型用例。通过NIM Agent Blueprints，企业可以使用自己的业务数据修改蓝图，并在加速数据中心和云上运行生成式AI应用程序，实现数据驱动的AI飞轮效应。

未来派的AI驱动网页爬虫工具。

CyberScraper 2077是一款基于AI的网页爬虫工具，它利用OpenAI和Ollama等大型语言模型(LLM)来智能解析网页内容，提供数据提取服务。这款工具不仅拥有用户友好的图形界面，还支持多种数据导出格式，包括JSON、CSV、HTML、SQL和Excel。此外，它还具备隐形模式，以降低被检测为机器人的风险，以及遵循robots.txt和网站政策的道德爬取特性。

高效低成本的小型语言模型

Phi-3是微软Azure推出的一系列小型语言模型（SLMs），具有突破性的性能，同时成本和延迟都很低。这些模型专为生成式AI解决方案设计，体积更小，计算需求更低。Phi-3模型遵循微软AI原则开发，包括责任、透明度、公平性、可靠性和安全性、隐私和安全性以及包容性，确保了安全性。此外，Phi-3还提供了本地部署、准确相关回答、低延迟场景部署、成本受限任务处理和定制化精度等功能。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

新一代AI工程师在GitHub上构建

GitHub Models是GitHub推出的新一代AI模型服务，旨在帮助开发者成为AI工程师。它将行业领先的大型和小型语言模型直接集成到GitHub平台，让超过1亿用户能够直接在GitHub上访问和使用这些模型。GitHub Models提供了一个交互式的模型游乐场，用户可以在这里测试不同的提示和模型参数，无需支付费用。此外，GitHub Models与Codespaces和VS Code集成，允许开发者在开发环境中无缝使用这些模型，并通过Azure AI实现生产部署，提供企业级安全和数据隐私保护。

通过GPT等大型语言模型与你的文档对话

IncarnaMind是一个开源项目，旨在通过大型语言模型（LLMs）如GPT、Claude和本地开源LLMs，实现与个人文档（PDF、TXT）的交互对话。该项目利用滑动窗口分块机制和集成检索器，提高查询效率，增强LLMs的准确性。它支持多文档对话问答，突破了单文档限制，并兼容多种文件格式和LLM模型。

自主软件开发系统，提高编码效率。

SuperCoder是一个开源的自主软件开发系统，利用先进的AI工具和代理来简化和自动化编码、测试和部署任务，提高效率和可靠性。它支持多种编程语言和框架，以满足不同的开发需求。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

让任何人的声音听起来调皮/有趣

bleep_that_sht 是一个使用 Python 编写的应用程序，它利用 Whisper 转录模型来转录音频，然后根据用户选择的关键词，使用相应的时间戳来替换为哔声。所有处理都在本地完成，无需上传数据，保护用户隐私。

本地语音聊天机器人，保护隐私，无需联网。

june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案，可以在本地机器上进行语音辅助交互，确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。

无需编写代码即可创建智能代理的LLM工具。

Nerve是一个可以创建具有状态的代理的LLM工具，用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态，使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型，具有高度的灵活性和效率，同时注重内存安全。

增强ChatGPT体验的插件，提供数据安全和效率。

KeepChatGPT是一款旨在提升ChatGPT使用体验的插件，它通过自动刷新、保持活跃、数据安全、取消审计等创新功能，让AI聊天体验变得无比安全、顺畅、丝滑、高效和简洁。这款插件由兴趣驱动，完全免费共享，适合所有希望提升聊天效率和数据安全性的用户。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

开源AI搜索引擎，支持本地或云LLMs。

Farfalle是一个开源的AI驱动搜索引擎，它允许用户运行本地大型语言模型(LLMs)或使用云模型。它是基于Perplexity克隆的，可以与多种技术栈集成，如Next.js前端、FastAPI后端、Tavily搜索API等。它还提供了自定义设置的文档和演示视频，以帮助用户快速开始。

一个由LLMs驱动的智能Siri，无需专用硬件即可使用。

Siri-Ultra是一个基于云的智能助手，可以在Cloudflare Workers上运行，并且可以与任何大型语言模型（LLM）配合使用。它利用了LLaMA 3模型，并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri，从而消除了对专用硬件设备的需求。