产品库

节省LLM成本，不牺牲质量的框架

RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。

AI提示管理工具

Orquesta是一款AI提示管理工具，为工程师提供了管理提示的工具，包括集中存储、实验、个性化定制和收集反馈等功能。它能够帮助您丰富产品的功能，并实现AI和LLM的能力，同时集中管理和优化提示的生命周期。

AI提示工程师，优化大型语言模型应用

Weavel是一个AI提示工程师，它通过追踪、数据集管理、批量测试和评估等功能，帮助用户优化大型语言模型（LLM）的应用。Weavel与Weavel SDK结合使用，能够自动记录并添加LLM生成的数据到您的数据集中，实现无缝集成和针对特定用例的持续改进。此外，Weavel能够自动生成评估代码，并使用LLM作为复杂任务的公正裁判，简化评估流程，确保准确、细致的性能指标。

AI请求的智能仓库解决方案

Velvet AI gateway是一个为工程师设计的AI请求仓库解决方案，它允许用户将OpenAI和Anthropic的请求存储到PostgreSQL数据库中，并通过日志分析、评估和生成数据集来优化AI功能。产品的主要优点包括易用性、成本优化、数据透明性和支持自定义查询。Velvet AI gateway的背景是帮助创新团队更有效地管理和利用AI技术，通过减少成本和提高效率来增强产品的竞争力。

未来派的AI驱动网页爬虫工具。

CyberScraper 2077是一款基于AI的网页爬虫工具，它利用OpenAI和Ollama等大型语言模型(LLM)来智能解析网页内容，提供数据提取服务。这款工具不仅拥有用户友好的图形界面，还支持多种数据导出格式，包括JSON、CSV、HTML、SQL和Excel。此外，它还具备隐形模式，以降低被检测为机器人的风险，以及遵循robots.txt和网站政策的道德爬取特性。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

一站式数据处理系统，为大型语言模型提供高质量数据。

Data-Juicer 是一个一站式的多模态数据处理系统，旨在为大型语言模型(LLMs)提供更高质量、更丰富、更易消化的数据。它提供了一个系统化和可复用的数据处理库，支持数据与模型的协同开发，通过沙盒实验室实现快速迭代，并提供基于数据和模型的反馈循环、可视化和多维度自动评估等功能，帮助用户更好地理解和改进他们的数据和模型。Data-Juicer 正在积极更新和维护，定期增强和添加更多功能、数据配方和数据集。

开源版Anthropic的Claude Artifacts界面

AI Artifacts是一个开源的Anthropic Claude Artifacts界面版本，使用E2B的代码解释器SDK和核心SDK执行AI代码。E2B提供了一个云沙箱来安全地运行AI生成的代码，并可以处理安装库、运行shell命令、运行Python、JavaScript、R以及Nextjs应用程序等。

新一代AI工程师在GitHub上构建

GitHub Models是GitHub推出的新一代AI模型服务，旨在帮助开发者成为AI工程师。它将行业领先的大型和小型语言模型直接集成到GitHub平台，让超过1亿用户能够直接在GitHub上访问和使用这些模型。GitHub Models提供了一个交互式的模型游乐场，用户可以在这里测试不同的提示和模型参数，无需支付费用。此外，GitHub Models与Codespaces和VS Code集成，允许开发者在开发环境中无缝使用这些模型，并通过Azure AI实现生产部署，提供企业级安全和数据隐私保护。

通过GPT等大型语言模型与你的文档对话

IncarnaMind是一个开源项目，旨在通过大型语言模型（LLMs）如GPT、Claude和本地开源LLMs，实现与个人文档（PDF、TXT）的交互对话。该项目利用滑动窗口分块机制和集成检索器，提高查询效率，增强LLMs的准确性。它支持多文档对话问答，突破了单文档限制，并兼容多种文件格式和LLM模型。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

构建大型语言模型支持的多智能体应用。

AgentScope是一个创新的多智能体平台，旨在赋能开发者使用大规模模型构建多智能体应用。它具有易于使用、高鲁棒性和基于Actor的分布式特性，支持自定义容错控制和重试机制，以增强应用稳定性。

AI驱动的相册，自动生成图像元数据并与之对话。

Album AI是一个实验性项目，它使用gpt-4o-mini作为视觉模型，自动识别相册中图像文件的元数据，并利用RAG技术实现与相册的对话。它既可以作为传统相册使用，也可以作为图像知识库，辅助大型语言模型进行内容生成。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

低代码构建多Agent大模型应用的开发工具

LazyLLM是一个致力于简化人工智能应用构建流程的开发工具，它通过提供低代码的解决方案，使得开发者即使不了解大模型也能轻松组装包含多个Agent的AI应用。LazyLLM支持一键部署所有模块，跨平台兼容，自动进行网格搜索参数优化，以及高效的模型微调，从而提升应用效果。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

AI原生数据应用开发框架

DB-GPT是一个开源的AI原生数据应用开发框架，利用AWEL(Agentic Workflow Expression Language)和代理(agent)技术，简化了大型模型应用与数据的结合。它通过多模型管理、Text2SQL效果优化、RAG框架优化、多代理框架协作等技术能力，使企业和开发者能够以更少的代码构建定制化应用。DB-GPT在数据3.0时代，基于模型和数据库，为构建企业级报告分析和业务洞察提供了基础数据智能技术。

一个开放平台，用于日常使用的语言代理。

OpenAgents是一个开放平台，旨在使用户和开发者能够在日常生活中使用和托管语言代理。该平台已经实现了三种代理：数据分析的Data Agent、集成200+日常工具的Plugins Agent和自动网页浏览的Web Agent。OpenAgents通过优化的Web UI使普通用户能够与代理功能进行交互，同时为开发者和研究人员提供在本地设置上的无缝部署体验，为创新语言代理的构建和现实世界评估提供了基础。

本地语音聊天机器人，保护隐私，无需联网。

june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案，可以在本地机器上进行语音辅助交互，确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。

无需编写代码即可创建智能代理的LLM工具。

Nerve是一个可以创建具有状态的代理的LLM工具，用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态，使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型，具有高度的灵活性和效率，同时注重内存安全。

基于ChatTTS模型的文本到语音转换项目

ChatTTS-Forge是一个围绕TTS生成模型ChatTTS开发的项目，实现了API服务器和基于Gradio的WebUI，能够提供全面的API服务，支持生成1000字以上的长文本，保持一致性，并通过内置32种不同风格进行风格管理。

连接ModelScope模型与世界的代理框架

ModelScope-Agent是一个可定制且可扩展的代理框架，具备角色扮演、大型语言模型调用、工具使用、规划和记忆等能力。它简化了代理应用的实现过程，提供了丰富的模型和工具接口，统一的接口和高可扩展性，低耦合性，使得开发者可以轻松使用内置工具、LLM、记忆等组件，而无需绑定更高层次的代理。

代码生成任务的新型模型，测试准确率高于GPT-4 Turbo。

AutoCoder是一个专为代码生成任务设计的新型模型，其在HumanEval基准数据集上的测试准确率超过了GPT-4 Turbo（2024年4月）和GPT-4o。与之前的开源模型相比，AutoCoder提供了一个新功能：它可以自动安装所需的包，并在用户希望执行代码时尝试运行代码，直到确定没有问题。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

开源AI搜索引擎，支持本地或云LLMs。

Farfalle是一个开源的AI驱动搜索引擎，它允许用户运行本地大型语言模型(LLMs)或使用云模型。它是基于Perplexity克隆的，可以与多种技术栈集成，如Next.js前端、FastAPI后端、Tavily搜索API等。它还提供了自定义设置的文档和演示视频，以帮助用户快速开始。

一个由LLMs驱动的智能Siri，无需专用硬件即可使用。

Siri-Ultra是一个基于云的智能助手，可以在Cloudflare Workers上运行，并且可以与任何大型语言模型（LLM）配合使用。它利用了LLaMA 3模型，并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri，从而消除了对专用硬件设备的需求。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。