产品库

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

AI提示管理工具

Orquesta是一款AI提示管理工具，为工程师提供了管理提示的工具，包括集中存储、实验、个性化定制和收集反馈等功能。它能够帮助您丰富产品的功能，并实现AI和LLM的能力，同时集中管理和优化提示的生命周期。

一个基于AI的深度研究工具，能够持续搜索信息直至满足用户查询需求。

OpenDeepResearcher 是一个基于 AI 的研究工具，通过结合 SERPAPI、Jina 和 OpenRouter 等服务，能够根据用户输入的查询主题，自动进行多轮迭代搜索，直至收集到足够的信息并生成最终报告。该工具的核心优势在于其高效的异步处理能力、去重功能以及强大的 LLM 决策支持，能够显著提升研究效率。它主要面向需要进行大量文献搜索和信息整理的科研人员、学生以及相关领域的专业人士，帮助他们快速获取高质量的研究资料。该工具目前以开源形式提供，用户可以根据需要自行部署和使用。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

轻量级任务引擎，构建状态化 AI 代理，支持多种任务处理。

轻量级任务引擎，基于并行执行等原则构建。适合开发者和 AI 工程师构建复杂工作流和 AI 代理。免费。

AI驱动的多智能体数据分析系统

AI-Data-Analysis-MultiAgent是一个高级的AI驱动研究助理系统，利用多个专业智能体协助进行数据分析、可视化和报告生成等任务。该系统采用LangChain、OpenAI的GPT模型和LangGraph处理复杂的研究流程，集成多样化的AI架构以实现最佳性能。该系统的独特之处在于集成了一个专门的Note Taker智能体，通过维护项目的简洁而全面的记录，可以降低计算开销，提高不同分析阶段之间的上下文保持能力，并实现更连贯一致的分析结果。

生成llms.txt文件，帮助LLMs在推理时使用您的网站。

SiteSpeakAI - llms.txt Generator是一个在线工具，用于生成llms.txt文件。这个文件为大型语言模型（LLMs）提供了必要的信息，以便它们能够在推理时更有效地使用您的网站。该工具的重要性在于它能够帮助网站管理员和开发者优化他们的网站，使其更适合与人工智能语言模型的交互，提高网站的功能和用户体验。SiteSpeakAI提供了一个免费的在线生成器，用户可以快速生成所需的llms.txt文件，无需复杂的编程知识。

统一接口访问多个生成式AI服务

aisuite是一个提供简单、统一接口以访问多个生成式AI服务的产品。它允许开发者通过标准化的接口使用多个大型语言模型（LLM），并比较结果。作为一个轻量级的Python客户端库包装器，aisuite使得创作者可以在不改变代码的情况下，无缝切换并测试来自不同LLM提供商的响应。目前，该库主要关注聊天完成功能，并计划在未来扩展更多用例。

MCP是一个开放协议，用于无缝集成大型语言模型应用与外部数据源和工具。

Model Context Protocol（MCP）是一个开放协议，它允许大型语言模型（LLM）应用与外部数据源和工具之间实现无缝集成。无论是构建AI驱动的集成开发环境（IDE）、增强聊天界面还是创建自定义AI工作流，MCP都提供了一种标准化的方式，将LLM与它们所需的上下文连接起来。MCP的主要优点包括标准化的连接方式、易于集成和扩展、以及强大的社区支持。产品背景信息显示，MCP旨在促进开发者构建更加智能和高效的应用程序，特别是在AI和机器学习领域。MCP目前是免费提供给开发者使用的。

AI代理的人工在环反馈、输入和审批API及SDK

HumanLayer是一个API和SDK，它允许AI代理联系人类以获取反馈、输入和审批。它通过审批工作流程在Slack、电子邮件等渠道上确保对高风险功能调用的人类监督，支持将您选择的LLM和框架与AI代理安全连接到世界。HumanLayer得到了Y Combinator的支持，并且与多种流行的框架和LLM兼容，包括OpenAI、Claude、Llama3.1等。它提供了一个平台，通过人工在环的方式，增强AI代理的能力，提高其可靠性和效率。HumanLayer的价格策略包括免费、付费和定制企业方案，满足不同用户的需求。

Sidecar是Aide编辑器的AI大脑，与编辑器协同工作。

Sidecar是为Aide编辑器设计的人工智能插件，它在本地机器上与编辑器一起工作，负责创建提示、与大型语言模型（LLM）通信以及处理它们之间的所有交互。Sidecar的主要优点包括提高编程效率、智能代码补全和集成化的AI辅助开发。它基于Rust语言开发，确保了性能和安全性。Sidecar适用于需要在本地机器上进行高效编程和代码管理的开发者。

AI内容审核服务，保护下游部署安全。

Mistral Moderation API是Mistral AI推出的内容审核服务，旨在帮助用户检测和过滤不受欢迎的文本内容。该API是Le Chat中使用的审核服务的同一技术，现在对外开放，以便用户可以根据特定的应用和安全标准定制和使用这一工具。该模型是一个基于LLM（大型语言模型）的分类器，能够将文本输入分类到9个预定义的类别中。Mistral AI的这一API支持原生多语言，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语进行了训练。该API的主要优点包括提高审核的可扩展性和鲁棒性，以及通过技术文档提供的详细政策定义和启动指南，帮助用户有效实施系统级的安全防护。

国内领先的LLM一站式企业解决方案

Chat Nio是一个国内领先的LLM（Large Language Model）一站式企业解决方案，提供强大的AI集成工具，支持35+主流AI模型，涵盖文本生成、图像创作、音频处理和视频编辑等领域，并支持私有化部署和中转服务。它为开发者、个人用户和企业提供定制化的AI解决方案，包括但不限于多租户令牌分发、计费管理系统、深度集成Midjourney Proxy Plus绘画功能、全方位调用日志记录系统等。Chat Nio以其多功能性、灵活性和易用性，满足企业和团队的多样化需求，帮助他们高效开发和部署AI应用。

一个全面的Prompt Engineering技术资源库

Prompt Engineering是人工智能领域的前沿技术，它改变了我们与AI技术的交互方式。这个开源项目旨在为初学者和经验丰富的实践者提供一个学习、构建和分享Prompt Engineering技术的平台。该项目包含了从基础到高级的各种示例，旨在促进Prompt Engineering领域的学习、实验和创新。此外，它还鼓励社区成员分享自己的创新技术，共同推动Prompt Engineering技术的发展。

一个简单而强大的Python库，用于使用大型语言模型（LLMs）。

promptic是一个轻量级、基于装饰器的Python库，它通过litellm简化了与大型语言模型（LLMs）交互的过程。使用promptic，你可以轻松创建提示，处理输入参数，并从LLMs接收结构化输出，仅需几行代码。

无需编码即可构建生产就绪的LLM应用程序

Epsilla是一个无需编码的RAG即服务(RAG-as-a-Service)平台，它允许用户基于私有或公共数据构建生产就绪的大型语言模型(Large Language Model, LLM)应用程序。该平台提供了一站式服务，包括数据管理、RAG工具、CI/CD风格的评估以及企业级安全措施，旨在降低总拥有成本(TCO)，提高查询速度和吞吐量，同时确保信息的时效性和安全性。

AI提示工程师，优化大型语言模型应用

Weavel是一个AI提示工程师，它通过追踪、数据集管理、批量测试和评估等功能，帮助用户优化大型语言模型（LLM）的应用。Weavel与Weavel SDK结合使用，能够自动记录并添加LLM生成的数据到您的数据集中，实现无缝集成和针对特定用例的持续改进。此外，Weavel能够自动生成评估代码，并使用LLM作为复杂任务的公正裁判，简化评估流程，确保准确、细致的性能指标。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

本地语音聊天机器人，保护隐私，无需联网。

june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案，可以在本地机器上进行语音辅助交互，确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。

无需编写代码即可创建智能代理的LLM工具。

Nerve是一个可以创建具有状态的代理的LLM工具，用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态，使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型，具有高度的灵活性和效率，同时注重内存安全。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

一个由LLMs驱动的智能Siri，无需专用硬件即可使用。

Siri-Ultra是一个基于云的智能助手，可以在Cloudflare Workers上运行，并且可以与任何大型语言模型（LLM）配合使用。它利用了LLaMA 3模型，并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri，从而消除了对专用硬件设备的需求。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。

100% Java实现的LLM代理和大型行动模型

Tools4AI是100%用Java实现的大型行动模型(LAM),可作为企业Java应用程序的LLM代理。该项目演示了如何将AI与企业工具或外部工具集成,将自然语言提示转换为可执行行为。这些提示可以被称为"行动提示"或"可执行提示"。通过利用AI能力,它简化了用户与复杂系统的交互,提高了生产力和创新能力。

一个快速的AI网关

Portkey的AI网关是应用程序和托管LLM之间的接口。它使用统一的API对OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API请求进行了优化,从而实现了流畅的路由。该网关快速、轻量,内置重试机制,支持多模型负载均衡,确保应用程序的可靠性和性能。

LLM驱动的主代理框架

Agent M是一个强大的大型语言模型或ChatGPT驱动的主代理开发框架,可让您创建多个基于LLM的代理。Agent Mbetween多个执行各种任务的代理之间进行编排,例如基于自然语言的API调用,连接到您的数据并帮助自动化复杂的对话。