产品库

一个简单而强大的Python库，用于使用大型语言模型（LLMs）。

promptic是一个轻量级、基于装饰器的Python库，它通过litellm简化了与大型语言模型（LLMs）交互的过程。使用promptic，你可以轻松创建提示，处理输入参数，并从LLMs接收结构化输出，仅需几行代码。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

本地语音聊天机器人，保护隐私，无需联网。

june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案，可以在本地机器上进行语音辅助交互，确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

无需编码即可构建生产就绪的LLM应用程序

Epsilla是一个无需编码的RAG即服务(RAG-as-a-Service)平台，它允许用户基于私有或公共数据构建生产就绪的大型语言模型(Large Language Model, LLM)应用程序。该平台提供了一站式服务，包括数据管理、RAG工具、CI/CD风格的评估以及企业级安全措施，旨在降低总拥有成本(TCO)，提高查询速度和吞吐量，同时确保信息的时效性和安全性。

AI提示工程师，优化大型语言模型应用

Weavel是一个AI提示工程师，它通过追踪、数据集管理、批量测试和评估等功能，帮助用户优化大型语言模型（LLM）的应用。Weavel与Weavel SDK结合使用，能够自动记录并添加LLM生成的数据到您的数据集中，实现无缝集成和针对特定用例的持续改进。此外，Weavel能够自动生成评估代码，并使用LLM作为复杂任务的公正裁判，简化评估流程，确保准确、细致的性能指标。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

自主软件开发系统，提高编码效率。

SuperCoder是一个开源的自主软件开发系统，利用先进的AI工具和代理来简化和自动化编码、测试和部署任务，提高效率和可靠性。它支持多种编程语言和框架，以满足不同的开发需求。

AI驱动的数据分析工具

Datalore是一个集成了Anthropic的Claude API和多种数据分析库的AI驱动的数据分析工具。它提供了一个交互式界面，使用户能够使用自然语言命令执行数据分析任务。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

无需编写代码即可创建智能代理的LLM工具。

Nerve是一个可以创建具有状态的代理的LLM工具，用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态，使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型，具有高度的灵活性和效率，同时注重内存安全。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

一个由LLMs驱动的智能Siri，无需专用硬件即可使用。

Siri-Ultra是一个基于云的智能助手，可以在Cloudflare Workers上运行，并且可以与任何大型语言模型（LLM）配合使用。它利用了LLaMA 3模型，并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri，从而消除了对专用硬件设备的需求。

使用Python和AI扩展业务流程，实现全面透明化和高效自动化。

Abstra是一个基于Python和AI的业务流程自动化平台，它允许用户通过拖放组件和绑定Python代码来创建功能强大的工作流。该平台提供了智能表单、定时任务和事件触发器等多种自动化工具，支持一键部署到云端，并且可以与Git集成。Abstra强调透明度和可审计性，提供SSO或SAML身份验证和细粒度的访问控制，适合需要高度定制化自动化解决方案的企业团队。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。

100% Java实现的LLM代理和大型行动模型

Tools4AI是100%用Java实现的大型行动模型(LAM),可作为企业Java应用程序的LLM代理。该项目演示了如何将AI与企业工具或外部工具集成,将自然语言提示转换为可执行行为。这些提示可以被称为"行动提示"或"可执行提示"。通过利用AI能力,它简化了用户与复杂系统的交互,提高了生产力和创新能力。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

拖放方式创建agent工作群用于自定义业务逻辑

React Flow是一个开源的可视化编辑器,允许用户通过拖放的方式创建agent工作群,用于自定义业务逻辑。用户可以从图库中拖放agent到工作区,连接它们,定义初始任务,导出Python脚本在本地机器上运行。我们通过定制的操作系统为企业提供云端支持,让他们可以运行LLM。欢迎联系我们的企业支持团队了解更多信息。

一个快速的AI网关

Portkey的AI网关是应用程序和托管LLM之间的接口。它使用统一的API对OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API请求进行了优化,从而实现了流畅的路由。该网关快速、轻量,内置重试机制,支持多模型负载均衡,确保应用程序的可靠性和性能。

LLM驱动的主代理框架

Agent M是一个强大的大型语言模型或ChatGPT驱动的主代理开发框架,可让您创建多个基于LLM的代理。Agent Mbetween多个执行各种任务的代理之间进行编排,例如基于自然语言的API调用,连接到您的数据并帮助自动化复杂的对话。

将AI引入您最喜爱的数据库！

SuperDuperDB是一个可以将AI直接集成和训练到您喜欢的数据库的工具。只需使用Python，无需复杂的MLOps流程和专门的向量数据库。它允许您在数据库中进行实时推断和模型训练，将现有数据库转化为完全功能的向量数据库，并能与各种机器学习框架和AI API无缝集成。请访问官方网站了解更多信息。

Langroid是一个基于Python的轻量级LLM框架

Langroid是一个轻量级、可扩展和原则性的Python框架,可以轻松地构建基于LLM的应用程序。您可以设置代理,为它们配备可选组件(LLM、向量存储和方法),分配它们任务,并让他们通过交换消息协作解决问题。这个多代理范例的灵感来自Actor框架(但您不需要了解任何关于这个的知识!)。Langroid提供了一个全新的LLM应用程序开发方式,在简化开发人员体验方面进行了深思熟虑;它不使用Langchain。我们欢迎贡献--请参阅贡献文档以获取贡献想法。

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

基于LLM的企业智能工作助手

LLime是一个基于大型语言模型的企业智能工作助手,可以为企业的各个部门提供定制化的AI助手,提升工作效率。它提供简单易用的界面,支持根据企业数据进行模型微调,确保模型精准适配企业需求。主要功能包括代码探索、数据分析、内容策略等,可以帮助开发者、管理者和市场人员的工作决策。该产品采用订阅制,根据部门和员工人数定价。

一站式AI工具，提供300多个AI专家条件和500多个精细调整模型

GPT4All是一个一站式AI工具，提供300多个AI专家条件和500多个精细调整模型，可以用于写作、编码、数据组织、图像生成、音乐生成等多种任务。它具有易于使用的用户界面，支持浅色和深色模式，集成了GitHub仓库，支持不同的预定义欢迎消息的个性化，支持生成答案的点赞和点踩评级，支持复制、编辑和删除消息，支持本地数据库存储讨论，支持搜索、导出和删除多个讨论，支持基于稳定扩散的图像/视频生成，支持基于musicgen的音乐生成，支持通过Lollms节点和花瓣进行多代对等网络生成，支持Docker、conda和手动虚拟环境设置。

AI模型写作摘要

CHATGPT AI是一款基于AI和Python模型的写作摘要工具。它可以根据输入的Arxiv论文链接和选择的AI/Python模型，生成相应的摘要。CHATGPT AI提供高质量的自动摘要服务，帮助用户快速了解论文内容。

快速直观地进行LLM实验

Terracotta是一个易于使用的平台，通过Terracotta，可以快速高效地进行LLM开发工作流。在Terracotta上管理所有精调模型，通过定性和定量评估快速迭代改进模型。同时支持与OpenAI和Cohere等多个提供商的连接。Terracotta通过上传数据来开展LLM模型的精调工作，提供安全存储数据的功能。用户可以对数据进行分类和文本生成的精调。Terracotta提供了定性和定量评估功能，可以同时输入多个模型的提示并比较模型输出，也可以使用我们的工具在包括准确度、BLEU和混淆矩阵等多种评估指标下评估模型。Terracotta由两位斯坦福大学人工智能研究生Beri Kohen和Lucas Pauker共同创建。欢迎您订阅我们的邮件列表，以便及时了解我们的最新进展！