AI代理工具集,赋能复杂任务处理。
Composio是一个为AI代理提供高质量工具和集成的平台,它简化了代理的认证、准确性和可靠性问题,使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具,覆盖了GitHub、Notion、Linear等90多个平台,提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境(SWE)以及即席代理数据(RAG)等多种功能。Composio还支持六种不同的认证协议,能够显著提高代理调用工具的准确性。此外,Composio可以作为后端服务嵌入到应用程序中,为所有用户和代理管理认证和集成,保持一致的体验。
节省LLM成本,不牺牲质量的框架
RouteLLM是一个用于服务和评估大型语言模型(LLM)路由器的框架。它通过智能路由查询到不同成本和性能的模型,以节省成本同时保持响应质量。它提供了开箱即用的路由器,并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。
构建大型语言模型支持的多智能体应用。
AgentScope是一个创新的多智能体平台,旨在赋能开发者使用大规模模型构建多智能体应用。它具有易于使用、高鲁棒性和基于Actor的分布式特性,支持自定义容错控制和重试机制,以增强应用稳定性。
AI驱动的相册,自动生成图像元数据并与之对话。
Album AI是一个实验性项目,它使用gpt-4o-mini作为视觉模型,自动识别相册中图像文件的元数据,并利用RAG技术实现与相册的对话。它既可以作为传统相册使用,也可以作为图像知识库,辅助大型语言模型进行内容生成。
快速易用的LLM推理和服务平台
vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等,提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成,支持多种解码算法,包括并行采样、束搜索等,支持张量并行性,适用于分布式推理,支持流式输出,并兼容OpenAI API服务器。此外,vLLM还支持NVIDIA和AMD GPU,以及实验性的前缀缓存和多lora支持。
低代码构建多Agent大模型应用的开发工具
LazyLLM是一个致力于简化人工智能应用构建流程的开发工具,它通过提供低代码的解决方案,使得开发者即使不了解大模型也能轻松组装包含多个Agent的AI应用。LazyLLM支持一键部署所有模块,跨平台兼容,自动进行网格搜索参数优化,以及高效的模型微调,从而提升应用效果。
集成大型语言模型的SDK
Semantic Kernel是一个集成了大型语言模型(LLMs)如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包(SDK),它允许开发者通过定义可串联的插件,在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件,使用户能够通过LLM生成实现特定目标的计划,并由Semantic Kernel执行该计划。
RAG-based LLM agents的Elo排名工具
RAGElo是一个工具集,使用Elo评分系统帮助选择最佳的基于检索增强生成(RAG)的大型语言模型(LLM)代理。随着生成性LLM在生产中的原型设计和整合变得更加容易,评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案,计算不同设置的排名,提供了一个良好的概览,了解哪些设置有效,哪些无效。
AI原生数据应用开发框架
DB-GPT是一个开源的AI原生数据应用开发框架,利用AWEL(Agentic Workflow Expression Language)和代理(agent)技术,简化了大型模型应用与数据的结合。它通过多模型管理、Text2SQL效果优化、RAG框架优化、多代理框架协作等技术能力,使企业和开发者能够以更少的代码构建定制化应用。DB-GPT在数据3.0时代,基于模型和数据库,为构建企业级报告分析和业务洞察提供了基础数据智能技术。
一个开放平台,用于日常使用的语言代理。
OpenAgents是一个开放平台,旨在使用户和开发者能够在日常生活中使用和托管语言代理。该平台已经实现了三种代理:数据分析的Data Agent、集成200+日常工具的Plugins Agent和自动网页浏览的Web Agent。OpenAgents通过优化的Web UI使普通用户能够与代理功能进行交互,同时为开发者和研究人员提供在本地设置上的无缝部署体验,为创新语言代理的构建和现实世界评估提供了基础。
本地语音聊天机器人,保护隐私,无需联网。
june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案,可以在本地机器上进行语音辅助交互,确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。
无需编写代码即可创建智能代理的LLM工具。
Nerve是一个可以创建具有状态的代理的LLM工具,用户无需编写代码即可定义和执行复杂任务。它通过动态更新系统提示和在多个推理过程中保持状态,使代理能够规划和逐步执行完成任务所需的操作。Nerve支持任何通过ollama、groq或OpenAI API可访问的模型,具有高度的灵活性和效率,同时注重内存安全。
基于ChatTTS模型的文本到语音转换项目
ChatTTS-Forge是一个围绕TTS生成模型ChatTTS开发的项目,实现了API服务器和基于Gradio的WebUI,能够提供全面的API服务,支持生成1000字以上的长文本,保持一致性,并通过内置32种不同风格进行风格管理。
连接ModelScope模型与世界的代理框架
ModelScope-Agent是一个可定制且可扩展的代理框架,具备角色扮演、大型语言模型调用、工具使用、规划和记忆等能力。它简化了代理应用的实现过程,提供了丰富的模型和工具接口,统一的接口和高可扩展性,低耦合性,使得开发者可以轻松使用内置工具、LLM、记忆等组件,而无需绑定更高层次的代理。
代码生成任务的新型模型,测试准确率高于GPT-4 Turbo。
AutoCoder是一个专为代码生成任务设计的新型模型,其在HumanEval基准数据集上的测试准确率超过了GPT-4 Turbo(2024年4月)和GPT-4o。与之前的开源模型相比,AutoCoder提供了一个新功能:它可以自动安装所需的包,并在用户希望执行代码时尝试运行代码,直到确定没有问题。
用于微调Meta Llama模型的库和示例脚本集合
llama-recipes是Meta Llama模型的配套仓库,旨在提供一个可扩展的库,用于微调Meta Llama模型,并提供一些示例脚本和笔记本,以便快速开始使用模型在各种用例中,包括领域适应的微调和构建基于LLM的应用程序。
一站式LLM模型比较与优化平台
Unify AI是一个为开发者设计的平台,它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试,帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能,允许用户根据自己的需求设置成本、延迟和输出速度的约束,并定义自定义质量指标。此外,Unify AI的系统会根据最新的基准数据,每10分钟更新一次,将查询发送到最快提供商,确保持续达到峰值性能。
开源AI搜索引擎,支持本地或云LLMs。
Farfalle是一个开源的AI驱动搜索引擎,它允许用户运行本地大型语言模型(LLMs)或使用云模型。它是基于Perplexity克隆的,可以与多种技术栈集成,如Next.js前端、FastAPI后端、Tavily搜索API等。它还提供了自定义设置的文档和演示视频,以帮助用户快速开始。
© 2024 AIbase 备案号:闽ICP备08105208号-14