需求人群:
"RAGElo主要面向需要评估和选择最优RAG-based LLM代理的开发者和研究人员。它特别适合于那些在生产环境中需要快速原型设计和整合生成性LLMs,同时面临评估挑战的用户。"
使用场景示例:
使用RAGElo评估不同RAG管道对问答任务的影响
利用RAGElo进行LLM代理的批量评估,以优化问答系统
将RAGElo集成到生产流程中,自动评估和选择最佳的LLM代理
产品特色:
使用Elo评级系统评估RAG增强的LLM代理
支持Python库和独立CLI应用程序两种使用方式
提供自定义提示和元数据注入功能,以增强评估过程
支持批量评估,允许同时评估多个响应
CLI模式下,期望输入文件为CSV格式,简化数据输入
提供工具组件,如检索评估器、答案注释器和代理排名器
支持Python 3.8,适应最新的编程环境
使用教程:
1. 安装RAGElo:使用pip命令安装RAGElo库或CLI应用程序。
2. 导入RAGElo:在Python代码中导入RAGElo模块。
3. 初始化评估器:根据需要选择适当的评估器并进行初始化。
4. 进行评估:使用evaluate或batch_evaluate方法对单个或多个响应进行评估。
5. 自定义提示:根据评估需求,编写自定义提示并注入元数据。
6. 分析结果:查看评估结果,根据排名选择最优的LLM代理。
7. 批量处理:如果需要评估大量数据,使用CLI模式并准备相应的CSV文件。
浏览量:35
最新流量情况
月访问量
5.04m
平均访问时长
00:06:44
每次访问页数
5.72
跳出率
37.31%
流量来源
直接访问
52.46%
自然搜索
32.55%
邮件
0.05%
外链引荐
12.51%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.03%
德国
3.56%
印度
9.44%
俄罗斯
5.59%
美国
18.14%
RAG-based LLM agents的Elo排名工具
RAGElo是一个工具集,使用Elo评分系统帮助选择最佳的基于检索增强生成(RAG)的大型语言模型(LLM)代理。随着生成性LLM在生产中的原型设计和整合变得更加容易,评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案,计算不同设置的排名,提供了一个良好的概览,了解哪些设置有效,哪些无效。
一个简单而强大的Python库,用于使用大型语言模型(LLMs)。
promptic是一个轻量级、基于装饰器的Python库,它通过litellm简化了与大型语言模型(LLMs)交互的过程。使用promptic,你可以轻松创建提示,处理输入参数,并从LLMs接收结构化输出,仅需几行代码。
无需编码即可构建生产就绪的LLM应用程序
Epsilla是一个无需编码的RAG即服务(RAG-as-a-Service)平台,它允许用户基于私有或公共数据构建生产就绪的大型语言模型(Large Language Model, LLM)应用程序。该平台提供了一站式服务,包括数据管理、RAG工具、CI/CD风格的评估以及企业级安全措施,旨在降低总拥有成本(TCO),提高查询速度和吞吐量,同时确保信息的时效性和安全性。
AI提示工程师,优化大型语言模型应用
Weavel是一个AI提示工程师,它通过追踪、数据集管理、批量测试和评估等功能,帮助用户优化大型语言模型(LLM)的应用。Weavel与Weavel SDK结合使用,能够自动记录并添加LLM生成的数据到您的数据集中,实现无缝集成和针对特定用例的持续改进。此外,Weavel能够自动生成评估代码,并使用LLM作为复杂任务的公正裁判,简化评估流程,确保准确、细致的性能指标。
革命性的检索增强生成系统技术集合。
RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合,旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心,通过社区贡献和协作环境,推动RAG技术的发展和创新。
AI代理工具集,赋能复杂任务处理。
Composio是一个为AI代理提供高质量工具和集成的平台,它简化了代理的认证、准确性和可靠性问题,使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具,覆盖了GitHub、Notion、Linear等90多个平台,提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境(SWE)以及即席代理数据(RAG)等多种功能。Composio还支持六种不同的认证协议,能够显著提高代理调用工具的准确性。此外,Composio可以作为后端服务嵌入到应用程序中,为所有用户和代理管理认证和集成,保持一致的体验。
AI驱动的相册,自动生成图像元数据并与之对话。
Album AI是一个实验性项目,它使用gpt-4o-mini作为视觉模型,自动识别相册中图像文件的元数据,并利用RAG技术实现与相册的对话。它既可以作为传统相册使用,也可以作为图像知识库,辅助大型语言模型进行内容生成。
低代码构建多Agent大模型应用的开发工具
LazyLLM是一个致力于简化人工智能应用构建流程的开发工具,它通过提供低代码的解决方案,使得开发者即使不了解大模型也能轻松组装包含多个Agent的AI应用。LazyLLM支持一键部署所有模块,跨平台兼容,自动进行网格搜索参数优化,以及高效的模型微调,从而提升应用效果。
AI原生数据应用开发框架
DB-GPT是一个开源的AI原生数据应用开发框架,利用AWEL(Agentic Workflow Expression Language)和代理(agent)技术,简化了大型模型应用与数据的结合。它通过多模型管理、Text2SQL效果优化、RAG框架优化、多代理框架协作等技术能力,使企业和开发者能够以更少的代码构建定制化应用。DB-GPT在数据3.0时代,基于模型和数据库,为构建企业级报告分析和业务洞察提供了基础数据智能技术。
本地语音聊天机器人,保护隐私,无需联网。
june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案,可以在本地机器上进行语音辅助交互,确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。
用于微调Meta Llama模型的库和示例脚本集合
llama-recipes是Meta Llama模型的配套仓库,旨在提供一个可扩展的库,用于微调Meta Llama模型,并提供一些示例脚本和笔记本,以便快速开始使用模型在各种用例中,包括领域适应的微调和构建基于LLM的应用程序。
低代码生成AI应用程序的生成性AI RAG工具包。
create-tsi是一个生成性AI RAG(Retrieval-Augmented Generation)工具包,用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型(LLMs),简化了AI应用程序的创建过程,使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。
拖放方式创建agent工作群用于自定义业务逻辑
React Flow是一个开源的可视化编辑器,允许用户通过拖放的方式创建agent工作群,用于自定义业务逻辑。用户可以从图库中拖放agent到工作区,连接它们,定义初始任务,导出Python脚本在本地机器上运行。我们通过定制的操作系统为企业提供云端支持,让他们可以运行LLM。欢迎联系我们的企业支持团队了解更多信息。
简化LLM和RAG模型输出评估,提供对定性指标的洞察
Algomax简化LLM和RAG模型的评估,优化提示开发,并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM,并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标,帮助您更好地理解模型的行为,并提供具体的改进建议。Algomax的用途广泛,适用于各个行业和领域。
Langroid是一个基于Python的轻量级LLM框架
Langroid是一个轻量级、可扩展和原则性的Python框架,可以轻松地构建基于LLM的应用程序。您可以设置代理,为它们配备可选组件(LLM、向量存储和方法),分配它们任务,并让他们通过交换消息协作解决问题。这个多代理范例的灵感来自Actor框架(但您不需要了解任何关于这个的知识!)。Langroid提供了一个全新的LLM应用程序开发方式,在简化开发人员体验方面进行了深思熟虑;它不使用Langchain。我们欢迎贡献--请参阅贡献文档以获取贡献想法。
为LLM聊天机器人提供强大灵活的长期记忆系统。
MemoryScope是一个为大型语言模型(LLM)聊天机器人提供长期记忆能力的框架。它通过记忆数据库和工作库,使得聊天机器人能够存储和检索记忆片段,从而实现个性化的用户交互体验。该产品通过记忆检索和记忆整合等操作,使得机器人能够理解并记住用户的习惯和偏好,为用户提供更加个性化和连贯的对话体验。MemoryScope支持多种模型API,包括openai和dashscope,并且可以与现有的代理框架如AutoGen和AgentScope结合使用,提供了丰富的定制化和扩展性。
为机器人提供虚拟模拟和评估的先进世界模型。
1X 世界模型是一种机器学习程序,能够模拟世界如何响应机器人的行为。它基于视频生成和自动驾驶汽车世界模型的技术进步,为机器人提供了一个虚拟模拟器,能够预测未来的场景并评估机器人策略。这个模型不仅能够处理复杂的对象交互,如刚体、掉落物体的影响、部分可观察性、可变形物体和铰接物体,还能够在不断变化的环境中进行评估,这对于机器人技术的发展至关重要。
与文档进行自然语言对话的Python应用
Chat With Your Docs 是一个Python应用程序,允许用户与多种文档格式(如PDF、网页和YouTube视频)进行对话。用户可以使用自然语言提问,应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意,应用仅回应与加载的文档相关的问题。
多人协作的数据平台,支持SQL和Python的交互式笔记本。
Briefer是一个开源的数据平台,它允许用户运行SQL和Python代码,并将笔记本转化为仪表板和数据应用。它支持连接多种数据源,如Postgres、BigQuery、Redshift等,并且可以利用查询结果直接在Python代码块中使用。此外,它还提供了预安装的库和内置AI助手来帮助用户更快速地编写代码。Briefer的仪表板和数据应用功能,使得用户可以创建交互式的页面,用于数据探索和决策支持。
利用大型语言模型增量构建知识图谱
iText2KG是一个Python包,旨在利用大型语言模型从文本文档中提取实体和关系,增量构建一致的知识图谱。它具备零样本能力,允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块,确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示,支持交互式探索和分析结构化数据。
开源的RAG基础聊天工具,与文档对话。
kotaemon是一个开源的、基于RAG(Retrieval-Augmented Generation)模型的工具,旨在通过聊天界面与用户文档进行交互。它支持多种语言模型API提供商和本地语言模型,提供了一个干净、可定制的用户界面,适用于终端用户进行文档问答以及开发者构建自己的RAG问答流程。
开发者友好的RAG即服务。
Ragie是一款面向开发者的RAG(Retrieval-Augmented Generation)即服务产品,它通过易于使用的API和SDK,帮助开发者快速启动并实现生成式AI应用。Ragie具备高级功能,如LLM重排、摘要索引、实体提取等,确保提供精确可靠的信息。它还支持与Google Drive、Notion等流行数据源的直接连接,并支持自动同步,保持数据最新。Ragie由Craft Ventures领导,提供简单明了的定价策略,无需设置费用或隐藏成本。
未来派的AI驱动网页爬虫工具。
CyberScraper 2077是一款基于AI的网页爬虫工具,它利用OpenAI和Ollama等大型语言模型(LLM)来智能解析网页内容,提供数据提取服务。这款工具不仅拥有用户友好的图形界面,还支持多种数据导出格式,包括JSON、CSV、HTML、SQL和Excel。此外,它还具备隐形模式,以降低被检测为机器人的风险,以及遵循robots.txt和网站政策的道德爬取特性。
轻量级Python库,用于使用大型语言模型进行网站抓取。
Parsera是一个轻量级的Python库,专门设计用于与大型语言模型(LLMs)结合,以简化网站数据抓取的过程。它通过使用最少的令牌来提高速度并降低成本,使得数据抓取变得更加高效和经济。Parsera支持多种聊天模型,并且可以自定义使用不同的模型,如OpenAI或Azure。
高效CPU本地离线LaTeX识别工具
MixTeX是一个创新的多模态LaTeX识别小程序,由团队独立开发,能够在本地离线环境中执行高效的基于CPU的推理。无论是LaTeX公式、表格还是混合文本,MixTeX都能轻松识别,支持中英文处理。得益于强大的技术支持和优化设计,MixTeX无需GPU资源即可高效运行,适合任何Windows电脑,极大地方便了用户体验。
Mac上的简单助手,使用llama-cpp-python。
LLaMA Assistant for Mac是一个基于llama-cpp-python库开发的桌面客户端,旨在通过预定义需求为用户提供帮助。它采用了大量来自其他项目的代码,但用llama-cpp-python替代了ollama部分,以实现更符合Python编程风格的解决方案。
一个简单易用的网页抓取工具。
Scrape It Now! 是一个开源的网页抓取工具,它提供了一整套自动化网页抓取和索引的解决方案。该工具使用Python编写,支持多种功能,包括动态JavaScript内容加载、广告屏蔽、随机用户代理,自动创建AI搜索索引等,以提高抓取效率和数据质量。它适用于需要从网页中提取信息并进行进一步分析或存储的用户。
一个适合学习、使用、自主扩展的RAG系统。
Easy-RAG是一个检索增强生成(RAG)系统,它不仅适合学习者了解和掌握RAG技术,同时也便于开发者使用和进行自主扩展。该系统通过集成知识图谱提取解析工具、rerank重新排序机制以及faiss向量数据库等技术,提高了检索效率和生成质量。
© 2024 AIbase 备案号:闽ICP备08105208号-14