产品库

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

简化LLM和RAG模型输出评估，提供对定性指标的洞察

Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。

开源的RAG应用日志工具

RAG-logger是一个为检索增强生成(Retrieval-Augmented Generation, RAG)应用设计的开源日志工具。它是一个轻量级的、针对RAG特定日志需求的开源替代方案，专注于为RAG应用提供全面的日志记录功能，包括查询跟踪、检索结果记录、LLM交互记录以及逐步性能监控。它采用基于JSON的日志格式，支持每日日志组织、自动文件管理和元数据丰富化。RAG-logger以其开源、轻量级和专注于RAG应用的特性，为开发者提供了一个有效的工具来监控和分析RAG应用的性能。

掌握RAG技术，提升AI生成内容的准确性和相关性。

Retrieval-Augmented Generation (RAG) 是一种前沿技术，通过整合外部知识源来增强生成模型的能力，提高生成内容的质量和可靠性。LangChain是一个强大的框架，专为构建和部署稳健的语言模型应用而设计。本教程系列将提供全面的、分步骤的指南，帮助您使用LangChain实现RAG，从基础RAG流程的介绍开始，逐步深入到查询转换、文档嵌入、路由机制、查询构建、索引策略、检索技术以及生成阶段，最终将所有概念整合到一个实际场景中，展示RAG的强大和灵活性。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

一个集成了Django、Llamaindex和Google Drive的RAG应用框架。

Omakase RAG Orchestrator是一个旨在解决构建RAG应用时遇到的挑战的项目，它通过提供一个综合的Web应用程序和API来封装大型语言模型(LLMs)及其包装器。该项目整合了Django、Llamaindex和Google Drive，以提高应用的可用性、可扩展性和数据及用户访问管理。

基于RAG（Retrieval-Augmented Generation）技术的智能对话系统

RAG Web UI 是一个基于 RAG 技术的智能对话系统，它结合了文档检索和大型语言模型，能够为企业和个人提供基于知识库的智能问答服务。该系统采用前后端分离架构，支持多种文档格式（如 PDF、DOCX、Markdown、Text）的智能管理，包括自动分块和向量化处理。其对话引擎支持多轮对话和引用标注，能够提供精准的知识检索和生成服务。该系统还支持高性能向量数据库（如 ChromaDB、Qdrant）的灵活切换，具有良好的扩展性和性能优化。作为一种开源项目，它为开发者提供了丰富的技术实现和应用场景，适合用于构建企业级知识管理系统或智能客服平台。

一个适合学习、使用、自主扩展的RAG系统。

Easy-RAG是一个检索增强生成(RAG)系统，它不仅适合学习者了解和掌握RAG技术，同时也便于开发者使用和进行自主扩展。该系统通过集成知识图谱提取解析工具、rerank重新排序机制以及faiss向量数据库等技术，提高了检索效率和生成质量。

一个为RAG（检索增强生成）AI助手设计的React组件，可快速集成到Next.js应用中。

该产品是一个React组件，专为RAG（检索增强生成）AI助手设计。它结合了Upstash Vector进行相似性搜索、Together AI作为LLM（大型语言模型）以及Vercel AI SDK用于流式响应。这种组件化设计使得开发者可以快速将RAG能力集成到Next.js应用中，极大地简化了开发流程，同时提供了高度的可定制性。其主要优点包括响应式设计、支持流式响应、持久化聊天历史以及支持暗黑/浅色模式等。该组件主要面向需要在Web应用中集成智能聊天功能的开发者，尤其是那些使用Next.js框架的团队。它通过简化集成过程，降低了开发成本，同时提供了强大的功能。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

一个可以本地与多个PDF文件进行对话的聊天机器人。

rag-chatbot是一个基于人工智能技术的聊天机器人模型，它能够让用户通过自然语言与多个PDF文件进行交互。该模型使用了最新的机器学习技术，如Huggingface和Ollama，来实现对PDF内容的理解和回答生成。它的重要性在于能够处理大量文档信息，为用户提供快速、准确的问答服务。产品背景信息表明，这是一个开源项目，旨在通过技术创新提升文档处理的效率。目前该项目是免费的，主要面向开发者和技术爱好者。

全面管理的AI搜索基础设施，支持RAG。

Ducky是一种全面管理的AI检索服务，专为那些需要快速准确结果的开发人员而设计。它支持语义搜索，包括检索增强生成（RAG），并且提供了简单明了的Python SDK，可以快速构建出色的搜索功能。

构建RAG驱动的内部工具

RagHost是一个提供简单API的服务，可以上传文档并进行查询。您可以在几分钟内构建一个内部工具，用于搜索文档或回答问题。RagHost使用检索增强生成技术，通过将上下文数据与问题一起提供给模型，从而为您的模型提供所需的上下文。您无需处理文档解析、分块和向量嵌入等复杂工作，我们为您完成。RagHost支持自定义的分块策略，并提供流式响应以确保用户获得及时的回答。我们正在开发公平定价策略，使您能够轻松使用RagHost而无需担心高额费用。

无需编码即可构建生产就绪的LLM应用程序

Epsilla是一个无需编码的RAG即服务(RAG-as-a-Service)平台，它允许用户基于私有或公共数据构建生产就绪的大型语言模型(Large Language Model, LLM)应用程序。该平台提供了一站式服务，包括数据管理、RAG工具、CI/CD风格的评估以及企业级安全措施，旨在降低总拥有成本(TCO)，提高查询速度和吞吐量，同时确保信息的时效性和安全性。

一个用于在网站上提问的Chrome扩展程序，支持本地运行和向量存储。

Site RAG 是一款 Chrome 扩展程序，旨在通过自然语言处理技术帮助用户在浏览网页时快速获取问题答案。它支持将当前页面内容作为上下文进行查询，还能将整个网站内容索引到向量数据库中，以便后续进行检索增强生成（RAG）。该产品完全在本地浏览器运行，确保用户数据安全，同时支持连接本地运行的 Ollama 实例进行推理。它主要面向需要快速从网页内容中提取信息的用户，如开发者、研究人员和学生。目前该产品免费提供，适合希望在浏览网页时获得即时帮助的用户。

设计、部署和优化LLM应用与Klu

Klu是一款全能的LLM应用平台，可以在Klu上快速构建、评估和优化基于LLM技术的应用。它提供了多种最先进的LLM模型选择，让用户可以根据自己的需求进行选择和调整。Klu还支持团队协作、版本管理、数据评估等功能，为AI团队提供了一个全面而便捷的开发平台。

开发者友好的RAG即服务。

Ragie是一款面向开发者的RAG（Retrieval-Augmented Generation）即服务产品，它通过易于使用的API和SDK，帮助开发者快速启动并实现生成式AI应用。Ragie具备高级功能，如LLM重排、摘要索引、实体提取等，确保提供精确可靠的信息。它还支持与Google Drive、Notion等流行数据源的直接连接，并支持自动同步，保持数据最新。Ragie由Craft Ventures领导，提供简单明了的定价策略，无需设置费用或隐藏成本。

快速、准确的生产级RAG管道

Vectorize是一个专注于将非结构化数据转化为优化的向量搜索索引的平台，专为检索增强生成(RAG)而设计。它通过连接内容管理系统、文件系统、CRM、协作工具等多种数据源，帮助用户创建提高生产力的辅助系统和创新的客户体验。Vectorize的主要优点包括易于使用、快速部署和高精度的搜索结果，适合需要处理大量数据并希望快速实现AI应用的企业。

一键式无服务器RAG平台

SciPhi是一个开源的端到端RAG平台，使构建、部署和优化系统变得简单。它提供直观的框架和抽象，可与LangChain等解决方案相比较。通过SciPhi，您可以轻松启动和扩展最好的RAG系统，并选择各种托管和远程提供商以满足您的需求。无论是自托管还是云部署选项都可用。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。