浏览量：60
简化LLM和RAG模型输出评估，提供对定性指标的洞察
Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。
RAG-based LLM agents的Elo排名工具
RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。
用于评估文本、对话和RAG设置的通用评估模型
Patronus GLIDER是一个经过微调的phi-3.5-mini-instruct模型，可以作为通用评估模型，根据用户定义的标准和评分规则来评判文本、对话和RAG设置。该模型使用合成数据和领域适应数据进行训练，覆盖了183个指标和685个领域，包括金融、医学等。模型支持的最大序列长度为8192个token，但经过测试可以支持更长的文本（高达12000个token）。
比较各种大型语言模型（LLM）的定价信息
LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。
开源的RAG应用日志工具
RAG-logger是一个为检索增强生成(Retrieval-Augmented Generation, RAG)应用设计的开源日志工具。它是一个轻量级的、针对RAG特定日志需求的开源替代方案，专注于为RAG应用提供全面的日志记录功能，包括查询跟踪、检索结果记录、LLM交互记录以及逐步性能监控。它采用基于JSON的日志格式，支持每日日志组织、自动文件管理和元数据丰富化。RAG-logger以其开源、轻量级和专注于RAG应用的特性，为开发者提供了一个有效的工具来监控和分析RAG应用的性能。
监控、评估和优化你的LLM应用
LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。
LLM的评估和单元测试框架
DeepEval提供了不同方面的度量来评估LLM对问题的回答,以确保答案是相关的、一致的、无偏见的、非有毒的。这些可以很好地与CI/CD管道集成在一起,允许机器学习工程师快速评估并检查他们改进LLM应用程序时,LLM应用程序的性能是否良好。DeepEval提供了一种Python友好的离线评估方法,确保您的管道准备好投入生产。它就像是“针对您的管道的Pytest”,使生产和评估管道的过程与通过所有测试一样简单直接。
扩展LLM上下文窗口
LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。
RAG-FiT是一个用于提升LLMs利用外部信息能力的库，通过特别创建的RAG增强数据集对模型进行微调。
RAG-FiT是一个强大的工具，旨在通过检索增强生成（RAG）技术提升大型语言模型（LLMs）的能力。它通过创建专门的RAG增强数据集，帮助模型更好地利用外部信息。该库支持从数据准备到模型训练、推理和评估的全流程操作。其主要优点包括模块化设计、可定制化工作流以及对多种RAG配置的支持。RAG-FiT基于开源许可，适合研究人员和开发者进行快速原型开发和实验。
开源评估基础设施，为 LLM 提供信心
Confident AI 是一个开源的评估基础设施，为 LLM（Language Model）提供信心。用户可以通过编写和执行测试用例来评估自己的 LLM 应用，并使用丰富的开源指标来衡量其性能。通过定义预期输出并与实际输出进行比较，用户可以确定 LLM 的表现是否符合预期，并找出改进的方向。Confident AI 还提供了高级的差异跟踪功能，帮助用户优化 LLM 配置。此外，用户还可以利用全面的分析功能，识别重点关注的用例，实现 LLM 的有信心地投产。Confident AI 还提供了强大的功能，帮助用户自信地将 LLM 投入生产，包括 A/B 测试、评估、输出分类、报告仪表盘、数据集生成和详细监控。
基于ComfyUI前端开发的LLM工作流节点集合
ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。
掌握RAG技术，提升AI生成内容的准确性和相关性。
Retrieval-Augmented Generation (RAG) 是一种前沿技术，通过整合外部知识源来增强生成模型的能力，提高生成内容的质量和可靠性。LangChain是一个强大的框架，专为构建和部署稳健的语言模型应用而设计。本教程系列将提供全面的、分步骤的指南，帮助您使用LangChain实现RAG，从基础RAG流程的介绍开始，逐步深入到查询转换、文档嵌入、路由机制、查询构建、索引策略、检索技术以及生成阶段，最终将所有概念整合到一个实际场景中，展示RAG的强大和灵活性。
快速直观地进行LLM实验
Terracotta是一个易于使用的平台，通过Terracotta，可以快速高效地进行LLM开发工作流。在Terracotta上管理所有精调模型，通过定性和定量评估快速迭代改进模型。同时支持与OpenAI和Cohere等多个提供商的连接。Terracotta通过上传数据来开展LLM模型的精调工作，提供安全存储数据的功能。用户可以对数据进行分类和文本生成的精调。Terracotta提供了定性和定量评估功能，可以同时输入多个模型的提示并比较模型输出，也可以使用我们的工具在包括准确度、BLEU和混淆矩阵等多种评估指标下评估模型。Terracotta由两位斯坦福大学人工智能研究生Beri Kohen和Lucas Pauker共同创建。欢迎您订阅我们的邮件列表，以便及时了解我们的最新进展！
一个集成了Django、Llamaindex和Google Drive的RAG应用框架。
Omakase RAG Orchestrator是一个旨在解决构建RAG应用时遇到的挑战的项目，它通过提供一个综合的Web应用程序和API来封装大型语言模型(LLMs)及其包装器。该项目整合了Django、Llamaindex和Google Drive，以提高应用的可用性、可扩展性和数据及用户访问管理。
高效的 Intel GPU 上的 LLM 推理解决方案
这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。
构建LLM应用的开发平台
LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。
一个适合学习、使用、自主扩展的RAG系统。
Easy-RAG是一个检索增强生成(RAG)系统，它不仅适合学习者了解和掌握RAG技术，同时也便于开发者使用和进行自主扩展。该系统通过集成知识图谱提取解析工具、rerank重新排序机制以及faiss向量数据库等技术，提高了检索效率和生成质量。
基于RAG（Retrieval-Augmented Generation）技术的智能对话系统
RAG Web UI 是一个基于 RAG 技术的智能对话系统，它结合了文档检索和大型语言模型，能够为企业和个人提供基于知识库的智能问答服务。该系统采用前后端分离架构，支持多种文档格式（如 PDF、DOCX、Markdown、Text）的智能管理，包括自动分块和向量化处理。其对话引擎支持多轮对话和引用标注，能够提供精准的知识检索和生成服务。该系统还支持高性能向量数据库（如 ChromaDB、Qdrant）的灵活切换，具有良好的扩展性和性能优化。作为一种开源项目，它为开发者提供了丰富的技术实现和应用场景，适合用于构建企业级知识管理系统或智能客服平台。
加速模型评估和微调的智能评估工具
SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。
LLM prompt测试库
promptfoo是一个用于评估LLM prompt质量和进行测试的库。它能够帮助您创建测试用例，设置评估指标，并与现有的测试和CI流程集成。promptfoo还提供了一个Web Viewer，让您可以轻松地比较不同的prompt和模型输出。它被用于服务超过1000万用户的LLM应用程序。
基于用户反馈的 LLM 模型对齐技术
C3PO 是一种基于用户反馈的 LLM 模型对齐技术，可以从单个反馈句子中对 LLM 进行调整，避免过度概括化。该技术提供了参考实现、相关基准线和必要组件，方便研究论文中提出的技术。
使用简单、原始的 C/CUDA 进行 LLM 训练
karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。
AI模型测试评估工具
Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。
一个为LLM生成Git提交信息的插件
llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。
一个为RAG（检索增强生成）AI助手设计的React组件，可快速集成到Next.js应用中。
该产品是一个React组件，专为RAG（检索增强生成）AI助手设计。它结合了Upstash Vector进行相似性搜索、Together AI作为LLM（大型语言模型）以及Vercel AI SDK用于流式响应。这种组件化设计使得开发者可以快速将RAG能力集成到Next.js应用中，极大地简化了开发流程，同时提供了高度的可定制性。其主要优点包括响应式设计、支持流式响应、持久化聊天历史以及支持暗黑/浅色模式等。该组件主要面向需要在Web应用中集成智能聊天功能的开发者，尤其是那些使用Next.js框架的团队。它通过简化集成过程，降低了开发成本，同时提供了强大的功能。
Generative AI 模型评估工具
Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。
© 2025 AIbase 备案号：闽ICP备08105208号-14