产品库

节省LLM成本，不牺牲质量的框架

RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。

AI提示管理工具

Orquesta是一款AI提示管理工具，为工程师提供了管理提示的工具，包括集中存储、实验、个性化定制和收集反馈等功能。它能够帮助您丰富产品的功能，并实现AI和LLM的能力，同时集中管理和优化提示的生命周期。

一个由LLM驱动的数据处理系统。

DocETL是一个强大的系统，用于处理和分析大量文本数据。它通过利用大型语言模型（LLM）的能力，能够自动优化数据处理流程，并将LLM与非LLM操作无缝集成。该系统的主要优点包括其声明式的YAML定义方式，使得用户可以轻松地定义复杂的数据处理流程。此外，DocETL还提供了一个交互式的playground，方便用户进行提示工程的实验。产品背景信息显示，DocETL在2024年12月推出了DocWrangler，这是一个新的交互式playground，旨在简化提示工程。价格方面，虽然没有明确标出，但从提供的使用案例来看，运行和优化数据处理流程的成本相对较低。产品定位主要是为需要处理大量文本数据并从中提取有价值信息的用户提供服务。

一个开源的交互式开发环境，用于构建和优化基于LLM的数据处理管道。

DocWrangler是一个开源的交互式开发环境，旨在简化构建和优化基于大型语言模型（LLM）的数据处理管道的过程。它提供即时反馈、可视化探索工具和AI辅助功能，帮助用户更容易地探索数据、实验不同操作并根据发现优化管道。该产品基于DocETL框架构建，适用于处理非结构化数据，如文本分析、信息提取等。它不仅降低了LLM数据处理的门槛，还提高了工作效率，使用户能够更有效地利用LLM的强大功能。

下一代AI基础设施，助力构建应用，实现高精度、高速度与低成本。

Humiris AI提供先进的AI基础设施，帮助用户构建各类应用。其主要优点包括高精度、高速度、低成本以及灵活的部署选项。产品面向需要高效AI解决方案的企业和开发者，提供SaaS环境访问或自部署选项，满足不同行业的需求。目前官网未明确标出具体价格，需联系获取详细报价。

高质量的数据集、工具和概念，用于大型语言模型的微调。

mlabonne/llm-datasets 是一个专注于大型语言模型（LLM）微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集，帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量，能够覆盖多种使用场景，从而提高模型的泛化能力和准确性。此外，该产品还提供了一些工具和概念，帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护，旨在推动 LLM 领域的发展。

FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。

FlashInfer是一个专为大型语言模型（LLM）服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能，显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API，易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求，提供更高效、更可靠的推理支持。

用于生成LLM训练和推理的网站内容整合文本文件的工具

llmstxt-generator 是一个用于生成LLM（大型语言模型）训练和推理所需的网站内容整合文本文件的工具。它通过爬取网站内容，将其合并成一个文本文件，支持生成标准的llms.txt和完整的llms-full.txt版本。该工具由firecrawl_dev提供支持进行网页爬取，并使用GPT-4-mini进行文本处理。其主要优点包括无需API密钥即可使用基本功能，同时提供Web界面和API访问，方便用户快速生成所需的文本文件。

将本地文件转换为大型语言模型的结构化提示工具

CodebaseToPrompt 是一个简单工具，能够将本地目录转换为大型语言模型（LLM）的结构化提示。它帮助用户选择需要包含或忽略的文件，然后以可以直接复制到 LLM 中的格式输出，适用于代码审查、分析或文档生成。该工具的主要优点在于其交互性强、操作简便，并且能够在浏览器中直接使用，无需上传任何文件，确保了数据的安全性和隐私性。产品背景信息显示，它是由 path-find-er 团队开发，旨在提高开发者在使用 LLM 进行代码相关任务时的效率。

利用复合AI技术，将文档内联处理，跨越模态差距。

Document Inlining是Fireworks AI推出的一款复合AI系统，它能够将任何大型语言模型(LLM)转化为视觉模型，以处理图像或PDF文档。这项技术通过构建自动化流程，将任何数字资产格式转换为LLM兼容的格式，实现逻辑推理。Document Inlining通过解析图像和PDFs，直接将它们输入到用户选择的LLM中，提供更高的质量、输入灵活性和超简单的使用方式。它解决了传统LLM在处理非文本数据时的局限性，通过专业化的组件分解任务，提高了文本模型推理的质量，并且简化了开发者的使用体验。

客户数据搜索、统一和检索的LLM工具

IdentityRAG是一个基于客户数据构建LLM聊天机器人的工具，能够从多个内部源系统如数据库和CRM中检索统一的客户数据。该产品通过实时模糊搜索处理拼写错误和不准确信息，提供准确、相关和统一的客户数据响应。它支持快速检索结构化客户数据，构建动态客户档案，并实时更新客户数据，使LLM应用能够访问统一且准确的客户数据。IdentityRAG以其快速响应、数据实时更新和易于扩展的特点，受到快速增长、数据驱动的企业的信任。

监控、评估和优化你的LLM应用

LangWatch是一个专为大型语言模型（LLM）设计的监控、评估和优化平台。它通过科学的方法来衡量LLM的质量，自动寻找最佳的提示和模型，并提供一个直观的分析仪表板，帮助AI团队以10倍的速度交付高质量的产品。LangWatch的主要优点包括减少手动优化过程、提高开发效率、确保产品质量和安全性，以及支持企业级的数据控制和合规性。产品背景信息显示，LangWatch利用Stanford的DSPy框架，帮助用户在几分钟内而非几周内找到合适的提示或模型，从而加速产品从概念验证到生产的转变。

任务感知型提示优化框架

PromptWizard是由微软开发的一个任务感知型提示优化框架，它通过自我演化机制，使得大型语言模型（LLM）能够生成、批评和完善自己的提示和示例，通过迭代反馈和综合不断改进。这个自适应方法通过进化指令和上下文学习示例来全面优化，以提高任务性能。该框架的三个关键组件包括：反馈驱动的优化、批评和合成多样化示例、自生成的思考链（Chain of Thought, CoT）步骤。PromptWizard的重要性在于它能够显著提升LLM在特定任务上的表现，通过优化提示和示例来增强模型的性能和解释性。

一个用于可视化和探索微软GraphRAG工具的网络工具。

GraphRAG Visualizer是一个基于网络的工具，旨在可视化和探索微软GraphRAG工具产生的数据。GraphRAG是微软开发的一种用于生成图结构数据的技术，GraphRAG Visualizer通过让用户上传parquet文件，无需额外软件或脚本即可轻松查看和分析数据。该工具的主要优点包括图形可视化、数据表格展示、搜索功能以及本地处理数据，确保数据安全和隐私。

轻量级任务引擎，构建状态化 AI 代理，支持多种任务处理。

轻量级任务引擎，基于并行执行等原则构建。适合开发者和 AI 工程师构建复杂工作流和 AI 代理。免费。

快速部署会说话的AI代理

ElevenLabs Conversational AI是一款能够快速部署在网页、移动设备或电话上的语音代理产品。它以低延迟、全配置性和无缝扩展性为特点，支持自然对话中的轮流发言和打断处理，适用于嘈杂环境中的不可预测对话。产品结合了语音转文本、大型语言模型（LLM）和文本转语音技术，支持多语言和自定义声音，适用于客户支持、调度、外呼销售等多种场景。

AI驱动的多智能体数据分析系统

AI-Data-Analysis-MultiAgent是一个高级的AI驱动研究助理系统，利用多个专业智能体协助进行数据分析、可视化和报告生成等任务。该系统采用LangChain、OpenAI的GPT模型和LangGraph处理复杂的研究流程，集成多样化的AI架构以实现最佳性能。该系统的独特之处在于集成了一个专门的Note Taker智能体，通过维护项目的简洁而全面的记录，可以降低计算开销，提高不同分析阶段之间的上下文保持能力，并实现更连贯一致的分析结果。

生成llms.txt文件，帮助LLMs在推理时使用您的网站。

SiteSpeakAI - llms.txt Generator是一个在线工具，用于生成llms.txt文件。这个文件为大型语言模型（LLMs）提供了必要的信息，以便它们能够在推理时更有效地使用您的网站。该工具的重要性在于它能够帮助网站管理员和开发者优化他们的网站，使其更适合与人工智能语言模型的交互，提高网站的功能和用户体验。SiteSpeakAI提供了一个免费的在线生成器，用户可以快速生成所需的llms.txt文件，无需复杂的编程知识。

统一接口访问多个生成式AI服务

aisuite是一个提供简单、统一接口以访问多个生成式AI服务的产品。它允许开发者通过标准化的接口使用多个大型语言模型（LLM），并比较结果。作为一个轻量级的Python客户端库包装器，aisuite使得创作者可以在不改变代码的情况下，无缝切换并测试来自不同LLM提供商的响应。目前，该库主要关注聊天完成功能，并计划在未来扩展更多用例。

MCP是一个开放协议，用于无缝集成大型语言模型应用与外部数据源和工具。

Model Context Protocol（MCP）是一个开放协议，它允许大型语言模型（LLM）应用与外部数据源和工具之间实现无缝集成。无论是构建AI驱动的集成开发环境（IDE）、增强聊天界面还是创建自定义AI工作流，MCP都提供了一种标准化的方式，将LLM与它们所需的上下文连接起来。MCP的主要优点包括标准化的连接方式、易于集成和扩展、以及强大的社区支持。产品背景信息显示，MCP旨在促进开发者构建更加智能和高效的应用程序，特别是在AI和机器学习领域。MCP目前是免费提供给开发者使用的。

长文本摘要工具，将书籍和文档自动转换成要点笔记。

ollama-ebook-summary 是一个利用大型语言模型（LLM）为长文本创建要点笔记摘要的项目。该项目特别适用于epub和pdf格式的书籍，能够自动化提取章节并将其分割成约2000个token的小块，以提高响应的粒度。产品背景是创建者希望快速总结一系列书籍，以整合心理学理论和实践，并基于此信息构建连贯的论点。该工具的主要优点包括提高内容梳理效率、支持自定义问题查询、以及生成每个文本部分的详细摘要。

快速高效的非结构化数据提取工具

Extractous是一个用Rust编写的非结构化数据提取工具，提供多语言绑定。它专注于从各种文件类型（如PDF、Word、HTML等）中提取内容和元数据，并且性能优异，内存占用低。Extractous通过原生代码执行实现快速处理速度和低内存使用，支持多种文件格式，并集成了Apache Tika和tesseract-ocr技术，使其能够处理广泛的文件类型并进行OCR识别。该工具的开源性质和Apache 2.0许可使其可以免费用于商业用途，适合需要处理大量文档数据的企业和开发者。

AI代理的人工在环反馈、输入和审批API及SDK

HumanLayer是一个API和SDK，它允许AI代理联系人类以获取反馈、输入和审批。它通过审批工作流程在Slack、电子邮件等渠道上确保对高风险功能调用的人类监督，支持将您选择的LLM和框架与AI代理安全连接到世界。HumanLayer得到了Y Combinator的支持，并且与多种流行的框架和LLM兼容，包括OpenAI、Claude、Llama3.1等。它提供了一个平台，通过人工在环的方式，增强AI代理的能力，提高其可靠性和效率。HumanLayer的价格策略包括免费、付费和定制企业方案，满足不同用户的需求。

Sidecar是Aide编辑器的AI大脑，与编辑器协同工作。

Sidecar是为Aide编辑器设计的人工智能插件，它在本地机器上与编辑器一起工作，负责创建提示、与大型语言模型（LLM）通信以及处理它们之间的所有交互。Sidecar的主要优点包括提高编程效率、智能代码补全和集成化的AI辅助开发。它基于Rust语言开发，确保了性能和安全性。Sidecar适用于需要在本地机器上进行高效编程和代码管理的开发者。

AI内容审核服务，保护下游部署安全。

Mistral Moderation API是Mistral AI推出的内容审核服务，旨在帮助用户检测和过滤不受欢迎的文本内容。该API是Le Chat中使用的审核服务的同一技术，现在对外开放，以便用户可以根据特定的应用和安全标准定制和使用这一工具。该模型是一个基于LLM（大型语言模型）的分类器，能够将文本输入分类到9个预定义的类别中。Mistral AI的这一API支持原生多语言，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语进行了训练。该API的主要优点包括提高审核的可扩展性和鲁棒性，以及通过技术文档提供的详细政策定义和启动指南，帮助用户有效实施系统级的安全防护。

利用LLM读取源代码并提供问题解答

askrepo是一个基于LLM（大型语言模型）的源代码阅读工具，它能够读取Git管理的文本文件内容，发送至Google Gemini API，并根据指定的提示提供问题的答案。该产品代表了自然语言处理和机器学习技术在代码分析领域的应用，其主要优点包括能够理解和解释代码的功能，帮助开发者快速理解新项目或复杂代码库。产品背景信息显示，askrepo适用于需要深入理解代码的场景，尤其是在代码审查和维护阶段。该产品是开源的，可以免费使用。

高精度将图片或PDF转换为Markdown文本或JSON结构化文档的API

pdf-extract-api是一个使用现代OCR技术和Ollama支持的模型将任何文档或图片转换为结构化的JSON或Markdown文本的API。它使用FastAPI构建，并使用Celery进行异步任务处理，Redis用于缓存OCR结果。该API无需云或外部依赖，所有处理都在本地开发或服务器环境中完成，确保数据安全。它支持PDF到Markdown的高精度转换，包括表格数据、数字或数学公式，并且可以使用Ollama支持的模型进行PDF到JSON的转换。此外，该API还支持LLM改进OCR结果，去除PDF中的个人身份信息（PII），以及分布式队列处理和缓存。

国内领先的LLM一站式企业解决方案

Chat Nio是一个国内领先的LLM（Large Language Model）一站式企业解决方案，提供强大的AI集成工具，支持35+主流AI模型，涵盖文本生成、图像创作、音频处理和视频编辑等领域，并支持私有化部署和中转服务。它为开发者、个人用户和企业提供定制化的AI解决方案，包括但不限于多租户令牌分发、计费管理系统、深度集成Midjourney Proxy Plus绘画功能、全方位调用日志记录系统等。Chat Nio以其多功能性、灵活性和易用性，满足企业和团队的多样化需求，帮助他们高效开发和部署AI应用。

开源全栈平台，为打造顶级LLM产品提供支持

Laminar是一个开源的全栈平台，专注于从第一性原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高大型语言模型（LLM）应用的质量。Laminar支持对文本和图像模型的追踪，并且即将支持音频模型。产品的主要优点包括零开销的可观测性、在线评估、数据集构建和LLM链管理。Laminar完全开源，易于自托管，适合需要构建和管理LLM产品的开发者和团队。

A tool for integrating private data with AI large language models.

Dabarqus是一个Retrieval Augmented Generation（RAG）框架，它允许用户将私有数据实时提供给大型语言模型（LLM）。这个工具通过提供REST API、SDKs和CLI工具，使得用户能够轻松地将各种数据源（如PDF、电子邮件和原始数据）存储到语义索引中，称为“记忆库”。Dabarqus支持LLM风格的提示，使用户能够以简单的方式与记忆库进行交互，而无需构建特殊的查询或学习新的查询语言。此外，Dabarqus还支持多语义索引（记忆库）的创建和使用，使得数据可以根据主题、类别或其他分组方式进行组织。Dabarqus的产品背景信息显示，它旨在简化私有数据与AI语言模型的集成过程，提高数据检索的效率和准确性。