产品库

LangGraph应用的辅助工具

LangGraph Engineer是一个alpha版本的代理，旨在帮助快速启动LangGraph应用程序。它专注于创建正确的节点和边，但不会尝试编写填充节点和边的逻辑，而是留给用户来完成。

基于LLM和LangChain的全栈应用，用于检索股票数据和新闻

该产品是一个全栈应用，通过LLM（大型语言模型）和LangChain技术，结合LangGraph实现股票数据和新闻的检索与分析。它利用ChromaDB作为向量数据库，支持语义搜索和数据可视化，为用户提供股票市场的深入洞察。该产品主要面向投资者、金融分析师和数据科学家，帮助他们快速获取和分析股票相关信息，辅助决策。产品目前开源免费，适合需要高效处理金融数据和新闻的用户。

一个用于创建基于LangGraph的分层多智能体系统的Python库。

LangGraph Multi-Agent Supervisor是一个基于LangGraph框架构建的Python库，用于创建分层多智能体系统。它允许开发者通过一个中心化的监督智能体来协调多个专业智能体，实现任务的动态分配和通信管理。该技术的重要性在于其能够高效地组织复杂的多智能体任务，提升系统的灵活性和可扩展性。它适用于需要多智能体协作的场景，如自动化任务处理、复杂问题解决等。该产品定位为高级开发者和企业级应用，目前未明确公开价格，但其开源特性使得用户可以根据自身需求进行定制和扩展。

构建应用程序的LLM通过组合性

LangChain是一个帮助开发人员构建应用程序的库，通过组合性将大型语言模型（LLMs）与其他计算或知识源结合起来。它提供了各种应用场景的端到端示例，包括问题回答、聊天机器人和代理等。LangChain还提供了对LLMs的通用接口、链式调用、数据增强生成、记忆和评估等功能。定价信息请访问官方网站。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

使用LangGraph代理帮助用户编写故事

story-writing是一个基于LangGraph Cloud的应用程序，旨在以一种有趣且互动的方式展示LangGraph Cloud的功能。该应用程序允许用户在LangGraph代理的帮助下编写故事，用户可以编辑已经写好的章节，或者继续编写下一章。用户可以有多个相同章节编号的版本，并选择他们最喜欢的版本继续故事。在开始时，用户提供故事摘要、所需的写作风格和对故事重要的任何其他细节。从那时起，他们只需要提供编辑和继续指令，以引导代理朝期望的方向发展。注意：这个应用程序是一个原型，尚未准备好部署，可能会有bug或代理的输出结果不佳。

LangGraph的高级应用课程

这是一个专注于LangGraph的高级应用课程，提供Reflective RAG, Self-RAG和Adaptive RAG的实现，旨在帮助开发者和生产环境应用LangGraph。

基于LangGraph的AI代理服务工具包

agent-service-toolkit是一个用于运行基于LangGraph的AI代理服务的完整工具包，包括LangGraph代理、FastAPI服务、客户端以及Streamlit应用程序，提供了从代理定义到用户界面的完整设置。它利用了LangGraph框架的高度控制能力和丰富的生态系统，支持并发执行、图循环、流式结果等高级功能。

CrewAI通过LangChain打造AI代理团队

CrewAI是一个面向开发者的开源库,可以帮助你打造和协调AI代理团队,用以解决复杂任务。它基于LangChain构建,可以无缝集成各类AI工具来赋能你的代理,让它们完成特定的工作目标。你可以像搭积木一样组合不同的代理、任务和工具,打造出适合自己需求的AI代理系统。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

掌握RAG技术，提升AI生成内容的准确性和相关性。

Retrieval-Augmented Generation (RAG) 是一种前沿技术，通过整合外部知识源来增强生成模型的能力，提高生成内容的质量和可靠性。LangChain是一个强大的框架，专为构建和部署稳健的语言模型应用而设计。本教程系列将提供全面的、分步骤的指南，帮助您使用LangChain实现RAG，从基础RAG流程的介绍开始，逐步深入到查询转换、文档嵌入、路由机制、查询构建、索引策略、检索技术以及生成阶段，最终将所有概念整合到一个实际场景中，展示RAG的强大和灵活性。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

基于LangChain和Streamlit的思维导图工具

Brainstormers是一个基于LangChain和Streamlit构建的应用，旨在通过提供受现实世界有效头脑风暴技术启发的策划和优化链来增强您的头脑风暴体验。与传统的直接使用ChatGPT不同，这个应用允许您参与结构化的头脑风暴方法，引导您全面探索想法，并最大化LLM驱动的头脑风暴的好处。该应用提供了多种头脑风暴技术，包括大思维导图、逆向头脑风暴、角色风暴、SCAMPER、六顶思考帽和星爆法等，帮助用户从不同角度审视问题，激发创新解决方案。

一个开源的多云平台客户端，支持LangGraph代理和前端应用开发。

open-mcp-client 是一个开源项目，旨在为多云平台（MCP）提供客户端支持。它结合了LangGraph代理和基于CopilotKit的前端应用，支持与MCP服务器的交互和工具调用。该项目采用TypeScript、CSS、Python和JavaScript开发，强调开发效率和用户体验。它适用于开发者和企业，用于管理和交互多云资源。开源免费，适合希望在多云环境中快速开发和部署的用户。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

一个关于大型语言模型（LLM）后训练方法的教程、调查和指南资源库。

Awesome-LLM-Post-training 是一个专注于大型语言模型（LLM）后训练方法的资源库。它提供了关于 LLM 后训练的深入研究，包括教程、调查和指南。该资源库基于论文《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》，旨在帮助研究人员和开发者更好地理解和应用 LLM 后训练技术。该资源库免费开放，适合学术研究和工业应用。

3D可视化的GPT-style LLM

LLM Visualization项目显示了一个GPT-style网络的3D模型。也就是OpenAI的GPT-2、GPT-3（可能还有GPT-4）中使用的网络拓扑。第一个显示工作权重的网络是一个小型网络，对由字母A、B和C组成的小列表进行排序。这是Andrej Karpathy的minGPT实现中的演示示例模型。渲染器还支持可视化任意大小的网络，并且与较小的gpt2大小一起工作，尽管权重没有被下载（它有数百MB）。CPU Simulation项目运行2D原理数字电路，具有完整的编辑器。意图是添加一些演练，展示诸如：如何构建一个简单的RISC-V CPU；构成部分下至门级：指令解码、ALU、加法等；更高级的CPU思想，如各种级别的流水线、缓存等。

构建知识图谱的Neo4j应用

llm-graph-builder是一个利用大型语言模型（如OpenAI、Gemini等）从非结构化数据（PDF、DOCS、TXT、YouTube视频、网页等）中提取节点、关系及其属性，并使用Langchain框架创建结构化知识图谱的应用程序。它支持从本地机器、GCS或S3存储桶或网络资源上传文件，选择LLM模型并生成知识图谱。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

LLM prompt测试库

promptfoo是一个用于评估LLM prompt质量和进行测试的库。它能够帮助您创建测试用例，设置评估指标，并与现有的测试和CI流程集成。promptfoo还提供了一个Web Viewer，让您可以轻松地比较不同的prompt和模型输出。它被用于服务超过1000万用户的LLM应用程序。

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

专为Kindle优化的无干扰LLM聊天Web应用

Kindllm是一款专为Kindle优化的无干扰LLM聊天Web应用，是您阅读的完美伴侣。由Mistral AI的Mixtral提供技术支持。主要在Kindle Paperwhite上进行了测试。为什么？作者之前尝试制作这款应用，但在旧版Kindle浏览器上无法很好地运行。令人惊讶的是，亚马逊最近更新了一些Kindle的网络浏览器，现在似乎已经足够好以运行这样的简单交互应用！

将LLM接入Comfy UI的插件

Tara是一款插件，可以将大型语言模型（LLM）接入到Comfy UI中，支持简单的API设置，并集成LLaVa模型。其中包含TaraPrompter节点用于生成精确结果、TaraApiKeyLoader节点管理API密钥、TaraApiKeySaver节点安全保存密钥、TaraDaisyChainNode节点串联输出实现复杂工作流。