产品库

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

您的完整MLOps、监控和AI质量与治理解决方案。

数据科学家助手是您的完整MLOps、监控和AI质量与治理解决方案。它自动检测准确性、数据大小、模型漂移、运行时间、调度等的变化和趋势。通过提供统一的视图和关键指标，您可以全面了解您的机器学习环境。它还可以跟踪监控模型性能和数据漂移，以便快速识别准确性下降和数据质量变化。无需设置或等待基础架构配置，通过简单的代码集成，您就可以完全控制您发送的内容。您可以配置自定义警报和通知，以及可视化项目间的趋势和相关性。成为α用户即可获得免费访问。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

设计、部署和优化LLM应用与Klu

Klu是一款全能的LLM应用平台，可以在Klu上快速构建、评估和优化基于LLM技术的应用。它提供了多种最先进的LLM模型选择，让用户可以根据自己的需求进行选择和调整。Klu还支持团队协作、版本管理、数据评估等功能，为AI团队提供了一个全面而便捷的开发平台。

AI提示管理工具

Orquesta是一款AI提示管理工具，为工程师提供了管理提示的工具，包括集中存储、实验、个性化定制和收集反馈等功能。它能够帮助您丰富产品的功能，并实现AI和LLM的能力，同时集中管理和优化提示的生命周期。

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

企业软件开发的AI LLM平台

Lamini是一款面向企业软件开发的AI LLM平台，利用生成式人工智能和机器学习技术，自动化工作流程，优化软件开发过程，提高生产效率。体验Lamini，感受软件开发的未来。

Google Cloud的统一AI平台

Vertex AI提供了构建和部署机器学习模型所需的一体化平台和工具。它具有强大的功能,可以加速自定义模型的训练和部署,并提供预构建的AI API和应用。关键功能包括:集成的工作空间、模型部署与管理、MLOps支持等。可显著提高数据科学家和ML工程师的工作效率。

一个关于大型语言模型（LLM）后训练方法的教程、调查和指南资源库。

Awesome-LLM-Post-training 是一个专注于大型语言模型（LLM）后训练方法的资源库。它提供了关于 LLM 后训练的深入研究，包括教程、调查和指南。该资源库基于论文《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》，旨在帮助研究人员和开发者更好地理解和应用 LLM 后训练技术。该资源库免费开放，适合学术研究和工业应用。

100% Java实现的LLM代理和大型行动模型

Tools4AI是100%用Java实现的大型行动模型(LAM),可作为企业Java应用程序的LLM代理。该项目演示了如何将AI与企业工具或外部工具集成,将自然语言提示转换为可执行行为。这些提示可以被称为"行动提示"或"可执行提示"。通过利用AI能力,它简化了用户与复杂系统的交互,提高了生产力和创新能力。

开发LLM应用的平台

Vellum是一个用于构建LLM驱动应用的开发平台。它具有提示工程、语义搜索、版本控制、测试和监控等工具,可以帮助开发者将LLM的功能引入生产环境。它与所有主要的LLM提供商兼容,开发者可以选择最适合的模型,也可以随时切换,避免业务过于依赖单一的LLM提供商。

3D可视化的GPT-style LLM

LLM Visualization项目显示了一个GPT-style网络的3D模型。也就是OpenAI的GPT-2、GPT-3（可能还有GPT-4）中使用的网络拓扑。第一个显示工作权重的网络是一个小型网络，对由字母A、B和C组成的小列表进行排序。这是Andrej Karpathy的minGPT实现中的演示示例模型。渲染器还支持可视化任意大小的网络，并且与较小的gpt2大小一起工作，尽管权重没有被下载（它有数百MB）。CPU Simulation项目运行2D原理数字电路，具有完整的编辑器。意图是添加一些演练，展示诸如：如何构建一个简单的RISC-V CPU；构成部分下至门级：指令解码、ALU、加法等；更高级的CPU思想，如各种级别的流水线、缓存等。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

开源的 LLM 应用程序分析

Langfuse 是一个开源的 LLM（Low-Code Low-Magic）应用程序分析工具，提供详细的生产追踪和对质量、成本和延迟的精细视图。它能帮助团队更好地跟踪和调试复杂的 LLM 应用程序，提供预构建的分析功能，帮助团队关注改进 LLM 应用程序的关键指标。Langfuse 与任何 LLM 应用程序集成，并提供多种 SDK 和 API 供开发者使用。

开源评估基础设施，为 LLM 提供信心

Confident AI 是一个开源的评估基础设施，为 LLM（Language Model）提供信心。用户可以通过编写和执行测试用例来评估自己的 LLM 应用，并使用丰富的开源指标来衡量其性能。通过定义预期输出并与实际输出进行比较，用户可以确定 LLM 的表现是否符合预期，并找出改进的方向。Confident AI 还提供了高级的差异跟踪功能，帮助用户优化 LLM 配置。此外，用户还可以利用全面的分析功能，识别重点关注的用例，实现 LLM 的有信心地投产。Confident AI 还提供了强大的功能，帮助用户自信地将 LLM 投入生产，包括 A/B 测试、评估、输出分类、报告仪表盘、数据集生成和详细监控。

开源全栈平台，为打造顶级LLM产品提供支持

Laminar是一个开源的全栈平台，专注于从第一性原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高大型语言模型（LLM）应用的质量。Laminar支持对文本和图像模型的追踪，并且即将支持音频模型。产品的主要优点包括零开销的可观测性、在线评估、数据集构建和LLM链管理。Laminar完全开源，易于自托管，适合需要构建和管理LLM产品的开发者和团队。

基于LLM的企业智能工作助手

LLime是一个基于大型语言模型的企业智能工作助手,可以为企业的各个部门提供定制化的AI助手,提升工作效率。它提供简单易用的界面,支持根据企业数据进行模型微调,确保模型精准适配企业需求。主要功能包括代码探索、数据分析、内容策略等,可以帮助开发者、管理者和市场人员的工作决策。该产品采用订阅制,根据部门和员工人数定价。

Bind帮助开发者快速构建部署强大的LLM应用

Bind是一个协作式的Generative AI应用开发平台,可帮助开发者快速构建和部署强大的语言模型应用。提供丰富的工具和功能,包括实时测试和调试LLM响应的提示场景,简易的部署LLM助手等应用到生产环境的平台。

LLM prompt测试库

promptfoo是一个用于评估LLM prompt质量和进行测试的库。它能够帮助您创建测试用例，设置评估指标，并与现有的测试和CI流程集成。promptfoo还提供了一个Web Viewer，让您可以轻松地比较不同的prompt和模型输出。它被用于服务超过1000万用户的LLM应用程序。