产品库

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

开发LLM应用的平台

Vellum是一个用于构建LLM驱动应用的开发平台。它具有提示工程、语义搜索、版本控制、测试和监控等工具,可以帮助开发者将LLM的功能引入生产环境。它与所有主要的LLM提供商兼容,开发者可以选择最适合的模型,也可以随时切换,避免业务过于依赖单一的LLM提供商。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

聊天机器人开发平台

ChatDev是一个聊天机器人开发平台软件开发平台，可以帮助用户快速构建自己的聊天机器人。ChatDev提供了丰富的功能和工具，包括自然语言处理、多语言支持、API集成等，帮助用户轻松实现聊天机器人的开发。ChatDev的定价灵活，提供免费试用和付费套餐，适合个人和企业用户使用。

LLM App开发和运营平台

Teammate Lang是一个全能的LLM App开发和运营解决方案。提供无代码编辑器、语义缓存、Prompt版本管理、LLM数据平台、A/B测试、QA、Playground等20多个模型，包括GPT、PaLM、Llama、Cohere等。

mutatio是一个AI提示工程平台，帮助AI工程师系统测试，衡量和优化提示。

mutatio是一个现代LLM提示实验平台，可帮助用户Craft，refine和optimize他们的AI提示。它允许用户创建和测试各种提示变异，以提高AI的输出质量。

企业软件开发的AI LLM平台

Lamini是一款面向企业软件开发的AI LLM平台，利用生成式人工智能和机器学习技术，自动化工作流程，优化软件开发过程，提高生产效率。体验Lamini，感受软件开发的未来。

AI开发平台，为工程团队提供原型开发和生成式AI应用

LastMile AI是一个AI开发平台，专为工程师而设计，可以用于原型开发和生成式AI应用的生产。它提供了一站式的多模态AI模型访问，包括语言模型（如GPT4、GPT3.5 Turbo和PaLM2）、图像模型、音频模型等。工程师可以使用类似于笔记本的界面创建和处理AI工作簿，还可以使用参数化AI工作簿轻松地将工作簿模板化。团队成员可以共享、评论和组织AI应用，进行协作和迭代的AI开发体验。LastMile AI还支持开发者社区，可以创建、共享和发现模板。用户可以根据自己的需求选择合适的定价计划，并免费试用30天。

大语言模型的提示工程指南

提示工程指南是一份全面介绍提示工程的指南，包括基本概念、设计提示的通用技巧、提示技术、提示应用等内容。它帮助用户更好地了解大型语言模型的能力和局限性，并掌握与大语言模型交互和研发的各种技能和技术。

开发者首选的LLM应用开发实验和协作平台

Inductor Custom Playgrounds是一个针对开发者设计的平台，旨在通过自动化生成可即时分享的LLM应用开发环境，加速开发过程，缩短上市时间，并创建更有效的LLM应用和功能。该平台支持开发者快速迭代和实验，通过协作和数据驱动的方式，构建高质量的LLM应用程序。

为开发者提供快速的AI平台，部署、优化和运行200多个LLM和多模型。

SiliconFlow是一款为开发者提供LLM部署、AI模型托管和推理API的AI基础设施。它通过优化的堆栈为用户提供更低的延迟、更高的吞吐量和可预测的成本。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

设计、部署和优化LLM应用与Klu

Klu是一款全能的LLM应用平台，可以在Klu上快速构建、评估和优化基于LLM技术的应用。它提供了多种最先进的LLM模型选择，让用户可以根据自己的需求进行选择和调整。Klu还支持团队协作、版本管理、数据评估等功能，为AI团队提供了一个全面而便捷的开发平台。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

LLM应用开发平台，提升文档处理能力。

Farspeak是一个LLM应用开发平台，它允许开发者通过API接入，使用自然语言查询（NLQ）和自然语言开发（NLD）技术，与MongoDB Atlas等数据库进行交互，处理结构化和非结构化数据。其主要优点包括实时嵌入更新、单一存储解决方案以及对多种数据库的支持。

首个用于快速工程的平台

PromptLayer是一个旨在帮助用户管理提示工程的平台。用户可以视觉化管理提示、评估模型、记录LLM请求以及搜索使用历史。它还支持团队协作。产品定位为提供快速工程解决方案，旨在简化提示工程的创建、部署和管理流程。用户可以免费开始使用，同时也提供高级功能以满足企业需求。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

开源的 LLM 应用程序分析

Langfuse 是一个开源的 LLM（Low-Code Low-Magic）应用程序分析工具，提供详细的生产追踪和对质量、成本和延迟的精细视图。它能帮助团队更好地跟踪和调试复杂的 LLM 应用程序，提供预构建的分析功能，帮助团队关注改进 LLM 应用程序的关键指标。Langfuse 与任何 LLM 应用程序集成，并提供多种 SDK 和 API 供开发者使用。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

腾讯AI开放平台,开发者打造AI产品加速器

腾讯AI开放平台整合腾讯在AI技术、云计算、大数据等方面的优势资源,提供包括语音、视觉、NLP在内的各类领先AI技术能力,以及一站式机器学习平台、行业解决方案,帮助开发者快速孵化AI创意,让AI落地更多场景,实现从技术到产品的全面赋能。

端到端开发工具套件，简化基于LLM的AI应用的开发流程

Prompt flow是一套开发工具，旨在简化基于LLM的AI应用的端到端开发流程，从构思、原型设计、测试、评估到生产部署和监控。它使得Prompt工程变得更加容易，并使您能够构建具有生产质量的LLM应用。 使用Prompt flow，您将能够： - 创建将LLM、提示、Python代码和其他工具链接在一起的可执行工作流。 - 轻松调试和迭代您的工作流，特别是与LLM的交互。 - 使用更大的数据集评估您的工作流，计算质量和性能指标。 - 将测试和评估集成到您的CI/CD系统中，以确保工作流的质量。 - 将您的工作流部署到您选择的服务平台，或轻松集成到您的应用程序代码库中。 - （可选但强烈推荐）通过在Azure AI中使用Prompt flow的云版本与团队合作。 欢迎加入我们，通过参与讨论、提出问题、提交PR来改进Prompt flow。 本文档站点包含Prompt flow SDK、CLI和VSCode扩展用户的指南。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

Bind帮助开发者快速构建部署强大的LLM应用

Bind是一个协作式的Generative AI应用开发平台,可帮助开发者快速构建和部署强大的语言模型应用。提供丰富的工具和功能,包括实时测试和调试LLM响应的提示场景,简易的部署LLM助手等应用到生产环境的平台。

为开发者提供资源工具、应用实践、商业变现、学习交流、大赛活动等一站式服务

华为云开发者官网旨在为开发者提供开发资源、开发工具、开发者计划、开发者社区、技术交流、商业支持等一站式服务,助力开发者快速掌握云原生技术,实现创新应用落地。平台集成了软件开发工具、AI开发工具、API文档、SDK等,帮助开发者高效开发;还提供沃土计划、开发者认证等项目帮助开发者成长。开发者可以在社区交流技术,参加云上技术分享活动;开发者计划助力开发者商业化,平台提供应用商店帮助开发者实现应用变现。

W&B Prompts: 高效生产级 LLM 操作

W&B Prompts 是 W&B 的最新产品，专注于 LLM（Language Model）技术。它提供了生产级的 LLM 操作，帮助用户解锁更好的 LLM 性能和提示工程。W&B Prompts 提供强大的功能和优势，定价灵活，适用于各种应用场景。