产品库

优化LLM应用的提示设计、测试和优化工具

Query Vary提供开发人员设计、测试和优化提示的工具，确保可靠性、降低延迟并优化成本。它具有强大的功能，包括比较不同的LLM模型、跟踪成本、延迟和质量、版本控制提示、将调优的LLM直接嵌入JavaScript等。Query Vary适用于个人开发者、初创公司和大型企业，提供灵活的定价计划。

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

端到端开发工具套件，简化基于LLM的AI应用的开发流程

Prompt flow是一套开发工具，旨在简化基于LLM的AI应用的端到端开发流程，从构思、原型设计、测试、评估到生产部署和监控。它使得Prompt工程变得更加容易，并使您能够构建具有生产质量的LLM应用。 使用Prompt flow，您将能够： - 创建将LLM、提示、Python代码和其他工具链接在一起的可执行工作流。 - 轻松调试和迭代您的工作流，特别是与LLM的交互。 - 使用更大的数据集评估您的工作流，计算质量和性能指标。 - 将测试和评估集成到您的CI/CD系统中，以确保工作流的质量。 - 将您的工作流部署到您选择的服务平台，或轻松集成到您的应用程序代码库中。 - （可选但强烈推荐）通过在Azure AI中使用Prompt flow的云版本与团队合作。 欢迎加入我们，通过参与讨论、提出问题、提交PR来改进Prompt flow。 本文档站点包含Prompt flow SDK、CLI和VSCode扩展用户的指南。

.NET 9，跨平台开发的最新力作。

.NET 9是微软推出的最新跨平台开发框架，它集成了数千项性能、安全性和功能改进，使得开发者能够以统一的平台构建应用程序，并轻松地将AI融入应用。.NET 9不仅提升了运行时性能，还增强了对AI的支持，改进了ASP.NET Core和Blazor框架，以及对.NET MAUI的多平台应用开发进行了增强。

AI语音代理测试与监控平台

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。

一个提供代码Artifacts的在线平台

通义千问2.5-代码-Artifacts是一个专注于代码Artifacts的平台，旨在为用户提供代码相关的资源和服务。该平台可能包含代码示例、开发工具、代码管理等功能，以提高开发者的工作效率和代码质量。它可能依托于人工智能技术，提供智能代码辅助和自动化测试等功能，具有提高开发效率、降低错误率等优点。

Sidecar是Aide编辑器的AI大脑，与编辑器协同工作。

Sidecar是为Aide编辑器设计的人工智能插件，它在本地机器上与编辑器一起工作，负责创建提示、与大型语言模型（LLM）通信以及处理它们之间的所有交互。Sidecar的主要优点包括提高编程效率、智能代码补全和集成化的AI辅助开发。它基于Rust语言开发，确保了性能和安全性。Sidecar适用于需要在本地机器上进行高效编程和代码管理的开发者。

AI内容审核服务，保护下游部署安全。

Mistral Moderation API是Mistral AI推出的内容审核服务，旨在帮助用户检测和过滤不受欢迎的文本内容。该API是Le Chat中使用的审核服务的同一技术，现在对外开放，以便用户可以根据特定的应用和安全标准定制和使用这一工具。该模型是一个基于LLM（大型语言模型）的分类器，能够将文本输入分类到9个预定义的类别中。Mistral AI的这一API支持原生多语言，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语进行了训练。该API的主要优点包括提高审核的可扩展性和鲁棒性，以及通过技术文档提供的详细政策定义和启动指南，帮助用户有效实施系统级的安全防护。

利用LLM读取源代码并提供问题解答

askrepo是一个基于LLM（大型语言模型）的源代码阅读工具，它能够读取Git管理的文本文件内容，发送至Google Gemini API，并根据指定的提示提供问题的答案。该产品代表了自然语言处理和机器学习技术在代码分析领域的应用，其主要优点包括能够理解和解释代码的功能，帮助开发者快速理解新项目或复杂代码库。产品背景信息显示，askrepo适用于需要深入理解代码的场景，尤其是在代码审查和维护阶段。该产品是开源的，可以免费使用。

高精度将图片或PDF转换为Markdown文本或JSON结构化文档的API

pdf-extract-api是一个使用现代OCR技术和Ollama支持的模型将任何文档或图片转换为结构化的JSON或Markdown文本的API。它使用FastAPI构建，并使用Celery进行异步任务处理，Redis用于缓存OCR结果。该API无需云或外部依赖，所有处理都在本地开发或服务器环境中完成，确保数据安全。它支持PDF到Markdown的高精度转换，包括表格数据、数字或数学公式，并且可以使用Ollama支持的模型进行PDF到JSON的转换。此外，该API还支持LLM改进OCR结果，去除PDF中的个人身份信息（PII），以及分布式队列处理和缓存。

国内领先的LLM一站式企业解决方案

Chat Nio是一个国内领先的LLM（Large Language Model）一站式企业解决方案，提供强大的AI集成工具，支持35+主流AI模型，涵盖文本生成、图像创作、音频处理和视频编辑等领域，并支持私有化部署和中转服务。它为开发者、个人用户和企业提供定制化的AI解决方案，包括但不限于多租户令牌分发、计费管理系统、深度集成Midjourney Proxy Plus绘画功能、全方位调用日志记录系统等。Chat Nio以其多功能性、灵活性和易用性，满足企业和团队的多样化需求，帮助他们高效开发和部署AI应用。

AI生成的应用，全栈+生成式UI

cofounder是一个全栈AI生成的应用，它结合了后台、数据库和有状态的web应用。它基于应用架构的生成式UI，拥有AI引导的草图设计和模块化设计系统。这个项目还处于早期alpha阶段，但已经展现出强大的潜力，尤其是在快速原型设计和开发方面。它的目标是提供一个完整的本地、基于浏览器的开发环境，支持多种框架，并且通过集成的AI插件提供生成式设计系统。

开源全栈平台，为打造顶级LLM产品提供支持

Laminar是一个开源的全栈平台，专注于从第一性原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高大型语言模型（LLM）应用的质量。Laminar支持对文本和图像模型的追踪，并且即将支持音频模型。产品的主要优点包括零开销的可观测性、在线评估、数据集构建和LLM链管理。Laminar完全开源，易于自托管，适合需要构建和管理LLM产品的开发者和团队。

A tool for integrating private data with AI large language models.

Dabarqus是一个Retrieval Augmented Generation（RAG）框架，它允许用户将私有数据实时提供给大型语言模型（LLM）。这个工具通过提供REST API、SDKs和CLI工具，使得用户能够轻松地将各种数据源（如PDF、电子邮件和原始数据）存储到语义索引中，称为“记忆库”。Dabarqus支持LLM风格的提示，使用户能够以简单的方式与记忆库进行交互，而无需构建特殊的查询或学习新的查询语言。此外，Dabarqus还支持多语义索引（记忆库）的创建和使用，使得数据可以根据主题、类别或其他分组方式进行组织。Dabarqus的产品背景信息显示，它旨在简化私有数据与AI语言模型的集成过程，提高数据检索的效率和准确性。

AI驱动的工具，无需编码即可创建和分享个性化微应用。

GitHub Spark是一个AI驱动的工具，旨在让用户无需编写或部署任何代码即可创建和分享个性化的微应用（sparks）。它通过自然语言编辑器、托管运行环境和PWA支持的仪表板三个紧密集成的组件实现这一目标。GitHub Spark的背景是让软件个性化变得像个性化开发环境一样简单，并使周围的人也能这样做。产品的主要优点包括无需编码、易于分享和个性化、以及强大的AI模型支持。

构建多智能体系统的JavaScript框架

KaibanJS是一个专为JavaScript开发者设计的框架，用于构建和协调AI智能体。它允许开发者以类似微服务的方式处理AI任务，每个智能体负责不同的任务，如数据处理、处理和输出生成，全部自动协同工作。KaibanJS强调易用性和原生JavaScript支持，使得JavaScript开发者也能享受到构建复杂AI系统的能力。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

高效的大型语言模型（LLM）研究代码库

Meta Lingua 是一个轻量级、高效的大型语言模型（LLM）训练和推理库，专为研究而设计。它使用了易于修改的PyTorch组件，使得研究人员可以尝试新的架构、损失函数和数据集。该库旨在实现端到端的训练、推理和评估，并提供工具以更好地理解模型的速度和稳定性。尽管Meta Lingua目前仍在开发中，但已经提供了多个示例应用来展示如何使用这个代码库。

AI视频唇形同步工具，为创作者而生

sync. 是一款利用人工智能技术的视频唇形同步工具，它能够将任何视频中的嘴唇动作与任何音频同步，实现自然、准确且即时的唇形匹配。该工具不仅为内容创作者、播客和YouTube频道主提供了重新利用旧内容的可能，还通过其开发工具，帮助开发者在他们的应用程序中集成sync.功能，从而加速产品的全球影响力。此外，sync.支持多种语言，可以轻松地将内容翻译成任何语言，具有生命般的即时唇形同步效果。

一个全面的Prompt Engineering技术资源库

Prompt Engineering是人工智能领域的前沿技术，它改变了我们与AI技术的交互方式。这个开源项目旨在为初学者和经验丰富的实践者提供一个学习、构建和分享Prompt Engineering技术的平台。该项目包含了从基础到高级的各种示例，旨在促进Prompt Engineering领域的学习、实验和创新。此外，它还鼓励社区成员分享自己的创新技术，共同推动Prompt Engineering技术的发展。

由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型，专注于提升大型语言模型（LLM）生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF（特别是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术，还提供了与HuggingFace Transformers代码库兼容的模型转换格式，并可通过NVIDIA的build平台进行免费托管推理。

API管理的得力助手，简化API测试与开发流程。

Sparrow是一个全面的API管理解决方案，提供了一整套工具来促进整个API生命周期，引导研发团队在API设计优先开发中追求卓越。它支持API请求、WebSocket、API测试流程和AI支持，是一个协作的开源解决方案，旨在简化API开发的复杂性。Sparrow提供了强大的工具来保护和管理API数据，并提供自托管能力，使用户能够完全控制他们的测试环境。

一个可以本地与多个PDF文件进行对话的聊天机器人。

rag-chatbot是一个基于人工智能技术的聊天机器人模型，它能够让用户通过自然语言与多个PDF文件进行交互。该模型使用了最新的机器学习技术，如Huggingface和Ollama，来实现对PDF内容的理解和回答生成。它的重要性在于能够处理大量文档信息，为用户提供快速、准确的问答服务。产品背景信息表明，这是一个开源项目，旨在通过技术创新提升文档处理的效率。目前该项目是免费的，主要面向开发者和技术爱好者。

构建LLM应用的框架

LlamaIndex.TS是一个为构建基于大型语言模型（LLM）的应用而设计的框架。它专注于帮助用户摄取、结构化和访问私有或特定领域的数据。这个框架提供了一个自然语言界面，用于连接人类和推断出的数据，使得开发者无需成为机器学习或自然语言处理的专家，也能通过LLM增强其软件功能。LlamaIndex.TS支持Node.js、Vercel Edge Functions和Deno等流行运行时环境。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

终端中的个人AI助手，具备本地工具。

gptme是一个运行在终端的个人AI助手，它装备了本地工具，可以编写代码、使用终端、浏览网页、视觉识别等。它是一个不受软件、互联网访问、超时或隐私问题限制的ChatGPT“代码解释器”的本地替代方案。

AI视频真假辨别测试

AI Video Quiz是一个由Kapwing团队制作的在线测试，旨在教育公众如何辨别真实视频与由AI生成的假视频。通过这个测试，用户可以了解到AI视频编辑技术的最新进展，并提高对深度视频的警觉性。该测试通过展示公众人物的视频，让用户判断其真实性，从而引发对AI技术在视频制作领域应用的思考。

标准化AI应用开发流程的API集合

Llama Stack是一个定义和标准化生成式AI应用开发所需的构建模块的API集合。它涵盖了从模型训练和微调，到产品评估，再到生产环境中构建和运行AI代理的整个开发生命周期。Llama Stack旨在通过提供一致的、可互操作的组件，加速AI领域的创新。

一个简单而强大的Python库，用于使用大型语言模型（LLMs）。

promptic是一个轻量级、基于装饰器的Python库，它通过litellm简化了与大型语言模型（LLMs）交互的过程。使用promptic，你可以轻松创建提示，处理输入参数，并从LLMs接收结构化输出，仅需几行代码。

无需编码即可构建生产就绪的LLM应用程序

Epsilla是一个无需编码的RAG即服务(RAG-as-a-Service)平台，它允许用户基于私有或公共数据构建生产就绪的大型语言模型(Large Language Model, LLM)应用程序。该平台提供了一站式服务，包括数据管理、RAG工具、CI/CD风格的评估以及企业级安全措施，旨在降低总拥有成本(TCO)，提高查询速度和吞吐量，同时确保信息的时效性和安全性。