产品库

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

AI语音代理测试与监控平台

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。

监控和调试你的LLM模型

Athina AI是一个用于监控和调试LLM（大型语言模型）模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误，并提供详细的分析和改进建议。Athina AI支持多种LLM模型，可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。

开发LLM应用的平台

Vellum是一个用于构建LLM驱动应用的开发平台。它具有提示工程、语义搜索、版本控制、测试和监控等工具,可以帮助开发者将LLM的功能引入生产环境。它与所有主要的LLM提供商兼容,开发者可以选择最适合的模型,也可以随时切换,避免业务过于依赖单一的LLM提供商。

一站式LLM开发自动化平台

Pulze.ai是一站式LLM开发自动化平台，提供单一API，将所有最佳LLM插入您的产品，并在几分钟内简化您的LLM功能开发。Pulze.ai的API遵循LLMOps最佳实践，并使您的团队轻松使用。Pulze.ai允许您一次测试所有最佳模型，以加速开发。您可以在Pulze.ai内动态控制预算和成本目标，并在扩展时保护您的利润。Pulze.ai还提供企业级安全性，以管理所有用户数据的数据隐私和安全性。Pulze.ai提供了多个功能点，如上传数据源、优化结果、一键部署、实时跟踪和版本控制等。

全栈监控、调试和测试

Autoblocks是一个协作式的云工作空间，为产品团队快速迭代GenAI产品提供了所需的所有工具。通过Autoblocks，您可以原型和测试应用程序流水线，跟踪用户交互并了解用户体验的影响，评估和可视化用户结果，无缝集成到任何代码库和技术堆栈。

嵌入AI的影子平台

Humanloop是一个用于构建和监控以大语言模型为基础的生产级应用的协作平台。它提供了一套完整的工具集,可以帮助开发者更快速地将AI从原型开发到生产环境,同时保证系统的可靠性。主要功能包括:提示工程,可以迭代和版本化提示,提高命中率;模型管理,支持各种模型并进行跟踪;内容评估,收集反馈并进行定量分析;以及合作平台,让非技术人员也可以参与到AI应用开发中。典型应用场景有构建聊天机器人、自动化客户支持以及生成营销内容等。Humanloop已经受到了成千上万开发者的青睐,被多家知名企业所使用。

优化LLM应用的提示设计、测试和优化工具

Query Vary提供开发人员设计、测试和优化提示的工具，确保可靠性、降低延迟并优化成本。它具有强大的功能，包括比较不同的LLM模型、跟踪成本、延迟和质量、版本控制提示、将调优的LLM直接嵌入JavaScript等。Query Vary适用于个人开发者、初创公司和大型企业，提供灵活的定价计划。

Deepchecks 是一个全面的开源解决方案，用于持续验证 AI 和 ML 模型与数据。

Deepchecks 是一个全面的开源解决方案，用于持续验证 AI 和 ML 模型与数据。它包括 Deepchecks Testing、CI & Testing Management 以及 Deepchecks Monitoring 三个组件。Deepchecks Testing 可用于运行内置和自定义的检查和套件，用于 Tabular、NLP 和 CV 验证。CI & Testing Management 可用于协作测试结果和迭代，直到模型准备好投入生产。Deepchecks Monitoring 可用于跟踪和验证部署模型在生产中的行为。Deepchecks 还包括大量内置检查，用于测试模型的性能、数据分布和数据完整性等问题。检查结果可以通过可视化报告、代码处理和 Deepchecks 的动态 UI 进行检查和协作。Deepchecks 是开源的，但 Deepchecks Monitoring 的某些组件需要商业许可。

多模态嵌入模型，实现文本、图像和截图的无缝检索。

Voyage AI推出的voyage-multimodal-3是一款多模态嵌入模型，它能够将文本和图像（包括PDF、幻灯片、表格等的截图）进行向量化处理，并捕捉关键视觉特征，从而提高文档检索的准确性。这一技术的进步，对于知识库中包含视觉和文本的丰富信息的RAG和语义搜索具有重要意义。voyage-multimodal-3在多模态检索任务中平均提高了19.63%的检索准确率，相较于其他模型表现出色。

AI云平台，为所有人服务

Kalavai是一个AI云平台，旨在为所有人提供服务。它通过集成各种AI技术，使得用户能够构建、部署和运行AI应用。Kalavai平台的主要优点是其易用性和灵活性，用户无需深入了解复杂的AI技术，即可快速构建自己的AI应用。平台背景信息显示，它支持多种语言和框架，适合不同层次的开发者使用。目前，Kalavai提供免费试用，具体价格和定位需要进一步了解。

开源的GenAI应用网关，快速构建个性化的AI应用

Arch是一个开源的网关，专为处理提示（prompts）而设计，它利用快速的大型语言模型（LLMs）来处理提示，并与后端系统无缝集成。Arch基于Envoy构建，支持任何应用程序语言，并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能，帮助开发者构建快速、健壮和个性化的GenAI应用。

一个提供代码Artifacts的在线平台

通义千问2.5-代码-Artifacts是一个专注于代码Artifacts的平台，旨在为用户提供代码相关的资源和服务。该平台可能包含代码示例、开发工具、代码管理等功能，以提高开发者的工作效率和代码质量。它可能依托于人工智能技术，提供智能代码辅助和自动化测试等功能，具有提高开发效率、降低错误率等优点。

Sidecar是Aide编辑器的AI大脑，与编辑器协同工作。

Sidecar是为Aide编辑器设计的人工智能插件，它在本地机器上与编辑器一起工作，负责创建提示、与大型语言模型（LLM）通信以及处理它们之间的所有交互。Sidecar的主要优点包括提高编程效率、智能代码补全和集成化的AI辅助开发。它基于Rust语言开发，确保了性能和安全性。Sidecar适用于需要在本地机器上进行高效编程和代码管理的开发者。

监控和管理您的Cursor编辑器使用情况

Editor Usage 是一款为macOS设计的菜单栏应用程序，旨在帮助用户监控和管理他们的Cursor编辑器使用情况。该应用程序能够追踪高级、普通和特殊请求的使用情况，并在接近使用限制时提供警告。它允许用户从菜单栏快速查看剩余的请求次数，从而确保用户始终了解他们的使用情况，并避免因超出限制而受到影响。这款应用的主要优点包括详细的使用监控、可定制的警告设置以及快速便捷的访问方式。它适合需要管理多个项目或希望实时监控请求使用情况的用户。

AI内容审核服务，保护下游部署安全。

Mistral Moderation API是Mistral AI推出的内容审核服务，旨在帮助用户检测和过滤不受欢迎的文本内容。该API是Le Chat中使用的审核服务的同一技术，现在对外开放，以便用户可以根据特定的应用和安全标准定制和使用这一工具。该模型是一个基于LLM（大型语言模型）的分类器，能够将文本输入分类到9个预定义的类别中。Mistral AI的这一API支持原生多语言，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语进行了训练。该API的主要优点包括提高审核的可扩展性和鲁棒性，以及通过技术文档提供的详细政策定义和启动指南，帮助用户有效实施系统级的安全防护。

利用LLM读取源代码并提供问题解答

askrepo是一个基于LLM（大型语言模型）的源代码阅读工具，它能够读取Git管理的文本文件内容，发送至Google Gemini API，并根据指定的提示提供问题的答案。该产品代表了自然语言处理和机器学习技术在代码分析领域的应用，其主要优点包括能够理解和解释代码的功能，帮助开发者快速理解新项目或复杂代码库。产品背景信息显示，askrepo适用于需要深入理解代码的场景，尤其是在代码审查和维护阶段。该产品是开源的，可以免费使用。

高精度将图片或PDF转换为Markdown文本或JSON结构化文档的API

pdf-extract-api是一个使用现代OCR技术和Ollama支持的模型将任何文档或图片转换为结构化的JSON或Markdown文本的API。它使用FastAPI构建，并使用Celery进行异步任务处理，Redis用于缓存OCR结果。该API无需云或外部依赖，所有处理都在本地开发或服务器环境中完成，确保数据安全。它支持PDF到Markdown的高精度转换，包括表格数据、数字或数学公式，并且可以使用Ollama支持的模型进行PDF到JSON的转换。此外，该API还支持LLM改进OCR结果，去除PDF中的个人身份信息（PII），以及分布式队列处理和缓存。

Xcode的智能侧边栏助手

Alex Sidebar是一个为Xcode设计的智能侧边栏插件，它通过提供多种功能来增强开发者的编程效率。产品背景信息显示，Alex Sidebar由Combinator支持，是一款在Beta阶段免费提供给用户的插件。它通过语义搜索、代码生成、错误自动修复等功能，帮助开发者更快速、更智能地编写代码。

国内领先的LLM一站式企业解决方案

Chat Nio是一个国内领先的LLM（Large Language Model）一站式企业解决方案，提供强大的AI集成工具，支持35+主流AI模型，涵盖文本生成、图像创作、音频处理和视频编辑等领域，并支持私有化部署和中转服务。它为开发者、个人用户和企业提供定制化的AI解决方案，包括但不限于多租户令牌分发、计费管理系统、深度集成Midjourney Proxy Plus绘画功能、全方位调用日志记录系统等。Chat Nio以其多功能性、灵活性和易用性，满足企业和团队的多样化需求，帮助他们高效开发和部署AI应用。

Go语言库，用于嵌入式向量搜索和语义嵌入

kelindar/search 是一个Go语言库，它提供了嵌入式向量搜索和语义嵌入的功能，基于llama.cpp构建。这个库特别适合于小到中型项目，需要强大的语义搜索能力，同时保持简单高效的实现。它支持GGUF BERT模型，允许用户利用复杂的嵌入技术，而不需要深陷传统搜索系统的复杂性。该库还提供了GPU加速功能，能够在支持的硬件上快速进行计算。如果你的数据集少于100,000条目，这个库可以轻松集成到你的Go应用中，实现语义搜索功能。

开源全栈平台，为打造顶级LLM产品提供支持

Laminar是一个开源的全栈平台，专注于从第一性原理出发进行AI工程。它帮助用户收集、理解和使用数据，以提高大型语言模型（LLM）应用的质量。Laminar支持对文本和图像模型的追踪，并且即将支持音频模型。产品的主要优点包括零开销的可观测性、在线评估、数据集构建和LLM链管理。Laminar完全开源，易于自托管，适合需要构建和管理LLM产品的开发者和团队。

A tool for integrating private data with AI large language models.

Dabarqus是一个Retrieval Augmented Generation（RAG）框架，它允许用户将私有数据实时提供给大型语言模型（LLM）。这个工具通过提供REST API、SDKs和CLI工具，使得用户能够轻松地将各种数据源（如PDF、电子邮件和原始数据）存储到语义索引中，称为“记忆库”。Dabarqus支持LLM风格的提示，使用户能够以简单的方式与记忆库进行交互，而无需构建特殊的查询或学习新的查询语言。此外，Dabarqus还支持多语义索引（记忆库）的创建和使用，使得数据可以根据主题、类别或其他分组方式进行组织。Dabarqus的产品背景信息显示，它旨在简化私有数据与AI语言模型的集成过程，提高数据检索的效率和准确性。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

高效的大型语言模型（LLM）研究代码库

Meta Lingua 是一个轻量级、高效的大型语言模型（LLM）训练和推理库，专为研究而设计。它使用了易于修改的PyTorch组件，使得研究人员可以尝试新的架构、损失函数和数据集。该库旨在实现端到端的训练、推理和评估，并提供工具以更好地理解模型的速度和稳定性。尽管Meta Lingua目前仍在开发中，但已经提供了多个示例应用来展示如何使用这个代码库。

一个全面的Prompt Engineering技术资源库

Prompt Engineering是人工智能领域的前沿技术，它改变了我们与AI技术的交互方式。这个开源项目旨在为初学者和经验丰富的实践者提供一个学习、构建和分享Prompt Engineering技术的平台。该项目包含了从基础到高级的各种示例，旨在促进Prompt Engineering领域的学习、实验和创新。此外，它还鼓励社区成员分享自己的创新技术，共同推动Prompt Engineering技术的发展。

由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型，专注于提升大型语言模型（LLM）生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF（特别是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术，还提供了与HuggingFace Transformers代码库兼容的模型转换格式，并可通过NVIDIA的build平台进行免费托管推理。

AI原生版本控制工具，提升代码协作效率。

gait是一个AI原生版本控制工具，它通过存储提示、上下文和代码的结合，帮助团队更容易理解和编辑AI生成的代码。gait自动保存AI代码生成对话，并通过版本控制与团队共享开发上下文。它支持GitHub Copilot和Cursor，并且提供了包括AI Blame、Codegen Analytics和Team Collaboration在内的多种功能。gait旨在通过AI技术提高开发人员的生产力，同时确保代码的版权和知识产权得到保护。