产品库

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

SquareDev是一款基于大语言模型打造的应用开发平台。

SquareDev是一个开源的平台,致力于帮助开发者利用大语言模型技术搭建应用。它组合了LangChain、Hugging Face、Supabase等知名开源项目,为开发者提供友好的界面和API,降低使用LLM的门槛。平台拥有强大的检索增强生成、语义搜索、知识抽取等功能,可以帮助用户分析结构化数据、生成个性化文本、搭建聊天机器人等。SquareDev致力于成为LLM应用开发的首选平台。

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

Carbon是一个统一的API，用于将外部数据连接到您的向量数据库。

Carbon是一个统一的API，用于将外部数据连接到您的向量数据库。开发人员可以使用Carbon的智能API将非结构化的业务数据整合到他们的LLM应用程序中，无论数据来源如何。Carbon支持从各种来源收集数据，并将其转换为AI友好的纯文本，适用于希望无缝整合AI到他们业务中的公司。

用简单语言指令实现自动化

Neural Wave是一款基于生成式人工智能技术的自动化工具，通过简单的语言指令，使任何企业都能够轻松实现自动化任务，无需昂贵的技术专业知识。我们的自定义大型语言模型（LLM）可以在任何软件应用程序上自动化任何任务（具有或不具有API），并处理任何结构化和完全非结构化的文档。我们的工具不需要任何RPA开发技能或技术专业知识，任何用户都可以通过简单的语言解释任务来自动化任何任务，无需技术技能。

开源的 LLM 应用程序分析

Langfuse 是一个开源的 LLM（Low-Code Low-Magic）应用程序分析工具，提供详细的生产追踪和对质量、成本和延迟的精细视图。它能帮助团队更好地跟踪和调试复杂的 LLM 应用程序，提供预构建的分析功能，帮助团队关注改进 LLM 应用程序的关键指标。Langfuse 与任何 LLM 应用程序集成，并提供多种 SDK 和 API 供开发者使用。

更多模态、更长记忆、更低成本

JinaChat是一种多功能的大型语言模型 (LLM) 服务，提供高级会话功能，可以回答问题、解释图像等等。JinaChat开创了多模式聊天功能的新时代，超越了文本，融入了图像等。享受我们提供的低于100个词元的免费简短互动。我们的API使开发人员能够利用长期对话历史记录，消除冗余提示来构建复杂的应用程序。使用JinaChat率先进入LLM服务的未来，其中的对话是多模式的、长记忆的和负担得起的。

简化LLM完成和嵌入调用的开源库

LiteLLM是一个开源库，旨在简化LLM完成和嵌入调用。它集成了Azure、Anthropic、OpenAI、Cohere和Replicate等多个平台的API，让你可以使用一个函数轻松调用它们。LiteLLM提供了方便的接口和一致的输出格式，使得使用LLM模型变得更加简单。它可以用于各种场景，如自然语言处理、文本生成、对话系统等。

监控OpenAI API使用情况的工具

LLM Report是一个可以监控OpenAI API使用情况的工具。用户只需输入OpenAI API密钥，工具会直接从OpenAI API中获取数据并创建仪表板，无需安装任何软件。用户可以清楚地了解每个模型、API密钥和用户的费用情况，避免盲目消耗资源。LLM Report得到了全球2500多个用户和公司的认可。

大规模聚合AI和Open API的代码生成工具

GenPen.AI是第一个大规模集成开发环境（IDE），通过无缝聚合访问VLLM和Open API代码生成、序列文档和无代码全代码解决方案，实现高度灵活的代码解决方案。使用该工具可以快速测试多个不同配置的形状，而不是等待几个月才发现设计中的缺陷。自动化GIT/代码/文档，使您的分支保持最新状态。多个狭义AI代理同时使用，代理根据输入进行投票，用户反馈有助于训练我们的投票算法。

Andes - 大型语言模型（LLM）API市场

Andes是一个大型语言模型（LLM）API市场，连接领先的人工智能技术，提供自然语言处理、自动文本生成、翻译等功能，为您的应用增加智能能力。

Boundless AI带给您自定义聊天机器人的构建和API服务，帮助您充分利用LLMs的强大功能。

Boundless AI带给您自定义聊天机器人的构建和API服务，帮助您充分利用LLMs的强大功能。我们提供定制、上下文感知和灵活的聊天机器人体验，旨在满足您的需求。通过我们的平台和API，轻松创建训练在您自己数据上的LLM聊天机器人！

添加记忆和语义搜索到LLM

DopplerAI是一个向LLMs添加记忆和语义搜索的解决方案。通过几个API调用，您可以实现对数据的对话式搜索和洞察。DopplerAI管理您的向量数据库的基础设施，让您专注于产品交付。

简化AI生成的提示的创建、测试和分享过程。

GeneratedBy简化了为提示工程师和数字劳动者创建、测试和分享AI生成的提示的过程。通过我们的平台，您可以轻松编写、优化和共享提示，提高工作效率。主要功能包括：提示编辑和优化、多模态内容和LLM支持、启发式提示收藏、表单、聊天泡泡或微型SaaS生成、ChatGPT插件和提示工具、协作API和角色管理等。

ChatGPT应用分析和使用计量

LLM App Analytics and Usage Metering是一个基于Propel数据应用API平台的产品，为基于ChatGPT的生成式人工智能应用添加使用计量功能。通过只需5行代码，您可以跟踪应用的使用情况、限制使用量，并可视化分析结果。该产品提供了对ChatGPT API的使用情况、延迟和用户反馈等重要指标的跟踪。您可以通过API查询这些指标，以实施使用限制、计费和优化产品体验。

将LLM模型打包成一个可执行文件

llamafile是一个将LLM(大型语言模型)模型及其权重打包成一个自包含可执行文件的工具。它结合了llama.cpp和Cosmopolitan Libc,可以让复杂的LLM模型被压缩成一个llamafile,无需进行任何安装和配置就可以在大多数计算机上本地运行。主要优点是使开源的LLM模型更易于开发者和终端用户访问。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

Bind帮助开发者快速构建部署强大的LLM应用

Bind是一个协作式的Generative AI应用开发平台,可帮助开发者快速构建和部署强大的语言模型应用。提供丰富的工具和功能,包括实时测试和调试LLM响应的提示场景,简易的部署LLM助手等应用到生产环境的平台。

医学大型语言模型套件

Meditron 是一套开源的医学大型语言模型（LLM）套件。它通过对一份经过综合筛选的医学语料库进行持续预训练，包括选定的 PubMed 论文和摘要、一份新的国际认可的医学指南数据集以及一个通用领域语料库，将 Llama-2 适应到医学领域。Meditron-70B 在相关数据上进行了微调，性能优于 Llama-2-70B、GPT-3.5 和 Flan-PaLM。

医疗保健行业的首个安全导向的LLM

Hippocratic AI是医疗保健行业的首个安全导向的LLM。它采用最先进的技术，在105项医疗考试和认证中超越了GPT 4的表现。它具有强大的功能和优势，并提供定价和定位等详细信息。

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

观测、分析和评估AI代理的可观测性和日志平台

LLMonitor是一个为LLM（语言模型）应用提供观测性、分析和测试的平台。它可以记录LLM的调用日志、指标和追踪，支持对话评估和聊天记录回放，帮助优化AI应用的性能和成本控制。LLMonitor提供了日志监控、性能分析、错误追踪、用户对话记录、用户反馈收集等功能。它适用于各种AI开发场景，包括代理人、聊天机器人等。

构建更好、更具差异化的AI产品

Autoblocks是一个协作的云工作空间，专为产品团队快速迭代GenAI产品而构建。它提供了从原型设计到生产环境的所有工具，包括Prompt管理、可观察性、持续评估和微调。Autoblocks可以帮助您快速测试应用程序管道的更改、跟踪用户交互、评估用户结果，并为您的数据提供可视化和深入的理解。Autoblocks支持所有技术栈，并且具有企业级的LLMOps功能，包括可扩展的数据摄取和搜索、强大的协作功能、AI专家的支持以及安全性和隐私保护。

一键将LLM应用程序连接到Slack等工具

PlugBear可以在几秒钟内将您的LLM应用程序连接到Slack等工具,无需编写任何代码。它支持主流的LLM框架,让您只需开发一次LLM应用,就可以连接到各种流行的协作和交流工具。

提升销售转化率，优化客户互动

Brance是一款AI-Copilot软件，为内部销售团队提供支持。通过GPT技术，Fine-Tuned LLMs和高级NLP聊天机器人，提升销售转化率，提高客户互动。Brance的产品包括Chatengage，Chatsell和Chatsupport，适用于各行各业，如银行、保险、旅游、医疗、教育科技和房地产等。

打破LLM推理的顺序依赖性

Lookahead Decoding是一种新的推理方法，用于打破LLM推理的顺序依赖性，提高推理效率。用户可以通过导入Lookahead Decoding库，使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。

设计、部署和优化LLM应用与Klu

Klu是一款全能的LLM应用平台，可以在Klu上快速构建、评估和优化基于LLM技术的应用。它提供了多种最先进的LLM模型选择，让用户可以根据自己的需求进行选择和调整。Klu还支持团队协作、版本管理、数据评估等功能，为AI团队提供了一个全面而便捷的开发平台。

可靠的 AI 内容生成工具

SEEKER 是一个可靠的检索增强生成（RAG）AI 聊天平台，可以从大型数据集中安全提取和分析信息，为个人和组织提供可靠的见解和优化。与 ChatGPT 和其他领先的大型语言模型（LLM）相比，SEEKER 具有更多的功能，并具有极高的透明度。

为LLM增强人物提供视频聊天

ChatAnything旨在向LLM-based的虚拟人物注入人格、外貌和声调，实现在线视频聊天。用户只需提供文本描述，即可产生拥有具体外貌、个性和说话方式的虚拟人物。ChatAnything利用LLM的上下文学习能力为人格生成提供基础，然后提出了两个创新概念：声音混合技术（MoV）和外貌混合技术（MoD），用于多样化声音和外貌生成。它的主要功能包括虚拟人物肖像生成、性格生成、声音生成和面部驱动生成。使用场景包括制作视频聊天、互动虚拟人物等。

从人工智能反馈中获得内在动机

Motif 是一个基于 PyTorch 的项目，通过从 LLM（大型语言模型）的偏好中获取奖励函数，训练 AI 代理在 NetHack 上进行。它可以生成与人类行为直觉一致的行为，并且可以通过提示修改进行引导。