产品库

观测、分析和评估AI代理的可观测性和日志平台

LLMonitor是一个为LLM（语言模型）应用提供观测性、分析和测试的平台。它可以记录LLM的调用日志、指标和追踪，支持对话评估和聊天记录回放，帮助优化AI应用的性能和成本控制。LLMonitor提供了日志监控、性能分析、错误追踪、用户对话记录、用户反馈收集等功能。它适用于各种AI开发场景，包括代理人、聊天机器人等。

LLM平台，助力AI产品创造惊艳用户体验

Parea AI是一个LLM平台，帮助开发者通过严格的测试和版本控制来改进LLM应用的性能。它提供了实验不同提示版本、评估和比较不同测试用例的提示、一键优化提示、分享等功能。通过Parea，您可以优化AI开发工作流程，提高生产力。

开发LLM应用的平台

Vellum是一个用于构建LLM驱动应用的开发平台。它具有提示工程、语义搜索、版本控制、测试和监控等工具,可以帮助开发者将LLM的功能引入生产环境。它与所有主要的LLM提供商兼容,开发者可以选择最适合的模型,也可以随时切换,避免业务过于依赖单一的LLM提供商。

将LLM模型打包成一个可执行文件

llamafile是一个将LLM(大型语言模型)模型及其权重打包成一个自包含可执行文件的工具。它结合了llama.cpp和Cosmopolitan Libc,可以让复杂的LLM模型被压缩成一个llamafile,无需进行任何安装和配置就可以在大多数计算机上本地运行。主要优点是使开源的LLM模型更易于开发者和终端用户访问。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

Bind帮助开发者快速构建部署强大的LLM应用

Bind是一个协作式的Generative AI应用开发平台,可帮助开发者快速构建和部署强大的语言模型应用。提供丰富的工具和功能,包括实时测试和调试LLM响应的提示场景,简易的部署LLM助手等应用到生产环境的平台。

医学大型语言模型套件

Meditron 是一套开源的医学大型语言模型（LLM）套件。它通过对一份经过综合筛选的医学语料库进行持续预训练，包括选定的 PubMed 论文和摘要、一份新的国际认可的医学指南数据集以及一个通用领域语料库，将 Llama-2 适应到医学领域。Meditron-70B 在相关数据上进行了微调，性能优于 Llama-2-70B、GPT-3.5 和 Flan-PaLM。

医疗保健行业的首个安全导向的LLM

Hippocratic AI是医疗保健行业的首个安全导向的LLM。它采用最先进的技术，在105项医疗考试和认证中超越了GPT 4的表现。它具有强大的功能和优势，并提供定价和定位等详细信息。

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

构建更好、更具差异化的AI产品

Autoblocks是一个协作的云工作空间，专为产品团队快速迭代GenAI产品而构建。它提供了从原型设计到生产环境的所有工具，包括Prompt管理、可观察性、持续评估和微调。Autoblocks可以帮助您快速测试应用程序管道的更改、跟踪用户交互、评估用户结果，并为您的数据提供可视化和深入的理解。Autoblocks支持所有技术栈，并且具有企业级的LLMOps功能，包括可扩展的数据摄取和搜索、强大的协作功能、AI专家的支持以及安全性和隐私保护。

一键将LLM应用程序连接到Slack等工具

PlugBear可以在几秒钟内将您的LLM应用程序连接到Slack等工具,无需编写任何代码。它支持主流的LLM框架,让您只需开发一次LLM应用,就可以连接到各种流行的协作和交流工具。

提升销售转化率，优化客户互动

Brance是一款AI-Copilot软件，为内部销售团队提供支持。通过GPT技术，Fine-Tuned LLMs和高级NLP聊天机器人，提升销售转化率，提高客户互动。Brance的产品包括Chatengage，Chatsell和Chatsupport，适用于各行各业，如银行、保险、旅游、医疗、教育科技和房地产等。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

打破LLM推理的顺序依赖性

Lookahead Decoding是一种新的推理方法，用于打破LLM推理的顺序依赖性，提高推理效率。用户可以通过导入Lookahead Decoding库，使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。

一站式LLM开发自动化平台

Pulze.ai是一站式LLM开发自动化平台，提供单一API，将所有最佳LLM插入您的产品，并在几分钟内简化您的LLM功能开发。Pulze.ai的API遵循LLMOps最佳实践，并使您的团队轻松使用。Pulze.ai允许您一次测试所有最佳模型，以加速开发。您可以在Pulze.ai内动态控制预算和成本目标，并在扩展时保护您的利润。Pulze.ai还提供企业级安全性，以管理所有用户数据的数据隐私和安全性。Pulze.ai提供了多个功能点，如上传数据源、优化结果、一键部署、实时跟踪和版本控制等。

可靠的 AI 内容生成工具

SEEKER 是一个可靠的检索增强生成（RAG）AI 聊天平台，可以从大型数据集中安全提取和分析信息，为个人和组织提供可靠的见解和优化。与 ChatGPT 和其他领先的大型语言模型（LLM）相比，SEEKER 具有更多的功能，并具有极高的透明度。

为LLM增强人物提供视频聊天

ChatAnything旨在向LLM-based的虚拟人物注入人格、外貌和声调，实现在线视频聊天。用户只需提供文本描述，即可产生拥有具体外貌、个性和说话方式的虚拟人物。ChatAnything利用LLM的上下文学习能力为人格生成提供基础，然后提出了两个创新概念：声音混合技术（MoV）和外貌混合技术（MoD），用于多样化声音和外貌生成。它的主要功能包括虚拟人物肖像生成、性格生成、声音生成和面部驱动生成。使用场景包括制作视频聊天、互动虚拟人物等。

从人工智能反馈中获得内在动机

Motif 是一个基于 PyTorch 的项目，通过从 LLM（大型语言模型）的偏好中获取奖励函数，训练 AI 代理在 NetHack 上进行。它可以生成与人类行为直觉一致的行为，并且可以通过提示修改进行引导。

与Garry Tan聊天的检索增强型LLM聊天机器人

ArguflowChat是一款检索增强型LLM聊天机器人，可以与Garry Tan进行对话。它具有以下功能和优势：提供定制化解决方案、与Garry Tan进行对话、通过电子邮件联系。

提升工作效率的 AI 助手

Fynd CoPilot 是一款基于 AI 驱动的创新技术，可以轻松转换和增强网站和移动应用，将您的数字世界提升到一个新的高度。它提供快速、精准和具有上下文感知的支持，通过 AI 的力量改变了个人和组织获取信息的方式。CoPilot.Live 通过训练数据源和 LLM 模型，实现了超个性化的辅助功能，理解用户的独特偏好，提供与个人需求相符的建议和推荐。它还提供了系统技能库，可选择常见任务的系统技能或创建符合您独特需求的自定义技能。

快速原型构建LLM工具

Freeplay是一个LLM原型构建工具,可以帮助产品团队更快地原型化、测试及优化功能。它赋能团队利用LLM加快构建速度。

SquareDev是一款基于大语言模型打造的应用开发平台。

SquareDev是一个开源的平台,致力于帮助开发者利用大语言模型技术搭建应用。它组合了LangChain、Hugging Face、Supabase等知名开源项目,为开发者提供友好的界面和API,降低使用LLM的门槛。平台拥有强大的检索增强生成、语义搜索、知识抽取等功能,可以帮助用户分析结构化数据、生成个性化文本、搭建聊天机器人等。SquareDev致力于成为LLM应用开发的首选平台。

利用 LLMs 预测未来的概念验证工具

LLM Oracle 是一个概念验证工具，利用语言模型（LLMs）来预测未来。它使用强大的 GPT-4 模型来提供准确的预测结果。用户可以获取未来预测信息并在设置中自定义参数。LLM Oracle的主要功能包括获取预测、优化结果、定价等。无论是进行个人娱乐、商业决策还是学术研究，LLM Oracle都能为用户提供有价值的未来预测。

芯片设计领域自适应大型语言模型

ChipNeMo 是英伟达发布的一个探索将大型语言模型（LLMs）应用于工业芯片设计的项目。与直接使用现成的商业或开源 LLMs 不同，我们采用了定制的分词器、领域自适应的持续预训练、带有领域特定指令的监督微调（SFT）以及领域适应的检索模型等领域自适应技术。

公司内部ChatGPT，提高工作效率

mersei是一款公司内部ChatGPT产品，可以帮助提高工作效率。它可以根据公司的知识库构建自己的聊天机器人，并将其嵌入到网站或内部工具中。同时，您还可以与同事或员工共享这些聊天机器人。mersei利用人工智能和LLMs将您的数据源转化为有见地的答案，让您随时随地获取信息。它还可以与Confluence、Google Docs、Slack、Notion等工具进行无缝集成，为您的工作流程带来革命性的改变。mersei的定价分为基础版、增长版和企业版，用户可以根据自己的需求选择合适的版本。

Langroid是一个基于Python的轻量级LLM框架

Langroid是一个轻量级、可扩展和原则性的Python框架,可以轻松地构建基于LLM的应用程序。您可以设置代理,为它们配备可选组件(LLM、向量存储和方法),分配它们任务,并让他们通过交换消息协作解决问题。这个多代理范例的灵感来自Actor框架(但您不需要了解任何关于这个的知识!)。Langroid提供了一个全新的LLM应用程序开发方式,在简化开发人员体验方面进行了深思熟虑;它不使用Langchain。我们欢迎贡献--请参阅贡献文档以获取贡献想法。

ML模型的可观测性平台

Aporia是一款ML模型管理的可观测性平台，通过一个综合性的仪表盘监控您的ML模型，以确保最佳的机器学习模型性能。它提供了可解释性、监控、根本原因分析、LLM可观测性、Gen AI和Guardrails等功能。Aporia的平台功能强大，支持数据集成、定制化、大数据支持和安全与隐私等特点。

用于记录和测试LLM提示的MLops工具

Prompt Joy是一个用于帮助理解和调试LLM(大语言模型)提示的工具。主要功能包括日志记录和分割测试。日志记录可以记录LLM的请求与响应,便于检查输出结果。分割测试可以轻松进行A/B测试,找出效果最佳的提示。它与具体的LLM解耦,可以配合OpenAI、Anthropic等LLM使用。它提供了日志和分割测试的API。采用Node.js+PostgreSQL构建。

AI 质量门卫，你现有发布流程中的 AI 质量把关人

Spellforge是一个 AI 质量门卫工具，可以在你现有的发布流程中对 AI 进行质量把关。它通过模拟和评估使用合成用户角色进行交互，确保你的应用程序在面对真实用户之前得到充分的测试。它还可以自动评估每个 prompt 版本和 LLM 组合的质量，并监控真实用户的交互。通过与现有的工具顺畅集成，Spellforge.ai 可以轻松管理你的发布流程，提供高效的服务。

英文文本嵌入模型

Jina Embeddings V2 Base是一种英文文本嵌入模型，支持8192个序列长度。它基于Bert架构（JinaBert），支持ALiBi的对称双向变体，以允许更长的序列长度。该模型在C4数据集上进行了预训练，并在Jina AI的超过4亿个句子对和负样本的集合上进行了进一步训练。该模型适用于处理长文档的多种用例，包括长文档检索、语义文本相似度、文本重排序、推荐、RAG和LLM基于生成式搜索等。模型具有137百万个参数，推荐在单个GPU上进行推理。