产品库

构建智能多模态语音助手的端到端框架。

LiveKit Agents 是一个端到端框架，它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手（AI代理）。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施，提供了创建语音助手的快速入门指南，包括语音识别（STT）、语言模型（LLM）和文本转语音（TTS）的流水线。此外，它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。

机器学习工程能力的AI代理评估基准

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

集成Firecrawl的OpenAI实时API控制台

firecrawl-openai-realtime是一个集成了Firecrawl的OpenAI实时API控制台，旨在为开发者提供一个交互式的API参考和检查器。它包括两个实用库，openai/openai-realtime-api-beta作为参考客户端（适用于浏览器和Node.js），以及/src/lib/wavtools，后者允许在浏览器中简单管理音频。该产品是使用create-react-app创建的React项目，并通过Webpack打包。

实时对话式人工智能，一键式API接入。

Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。

个性化且逐步深入的心理咨询测量聊天机器人

PsyDI是一个多模态互动聊天机器人，旨在通过分析用户的多模态输入来探索用户潜在的认知风格，并最终确定他们的迈尔斯-布里格斯类型指标（MBTI）。此外，PsyDI还为每位用户提供定制化的人物画像和详细分析。我们正在不断改进PsyDI，未来将推出MBTI画廊等新功能。

用于测试和开发AI代理的可扩展开源框架

Windows Agent Arena (WAA) 是一个专注于Windows操作系统的可扩展、开源框架，用于测试和开发能够使用语言模型在PC上进行推理、规划和行动的AI代理。它通过模拟真实的Windows环境，允许代理自由操作，并使用与人类用户相同的应用程序、工具和网络浏览器来解决任务。WAA通过Azure实现可扩展性和并行化，能够在短短20分钟内完成完整的基准测试评估。

基于多模态大型语言模型的Discord机器人

PigPig是一个基于多模态大型语言模型（LLM）的Discord机器人，旨在通过自然语言与用户互动。它结合了先进的AI能力和实用功能，为Discord社区提供丰富的体验。

下一代具有规划和自我修复能力的AI代理

Agent Q是MultiOn公司研发的新一代AI代理模型，它通过结合搜索、自我批评和强化学习，创建能够规划和自我修复的先进自主网络代理。它通过引导蒙特卡洛树搜索（MCTS）、AI自我批评和直接偏好优化（DPO）算法，解决了传统大型语言模型（LLMs）在动态环境中多步推理任务的挑战，提高了在复杂环境中的成功率。

全球首个AI助手即服务平台

Conva.AI是一个创新的AI助手即服务平台，它结合了最新的GenAI技术与6年以上的行业经验，提供快速构建、部署和管理AI助手及其功能的能力。该平台通过Magic Studio提供一键生成AI助手，支持自然语言交互，并能够动态生成与应用上下文相关的自然语言内容。它还提供了易于使用的SDK，支持多模态交互，并具备智能路由和维护功能。

基于LangGraph的AI代理服务工具包

agent-service-toolkit是一个用于运行基于LangGraph的AI代理服务的完整工具包，包括LangGraph代理、FastAPI服务、客户端以及Streamlit应用程序，提供了从代理定义到用户界面的完整设置。它利用了LangGraph框架的高度控制能力和丰富的生态系统，支持并发执行、图循环、流式结果等高级功能。

AI助力的自动化工作流软件。

Bardeen AI是一个通过简单提示即可执行重复性工作的AI代理，旨在简化工作流程，提高效率。它集成了多种应用程序和浏览器，以安全、可靠地完成工作。Bardeen AI的主要优点包括无需编程或技术背景即可通过简单语言指令操作，实时确认行动计划，并在后台持续执行任务。它支持多种集成，如Google Sheets、Slack、LinkedIn等，适用于销售、招聘、市场研究等多种场景。

AI代理，为你解答问题

Amabay是一个基于人工智能技术的问答平台，使用户能够创建自己的Amabot，即个人化的AI代理，来回答问题。它利用RAG技术生成准确、客观的答案，为用户提供一种新的自我展示和交流方式。Amabay适合希望提高在线互动效率和质量的个人和组织。目前Amabay提供免费服务，但具体的定价策略和定位尚未明确。

AI代理演示，提升SaaS销售效率

Fluidworks通过AI代理提供实时视频演示，增强客户参与度，提高销售效率，优化销售团队的焦点，并提供数据驱动的洞察以细化销售策略。它通过个性化、实时演示和即时问答，为客户提供定制化的体验，方便他们随时访问演示，确保信息的一致性和可靠性，帮助他们做出明智的购买决策。

快速AI语音助手

Swift是一个由Groq、Cartesia和Vercel支持的快速AI语音助手。它使用Groq进行OpenAI Whisper和Meta Llama 3的快速推理，Cartesia的Sonic语音模型进行快速语音合成，并实时流式传输到前端。VAD技术用于检测用户说话并运行语音片段上的回调。Swift是一个使用TypeScript编写的Next.js项目，并部署在Vercel上。

构建个性化AI代理的开源平台

Scoopika是一个开源的开发者平台，旨在帮助开发者构建能够看、说、听、学习并采取行动的个性化AI代理。它为AI时代提供了一个安全、高效且易于使用的平台，支持全边缘兼容性和实时流媒体，内置视觉和语音聊天功能。Scoopika强调了其开放源代码的特性，提供了服务器端和客户端的运行库，以及React项目中的集成模块，拥有一个不断增长的开发者社区。

实时语音AI代理，500毫秒内响应语音查询。

Real-time Voice AI Agent是一个高度灵活的实时语音交互模型，它能够在大约500毫秒内通过语音回答任何查询。该模型支持用户选择任何大型语言模型、文本到语音(TTS)模型和语音到文本(STT)模型。它非常适合用于客户服务机器人、接待员等涉及语音的应用场景。

实验室数字化助手，提升科研效率。

Ascenscia是一个专门针对科学实验室设计的AI语音助手，通过与实验室软件和机器的集成，实现免提交互，加速数据收集，优化工作流程，减少错误，并加速研发周期。产品具备97%的准确率理解复杂科学术语，支持端到端加密确保数据安全，提供多语言服务，并可定制以适应不同实验室的独特需求。

创建和操作具有循环、记忆和工具的认知语言代理。

Mentals AI是一个工具，旨在通过简单的Markdown语法创建和操作具有循环、记忆和各种工具的代理。它允许用户专注于代理的逻辑，而无需编写Python或其他语言的底层代码，从而重新定义了未来AI应用的基础框架。

将小爱音箱接入ChatGPT，打造专属智能家居语音助手。

MiGPT是一个通过将小爱音箱与ChatGPT的智能理解能力相结合，实现智能家居语音控制的项目。它不仅支持设备自动化，还能够通过角色扮演、流式响应、长短期记忆等技术，让智能家居设备更智能、更贴心地响应用户的指令。MiGPT支持Docker和Node.js两种启动方式，用户可以根据自己的需求进行选择。

基于Agently AI框架的开源自动新闻收集工具

Agently Daily News Collector是一个基于Agently AI应用开发框架的开源项目，能够自动收集特定主题的新闻。用户只需输入新闻收集的领域主题，AI代理将自动工作，直到生成并保存到Markdown文件中的高质量新闻集合。

构建自然人类交流的实时人工智能

Fixie.ai致力于开发能够像人类一样自然交流的人工智能模型。我们认为，有用的、高效的、易获取的通用人工智能（AGI）将需要能够在快节奏、模糊不清的自然人类交流世界中运作的模型。我们正在解决的问题是构建Ultravox，一个开源的、最先进的语音到语音模型；构建处理WebRTC上LLMs实时通信的最佳堆栈；在Town上构建新体验；在TheFastest.ai上跟踪模型和提供商的延迟；以及在AI领域探索可能性的边界。

开源AI代理平台，专为金融应用设计。

FinRobot是一个开源的AI代理平台，利用大型语言模型（LLMs）为金融应用提供全面的解决方案。它整合了多种AI技术，超越了单纯的语言模型，展现了平台的多功能性和适应性，满足金融行业的多样化需求。FinRobot的AI代理概念是指使用大型语言模型作为其大脑来感知环境、做出决策并执行动作的智能实体。与传统人工智能不同，AI代理具有独立思考和使用工具以逐步实现给定目标的能力。

构建AI伴侣，提升应用内用户体验。

Octoverse是一个AI代理模型，旨在帮助开发者在应用程序中构建能够理解并完成任务的AI伴侣。它比GPT-4在功能调用上快4倍，成本低10倍，且准确度更高。Octoverse通过模型专业化的进步，为可持续、易访问且用户友好的AI应用提供了显著的飞跃，解决了隐私、成本和延迟问题。

一款快速流畅的语音AI助手。

Jib是一款基于语音的人工智能助手，它快速且流畅，以至于几乎无法分辨它是一个机器人。它支持完全免提操作，非常适合在移动中、在车内或步行时使用。Jib能够处理中断，用户可以在其回应过程中随时打断它，而不会让它失去节奏。用户可以调整Jib的语速以适应自己的需求，并且可以自定义提示语，甚至为不同的提示语选择不同的声音。Jib目前处于公测阶段，用户可以免费使用。

GPT4 Omni是一款远不止于语音助手的产品。

GPT4 Omni是一种全新的模型，可以处理文本、视觉和音频，具有多模态功能。它在语音能力方面具有革命性，同时还具备文本、图像和音频处理的能力。GPT4 Omni的优势是可以同时处理和生成多种主要模态，且响应时间较快。

GPT4 Omni是一款更多功能的语音助手。

GPT4 Omni是一款多模态模型，能处理和生成文本、音频和图像。它结合了OpenAI的Whisper和TTS技术，具有更好的推理能力和更低的延迟。GPT4 Omni是OpenAI目前最先进的模型，具有革命性的多模态能力，为用户提供了更多的创造力和灵活性。它的价格更低且更高效，代表了人工智能技术的新一代。

开源框架，用于构建语音和多模态对话AI。

Pipecat是一个开源框架，用于构建语音和多模态对话代理，如个人教练、会议助手、儿童故事玩具、客户支持机器人、接待流程和机智的社交伴侣。它支持本地运行，并可迁移到云端，集成了多种AI服务和传输方式，具有高度的可定制性和扩展性。

GPT-4o，一款能够实时处理音频、视觉和文本的旗舰模型。

GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。

提升您每天的对话体验

Ongkanon是一款智能对话AI助手，提供有意义且上下文相关的对话体验。它能够自然地与您交谈，就像与亲密的朋友聊天一样。Ongkanon会根据您的偏好进行个性化定制，还能记住以前对话的上下文，以便进行更连贯、有意义的交互。

您的智能AI语音驱动型预算助手

Blahget是一款先进的AI预算助手,可简化财务管理。它利用GPT-4驱动的语音识别技术,实现无缝跟踪支出和收入。从今天开始您的智能预算之旅吧。它可以通过语音快速创建、编辑和删除记录,支持搜索、筛选和排序等操作,并可执行数学计算。迄今已记录超过10万条数据条目。