产品库

构建个性化AI代理的开源平台

Scoopika是一个开源的开发者平台，旨在帮助开发者构建能够看、说、听、学习并采取行动的个性化AI代理。它为AI时代提供了一个安全、高效且易于使用的平台，支持全边缘兼容性和实时流媒体，内置视觉和语音聊天功能。Scoopika强调了其开放源代码的特性，提供了服务器端和客户端的运行库，以及React项目中的集成模块，拥有一个不断增长的开发者社区。

ChatGPT风格的交互式AI代理

Prompt Keeps是一个让您在几分钟内创建个性化AI的平台。它可以帮助您创建自己的ChatGPT风格的AI，用于各种应用场景。它提供了丰富的功能和优势，并根据不同的定价方案进行定位。无论是个人还是企业，Prompt Keeps都可以替代人工专家，为您提供高质量的AI服务。

实时语音AI代理，500毫秒内响应语音查询。

Real-time Voice AI Agent是一个高度灵活的实时语音交互模型，它能够在大约500毫秒内通过语音回答任何查询。该模型支持用户选择任何大型语言模型、文本到语音(TTS)模型和语音到文本(STT)模型。它非常适合用于客户服务机器人、接待员等涉及语音的应用场景。

开源的SQL AI代理，让文本到SQL的转换变得简单。

Wren AI是一个开源的SQL AI代理，旨在帮助数据和产品团队通过自然语言与数据交互，生成SQL查询、图表、电子表格、报告和BI。它采用语义引擎架构，为LLM提供业务上下文，通过“建模定义语言”处理元数据、架构、术语、数据关系以及计算和聚合背后的逻辑，生成具有语义上下文的准确SQL查询。Wren AI的主要优点包括易于上手、安全可靠、开源免费，支持多种数据源和分析工具，如BigQuery、DuckDB、PostgreSQL等，并且可以与Excel、Google Sheets等流行工具集成。它还支持多种LLM模型，无论是托管在云端还是本地。Wren AI的定位是为数据团队提供一个强大的工具，以提高数据访问和分析的效率。

提供实时AI语音生成和AI客服代理服务，助力企业提升客户体验。

Smallest AI 是一家专注于提供实时 AI 服务的公司，旗下 Waves 和 Atoms 产品分别专注于生成高质量的 AI 语音和提供实时 AI 客服代理。Waves 能够实时生成任何口音、语言或情感的 AI 语音，适用于需要个性化语音交互的场景；Atoms 则通过 AI 与客户进行电话沟通，减轻企业客服负担。该技术的重要性在于能够帮助企业提升客户体验，同时降低人力成本。其定位是为企业提供高效、个性化的 AI 解决方案，具体价格未在页面中明确提及，但根据其服务性质推测可能为付费模式。

VITA-1.5: 实时视觉和语音交互的GPT-4o级多模态大语言模型

VITA-1.5 是一款开源的多模态大语言模型，旨在实现接近实时的视觉和语音交互。它通过显著降低交互延迟和提升多模态性能，为用户提供更流畅的交互体验。该模型支持英语和中文，适用于多种应用场景，如图像识别、语音识别和自然语言处理等。其主要优点包括高效的语音处理能力和强大的多模态理解能力。

实时语音提取智能耳机交互系统

LookOnceToHear 是一种创新的智能耳机交互系统，允许用户通过简单的视觉识别来选择想要听到的目标说话者。这项技术在 CHI 2024 上获得了最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)来实现实时语音提取，为用户提供了一种新颖的交互方式。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

通过AI驱动的虚拟形象，实现情感智能的实时交互体验。

Rapport AI-Driven Avatars 是一个基于AI技术的虚拟形象平台，专注于创建、动画化和部署具有情感智能的交互式虚拟角色。该平台支持多语言实时交互，适用于各种设备和平台。其核心技术包括实时音频驱动的面部动画和精准的唇部同步，通过与 Speech Graphics 的合作，提供卓越的视觉效果。该产品主要面向教育、企业培训、娱乐和营销等领域，旨在通过沉浸式体验提升用户参与度和学习效果。平台提供免费的探索者层级和付费的创作者层级，后者支持更多高级功能和定制化选项。

探索未来人机交互的AI代理项目

Project Mariner是Google DeepMind基于Gemini 2.0模型开发的早期研究原型，旨在探索未来的人机交互方式，特别是在网络浏览器中的应用。这个项目能够理解浏览器屏幕上的信息，包括像素和网页元素，如文本、代码、图像和表单，并利用这些信息完成任务。Project Mariner在技术上实现了通过Chrome扩展程序在浏览器中直接操作，为用户提供了一种全新的代理服务体验。

基于大型多模态模型构建端到端网络代理

WebVoyager是一款创新的大型多模态模型（LMM）驱动的网络代理，能够通过与现实世界的网站交互，端到端完成用户指令。我们提出了一种新的网络代理评估协议，以解决开放式网络代理任务的自动评估挑战，利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务，用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率，明显超过了GPT-4（所有工具）和WebVoyager（仅文本）设置的性能，突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性，为在真实世界环境中进一步发展网络代理铺平了道路。

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

实时AI代理，将音频视频直接集成至视频会议。

Recall.ai Output Media是一个创新的AI技术，它允许用户将任何基于Web的AI应用实时集成到视频会议中。这项技术通过渲染超低延迟的音频和视频，并通过机器人将其流式传输到视频会议中，极大地扩展了AI在会议场景中的应用。Recall.ai的这项技术不仅提高了会议的互动性，还为各种行业提供了构建实时、互动AI代理的可能性，如销售代理、教练、招聘人员、项目经理等。

开源服务器代理，用于收集和报告指标

Telegraf是一个开源的服务器代理，用于收集和发送来自数据库、系统和IoT传感器的所有指标和事件。它使用Go语言编写，编译成一个单一的二进制文件，无需外部依赖，占用的内存非常小。Telegraf拥有300多个插件，由社区成员编写，覆盖了云服务、应用程序、IoT传感器等多种数据源。它支持灵活的解析和序列化，适用于多种数据格式，如JSON、CSV、Graphite，并能将数据序列化为InfluxDB行协议和Prometheus等。Telegraf还具有稳健的交付保证，包括流量回压、调度器、时钟漂移调整、全流支持等。此外，Telegraf的自定义构建器允许用户选择特定插件包含在Telegraf二进制文件中，适合在资源受限的设备上使用。

一个用于集成不同框架AI代理的通用平台，支持实时通信和人类监督。

Mahilo是一个强大的AI代理集成平台，旨在将来自不同框架的AI代理连接在一起，实现实时通信和人类监督。它通过提供框架无关的通信协议，支持多种流行的代理框架，如LangGraph、Pydantic AI等，同时允许通过API连接专有代理。该平台强调智能协作、组织级策略管理和以人类为中心的设计，确保在自动化的同时保持人类的控制权。Mahilo的出现为构建复杂的多代理系统提供了灵活的解决方案，适用于从内容创作到紧急响应等多种应用场景。目前，Mahilo在GitHub上拥有251颗星，每月PyPI下载量超过500次，显示出其在开发者社区中的受欢迎程度。Mahilo主要面向开发者和企业用户，帮助他们快速构建和部署多代理系统，提升工作效率和创新能力。

实时增强客服代理人对话质量

Cogneed AI助手通过实时语音识别和关键词匹配，为代理人提供上下文相关信息，提高对话质量。功能包括关键词检测历史、卡片固定、收藏卡片、关联卡片、个人笔记等。适用于业务呼叫中心、销售活动、客户服务等场景。定价请咨询官方网站。

基于Groq的极速AI聊天机器人，提供实时交互式股票图表和信息。

StockBot是一款由Groq支持的AI聊天机器人，利用Llama3 70b在Groq上的Vercel AI SDK和TradingView的实时小部件，以对话形式回应实时、互动的图表和界面，专门针对您的请求。Groq的速度使得工具调用和提供近乎即时的响应成为可能，允许进行两次API调用，使用不同的专业提示返回响应。请注意：StockBot可能提供不准确的信息，不提供投资建议。它仅供娱乐和教学使用。

AI数字人智能交互平台

DUIX是一个开源的AI数字人智能交互平台，由硅基智能打造。它允许开发者接入多种大模型和语音能力，实现数字人实时交互，并支持在Android和iOS多终端一键部署。DUIX适用于多种场景，包括地铁、银行、政务等，具有低成本快速部署、小网络依赖和功能多样化的特点。

连接多个AI模型，轻松创建交互式网络

AI-Flow是一个开源、用户友好的UI应用程序，可创建具有不同AI模型的交互式网络。它可以方便地连接多个AI模型，以实现多角度响应各种提示的功能。AI-Flow支持通过编辑流程图的方式，设计定制化的AI网络。用户可以轻松地创建、保存和共享自己的AI网络，并通过改变初始输入来实验不同的输出结果。AI-Flow还支持从外部数据源获取内容，并可以用于生成内容或对生成的内容提供即时反馈。

开源框架，支持数据驱动的自适应语言代理。

aiwaves-cn/agents 是一个开源框架，专注于数据驱动的自适应语言代理。它提供了一种系统化框架，通过符号学习训练语言代理，灵感来源于用于训练神经网络的连接主义学习过程。该框架实现了反向传播和基于梯度的权重更新，使用基于语言的损失、梯度和权重，支持多代理系统的优化。

开源AI代理平台，专为金融应用设计。

FinRobot是一个开源的AI代理平台，利用大型语言模型（LLMs）为金融应用提供全面的解决方案。它整合了多种AI技术，超越了单纯的语言模型，展现了平台的多功能性和适应性，满足金融行业的多样化需求。FinRobot的AI代理概念是指使用大型语言模型作为其大脑来感知环境、做出决策并执行动作的智能实体。与传统人工智能不同，AI代理具有独立思考和使用工具以逐步实现给定目标的能力。

实时语音和视频推理的开放标准

RTVI-AI是一个旨在简化构建AI语音到语音和实时视频应用的开放标准。它提供了开源SDK代码和标准端点形状、事件消息以及数据结构的文档，支持开发者使用任何推理服务，并允许推理服务利用开源工具为实时多媒体开发复杂的客户端工具。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

一个交互式体验平台，支持网站认证和屏幕交互。

MultiOn Playground是一个提供实时预览和交互体验的平台。它支持需要认证的网站，并允许用户通过聊天界面输入查询或选择示例来开始交互。用户还可以通过屏幕交互来控制或纠正代理的操作。

实时表情生成人类模型

PROTEUS是Apparate Labs推出的一款下一代基础模型，用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型，创新的潜在空间设计实现了实时效率，并能通过进一步的架构和算法改进，达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现，为人工对话实体提供直观的接口，并且与多种大型语言模型兼容，可定制用于多种不同应用。

实时交互流式数字人技术，实现音视频同步对话。

metahuman-stream是一个开源的实时交互数字人模型项目，它通过先进的技术实现数字人与用户的音视频同步对话，具有商业应用潜力。该项目支持多种数字人模型，包括ernerf、musetalk、wav2lip等，并且具有声音克隆、数字人说话被打断、全身视频拼接等功能。

实时API交互体验平台

realtime-playground是一个基于LiveKit Agents构建的交互式平台，允许用户在浏览器中直接体验OpenAI的实时API。该平台通过集成最新的API技术，为用户提供了一个实验和探索人工智能实时交互能力的场所。

一个基于音频驱动的实时2D聊天头像生成模型，可在仅使用CPU的设备上实现30fps的实时推理。

LiteAvatar是一个音频驱动的实时2D头像生成模型，主要用于实时聊天场景。该模型通过高效的语音识别和嘴型参数预测技术，结合轻量级的2D人脸生成模型，能够在仅使用CPU的设备上实现30fps的实时推理。其主要优点包括高效的音频特征提取、轻量级的模型设计以及对移动设备的友好支持。该技术适用于需要实时交互的虚拟头像生成场景，如在线会议、虚拟直播等，背景基于对实时交互和低硬件要求的需求而开发，目前开源免费，定位为高效、低资源消耗的实时头像生成解决方案。

AI语音代理测试与监控平台

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。