产品库

实时语音AI代理，500毫秒内响应语音查询。

Real-time Voice AI Agent是一个高度灵活的实时语音交互模型，它能够在大约500毫秒内通过语音回答任何查询。该模型支持用户选择任何大型语言模型、文本到语音(TTS)模型和语音到文本(STT)模型。它非常适合用于客户服务机器人、接待员等涉及语音的应用场景。

构建智能多模态语音助手的端到端框架。

LiveKit Agents 是一个端到端框架，它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手（AI代理）。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施，提供了创建语音助手的快速入门指南，包括语音识别（STT）、语言模型（LLM）和文本转语音（TTS）的流水线。此外，它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。

全能AI工作空间，实时语音助手搭配多模态画布，助力高效创作与思考。

Albus AI是一个由人工智能驱动的平台，旨在为知识和创意专业人士提供高效的工作空间。通过实时语音助手和多模态画布，用户可以快速处理大量信息，激发新想法，节省宝贵的时间和注意力。该平台利用大型语言模型和机器学习服务，能够连接不同思想，避免用户在多个标签和应用之间来回切换。Albus AI的出现，为创意工作者、记者、研究人员等专业人士提供了强大的辅助工具，帮助他们更好地发挥人类智慧，为社会创造价值。目前，Albus AI提供有限的早期访问价格，订阅价格为9美元。

实时多模态智能，适用于每台设备。

Cartesia提供实时多模态智能技术，旨在为各种设备提供服务。产品包括Sonic和On-Device两大核心功能。Sonic是快速、超逼真的生成性语音API，由下一代状态空间模型驱动。On-Device提供实时模型，能够在用户的设备上进行快速、私密、离线的推理。Cartesia的产品背景是满足用户对于实时智能服务的需求，特别是在隐私和速度方面。产品定位于提供高效、安全的技术解决方案，以支持各种设备上的智能应用。

基于大型多模态模型构建端到端网络代理

WebVoyager是一款创新的大型多模态模型（LMM）驱动的网络代理，能够通过与现实世界的网站交互，端到端完成用户指令。我们提出了一种新的网络代理评估协议，以解决开放式网络代理任务的自动评估挑战，利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务，用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率，明显超过了GPT-4（所有工具）和WebVoyager（仅文本）设置的性能，突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性，为在真实世界环境中进一步发展网络代理铺平了道路。

实时多模态内容审核平台

Seyft AI 是一个实时的多模态内容审核平台，能够过滤文本、图像和视频中的有害和不相关内容，确保合规性，并为不同的语言和文化背景提供个性化解决方案。该平台的主要优点包括实时审核、多语言支持、无需人工干预的图像和视频审核，以及易于集成的API。Seyft AI 的背景信息显示，它旨在帮助企业保持数字空间的清洁和安全，适用于需要内容审核的各种应用场景。

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

开源框架，用于构建语音和多模态对话AI。

Pipecat是一个开源框架，用于构建语音和多模态对话代理，如个人教练、会议助手、儿童故事玩具、客户支持机器人、接待流程和机智的社交伴侣。它支持本地运行，并可迁移到云端，集成了多种AI服务和传输方式，具有高度的可定制性和扩展性。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

VITA-1.5: 实时视觉和语音交互的GPT-4o级多模态大语言模型

VITA-1.5 是一款开源的多模态大语言模型，旨在实现接近实时的视觉和语音交互。它通过显著降低交互延迟和提升多模态性能，为用户提供更流畅的交互体验。该模型支持英语和中文，适用于多种应用场景，如图像识别、语音识别和自然语言处理等。其主要优点包括高效的语音处理能力和强大的多模态理解能力。

MiniCPM-o 2.6是一个强大的多模态大型语言模型，适用于视觉、语音和多模态直播。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色，支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异，超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗，能够在iPad等终端设备上高效支持多模态直播。此外，MiniCPM-o 2.6易于使用，支持多种使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。

第二代多模态预训练对话模型

CogVLM2是由清华大学团队开发的第二代多模态预训练对话模型，它在多个基准测试中取得了显著的改进，支持8K内容长度和1344*1344的图像分辨率。CogVLM2系列模型提供了支持中文和英文的开源版本，能够与一些非开源模型相媲美的性能。

开源多语言多模态对话模型

GLM-4系列是智谱AI推出的新一代预训练模型，包括GLM-4-9B、GLM-4-9B-Chat、GLM-4-9B-Chat-1M和GLM-4V-9B。这些模型在语义理解、数学推理、代码执行等方面表现出色，支持多达26种语言，并具备网页浏览、代码执行等高级功能。GLM-4V-9B模型还具备高分辨率的视觉理解能力，适合多模态应用场景。

智能手机应用的多模态代理框架

AppAgent是一个基于LLM（大型语言模型）的多模态代理框架，设计用于操作智能手机应用。通过简化的动作空间（如点击和滑动），模仿人类般的互动方式，实现应用操作，无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法，创建知识库用于执行不同应用中的复杂任务。

实时对话式人工智能，一键式API接入。

Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。

Cradle框架：用于控制计算机的多模态代理

Cradle框架旨在使基础模型能够通过与人类相同的通用接口（屏幕作为输入，键盘和鼠标操作作为输出）执行复杂的计算机任务。该框架在Red Dead Redemption II游戏中进行了案例研究，展示了其在复杂环境中的泛化和适应能力。

AI实时对话，超低延迟

WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的产品，通过在实时语音转文字流程中集成Mistral大型语言模型（LLM）来实现与AI的无缝对话。Whisper和LLM均经过TensorRT引擎优化，以最大程度提升性能和实时处理能力。WhisperSpeech则使用torch.compile来优化。产品定位于提供超低延迟的AI实时对话体验。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

开源多模态预训练模型，具备中英双语对话能力。

GLM-4V-9B是智谱AI推出的新一代预训练模型，支持1120*1120高分辨率下的中英双语多轮对话，以及视觉理解能力。在多模态评测中，GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

实时打字翻译软件，支持语音输入和多平台

Real-time-translation-typing 是一款集成了实时打字翻译、语音实时打字和翻译、LOL 语音打字功能的软件。它通过AutoHotkey技术实现，支持多种翻译API，如搜狗、百度、有道等，为用户提供了高效、便捷的翻译体验。软件适用于需要快速翻译文本和语音的商务人士、学生和游戏玩家。

AI多模态数据绑定

ImageBind是一种新的AI模型，能够同时绑定六种感官模态的数据，无需显式监督。通过识别这些模态之间的关系（图像和视频、音频、文本、深度、热成像和惯性测量单元（IMUs）），这一突破有助于推动AI发展，使机器能够更好地分析多种不同形式的信息。探索演示以了解ImageBind在图像、音频和文本模态上的能力。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

新一代多模态模型

Adept Fuyu-Heavy是一款新型的多模态模型，专为数字代理设计。它在多模态推理方面表现出色，尤其在UI理解方面表现出色，同时在传统的多模态基准测试中也表现良好。此外，它展示了我们可以扩大Fuyu架构并获得所有相关好处的能力，包括处理任意大小/形状的图像和有效地重复使用现有的变压器优化。它还具有匹配或超越相同计算级别模型性能的能力，尽管需要将部分容量用于图像建模。

实时对话智能软件

Colibri.ai是一款实时对话智能软件，帮助您改进每个销售电话，以可行的对话智能、AI触发的实时提示卡和数据驱动的指导，赢得更多交易。它提供自动会议摘要、强大的通话分析、实时AI指导和辅导，提高销售效率，更快地赢得交易。

AI语音代理测试与监控平台

Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台，它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试，减少将AI代理投入生产环境的时间，同时提供实时监控和性能分析，确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者，特别是在合规性要求较高的行业中，如医疗、法律等。

多模态AI开发助手

DevMind AI旨在无缝整合文本、图像、视频、音频和代码等多种模型的推理能力，帮助您像专业人士一样进行开发！DevMind AI通过AI功能增强您的项目。