产品库

为开发者构建人类般的对话语音AI

Retell AI是一个能够帮助开发者在一天内构建人类般对话语音AI的API。它具有大约800毫秒的响应时间，并能够处理中断。使用Retell AI，您可以体验到与真实对话一样自然和流畅的交互。

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。

低延迟语音模型，生成逼真语音

Sonic是由Carteisa团队开发的低延迟语音模型，旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构，以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒，是同类模型中最快的。Carteisa团队专注于优化智能的效率，使它更快、更便宜、更易于访问。Sonic模型的发布，标志着实时对话式AI和长期记忆的计算平台的初步进展，预示着未来AI在实时游戏、客户支持等领域的新体验。

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

全本地AI语音聊天工具，低延迟，高效率。

voicechat2是一个基于WebSocket的快速、完全本地化的AI语音聊天应用程序，使用户能够在本地环境中实现语音到语音的即时通讯。它利用了AMD RDNA3显卡和Faster Whisper技术，显著降低了语音通讯的延迟，提高了通讯效率。该产品适用于需要快速响应和实时通讯的开发者和技术人员。

首个面向语境智能的人类级实时交互系统，支持多情感、多风格语音交互。

SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练，实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达，同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互，未来计划扩展到更多语言。

使用低延迟语音识别和合成模型与 AI 对话。

Unmute 是一款创新的语音识别与合成工具，旨在使用户能够通过自然语言与 AI 进行高效的互动。其低延迟技术确保用户体验流畅，适合需要实时反馈的场景。该产品将以开源形式发布，推动更多开发者和用户的参与。当前尚未公布价格，预计将采取免费和付费相结合的模式。

数字孪生视频对话平台

Tavus Conversational Video Interface (CVI) 是一个创新的视频对话平台，它通过数字孪生技术提供面对面的互动体验。该平台具备低延迟（少于一秒）的即时响应能力，结合先进的语音识别、视觉处理和对话意识，为用户提供丰富、自然的对话体验。平台易于部署和扩展，支持自定义LLM或TTS，适用于多种行业和场景。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

百聆是一个类似GPT-4o的语音对话机器人，通过ASR+LLM+TTS实现，低配置也可运行，支持打断。

百聆是一个开源的语音对话助手，旨在通过语音与用户进行自然的对话。该项目结合了语音识别(ASR)、语音活动检测(VAD)、大语言模型(LLM)和语音合成(TTS)技术，提供高质量的语音对话体验。其主要优点是无需GPU即可实现类GPT-4o的对话效果，适用于各种边缘设备和低资源环境。百聆完全开源，鼓励社区贡献与二次开发，用户可以根据自己的需求进行定制和优化。

AI实时对话，超低延迟

WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的产品，通过在实时语音转文字流程中集成Mistral大型语言模型（LLM）来实现与AI的无缝对话。Whisper和LLM均经过TensorRT引擎优化，以最大程度提升性能和实时处理能力。WhisperSpeech则使用torch.compile来优化。产品定位于提供超低延迟的AI实时对话体验。

让应用通过语音与文本的转换实现智能交互。

Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。

实时低延迟语音转换技术

StreamVC是由Google研发的实时低延迟语音转换解决方案，能够在保持源语音内容和韵律的同时，匹配目标语音的音色。该技术特别适合实时通信场景，如电话和视频会议，并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略，实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。

构建高级语音AI，由LLM提供支持，实现人类般的交互体验。

Retell AI是一个强大的AI代理构建平台，允许用户快速构建和测试复杂的工作流程，并通过电话呼叫、网络呼叫或任何其他地方部署它们。该平台支持使用任何大型语言模型（LLM），并提供了实时的交互体验，包括人类般的声音和语音克隆支持。Retell AI的主要优点包括低延迟、高稳定性和符合HIPAA标准的安全性。

Mistral Small 3 是一款开源的 24B 参数模型，专为低延迟和高效性能设计。

Mistral Small 3 是由 Mistral AI 推出的一款开源语言模型，具有 24B 参数，采用 Apache 2.0 许可证。该模型专为低延迟和高效性能设计，适合需要快速响应的生成式 AI 任务。它在多任务语言理解（MMLU）基准测试中达到 81% 的准确率，并且能够以每秒 150 个标记的速度生成文本。Mistral Small 3 的设计目标是提供一个强大的基础模型，用于本地部署和定制化开发，支持多种行业应用，如金融服务、医疗保健和机器人技术等。该模型未使用强化学习（RL）或合成数据训练，因此在模型生产管线中处于较早期阶段，适合用于构建推理能力。

提升网站AI语音交互和销售

Site Agent是一款AI语音助手产品，能够个性化地与访问网站的用户进行语音和文字对话，提升用户参与度并促进销售。它结合了最新的AI技术和类似人类对话的细腻触感，为每个客户互动带来价值。Site Agent提供个性化的对话和问答功能，帮助客户解决问题、获取信息和进行购买。它还具备智能推荐和语义理解功能，能够根据用户需求提供个性化建议。Site Agent的定价根据企业需求定制，提供免费试用和付费增值的选择。

全新的Mistral Small，针对低延迟工作负载进行优化

Mistral Small 是针对低延迟和成本优化的新型模型，优于 Mixtral 8x7B，具有更低的延迟，是开放权重产品和旗舰模型之间的卓越中间解决方案。Mistral Small 具有与 Mistral Large 相同的创新，包括RAG-enablement和函数调用。我们简化了终端点供应，提供开放权重终端点以具有竞争性的定价，并推出了新的优化模型终端点 mistral-small-2402 和 mistral-large-2402。

交互叙事的AI对话生成工具

Aiwright是一款基于人工智能的对话生成工具，能够分析和聚类大型对话图，并通过代码和自然语言混合进行对话生成。用户可以通过移动友好的网页界面进行对话交互，并进行用户反馈收集和实验分析。该产品定位于交互叙事领域，可用于游戏开发、虚拟角色对话生成等场景。

语音交互式语言学习App

Natulang是一个语音交互式的语言学习App。它利用语音生成和识别技术,让用户可以通过大声朗读对话来学习语言。相比其他注重打字的语言学习App,Natulang更注重语音交流,让用户培养语言表达的自信心。

AI Humanizer是一个工具，可以将AI生成的文本转换为类似人类的文本，绕过所有AI检测器，产生出色的人类质量评分。

AI Humanizer是一个工具，可以将AI生成的文本转换为类似人类的文本，绕过所有AI检测器，产生出色的人类质量评分。它创建高质量、真实的内容。

快速生成类人语音的TTS模型

Flash是ElevenLabs最新推出的文本转语音(Text-to-Speech, TTS)模型，它以75毫秒加上应用和网络延迟的速度生成语音，是低延迟、会话型语音代理的首选模型。Flash v2仅支持英语，而Flash v2.5支持32种语言，每两个字符消耗1个信用点。Flash在盲测中持续超越了同类超低延迟模型，是速度最快且具有质量保证的模型。

Step-Audio是一个开源智能语音交互框架，支持多语言对话、情感语调和语音克隆等功能。

Step-Audio是首个生产级开源智能语音交互框架，整合了语音理解与生成能力，支持多语言对话、情感语调、方言、语速和韵律风格控制。其核心技术包括130B参数多模态模型、生成式数据引擎、精细语音控制和增强智能。该框架通过开源模型和工具，推动智能语音交互技术的发展，适用于多种语音应用场景。

WhatsApp语音助手，与ChatGPT通过语音信息交互

GabbyGPT是一个通过WhatsApp实现的AI语音助手，用户可以方便地通过语音信息与ChatGPT进行交互。它可以回答问题、提供信息、执行任务等。GabbyGPT的优势在于其简便易用的操作方式和智能的语音识别功能。定价方面，用户可以免费使用基本功能，或选择订阅高级功能的付费套餐。GabbyGPT适用于个人用户和商业用户，能够满足不同场景的需求。

与名人AI人物进行语音对话

MeslAI是一个能够让用户与各种AI人物进行语音对话的平台。用户可以与思想家、政治家、科学家等进行沉浸式对话，提问、寻求建议和探索有趣的话题。MeslAI提供真实的交流体验，个性化的互动以及逼真的语音复制。用户可以根据使用时间灵活付费。

实时语音交互的人工智能对话系统。

Listening-while-Speaking Language Model (LSLM)是一款旨在提升人机交互自然度的人工智能对话模型。它通过全双工建模(FDM)技术，实现了在说话时同时监听的能力，增强了实时交互性，尤其是在生成内容不满意时能够被打断和实时响应。LSLM采用了基于token的解码器仅TTS进行语音生成，以及流式自监督学习(SSL)编码器进行实时音频输入，通过三种融合策略（早期融合、中期融合和晚期融合）探索最佳交互平衡。

使用自得语音技术，创造属于你的角色

自得语音技术可通过简单的步骤创造出属于你的角色。类似GPT，可生成与真人无异的语音片段，在情感、音色和语速等方面与真人一致。自得语音支持快速定制角色，只需要上传一段语音即可立即生成属于你的语音角色。无需下载软件，可在浏览器上完成语音生成。同时提供API接口，方便开发者集成到自己的产品中。商用用户可享受7x24小时的技术支持。

Play.ai 是一个基于人工智能的语音交互平台，提供个性化的对话体验。

Play.ai 是一个先进的语音交互平台，它利用人工智能技术为用户提供流畅、自然的对话体验。该平台不仅能够理解用户的指令，还能根据上下文进行智能回应，为用户提供个性化的服务。Play.ai 的主要优点在于其高度的交互性和智能化，它能够适应不同用户的需求，提供定制化的对话服务。此外，Play.ai 还具有易于使用、快速响应等特点，使其成为企业和个人提升沟通效率的有力工具。

多语种语音理解模型，提供高精度语音识别与情感识别。

SenseVoice是一个包含自动语音识别(ASR)、语音语言识别(LID)、语音情感识别(SER)和音频事件检测(AED)等多语音理解能力的语音基础模型。它专注于高精度多语种语音识别、语音情感识别和音频事件检测，支持超过50种语言，识别性能超越Whisper模型。模型采用非自回归端到端框架，推理延迟极低，是实时语音处理的理想选择。

自然对话生成语音AI

Speaking AI是一款使用先进的大语言模型技术实现的文本到语音转换工具，能够以自然的情感进行对话并实现零样本语音克隆。它可以捕捉你独特的音调、音高和调节，让你以前所未有的方式复制和利用自己的声音。Speaking AI通过先进的技术实现了声音克隆的突破，让语音克隆听起来更加自然。使用Speaking AI，你可以通过录制自己的声音，在短短10秒钟内进行克隆。我们致力于将最先进的AI技术用于推动人类进步，特别是在促进语音克隆技术的发展和应用方面。

可扩展的流媒体语音合成技术，结合大型语言模型。

CosyVoice 2是由阿里巴巴集团的SpeechLab@Tongyi团队开发的语音合成模型，它基于监督离散语音标记，并结合了两种流行的生成模型：语言模型（LMs）和流匹配，实现了高自然度、内容一致性和说话人相似性的语音合成。该模型在多模态大型语言模型（LLMs）中具有重要的应用，特别是在交互体验中，响应延迟和实时因素对语音合成至关重要。CosyVoice 2通过有限标量量化提高语音标记的码本利用率，简化了文本到语音的语言模型架构，并设计了块感知的因果流匹配模型以适应不同的合成场景。它在大规模多语言数据集上训练，实现了与人类相当的合成质量，并具有极低的响应延迟和实时性。