产品库

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。

低延迟语音模型，生成逼真语音

Sonic是由Carteisa团队开发的低延迟语音模型，旨在为各种设备提供逼真的语音生成能力。该模型利用了创新的状态空间模型架构，以实现高分辨率音频和视频的高效、低延迟生成。Sonic模型的延迟仅为135毫秒，是同类模型中最快的。Carteisa团队专注于优化智能的效率，使它更快、更便宜、更易于访问。Sonic模型的发布，标志着实时对话式AI和长期记忆的计算平台的初步进展，预示着未来AI在实时游戏、客户支持等领域的新体验。

塑造具面部、语音且响应超200ms的类人AI智能体，助力自然交互

Ojin是一家专注于打造类人AI智能体的公司。其核心技术基于多年世界级云流技术经验，利用全球分布式推理云，实现低延迟的实时推理，可让AI在有人类面部、语音的情况下以低于200ms的时间响应。该产品面向个人开发者、企业团队，适用于多种场景，无论是小型企业还是大型跨国公司都能借助其构建智能交互服务。产品价格方面，提供10美元免费试用信用额度，之后根据用户需求及使用规模进行收费，具有成本效益，运行实时推理时会自动寻找成本最低且速度最快的方式，把节省的成本让利给用户。产品注重安全性和数据隐私，符合如SOC 2 Type II、欧盟AI法规、GDPR等多种合规标准。

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

基于Carrot AI大模型的智能体交互平台

Gnomic智能体平台基于汇智智能自主研发的Carrot AI大模型和专利的"数字生命"技术，致力于提供最先进的人工智能交互体验。面向企业、协会、组织等各类型B端用户，提供深度定制化的智能体解决方案。该平台的Carrot AI大模型能够轻松实现爆款文案、信息检索、创意绘图等功能，帮助用户告别昂贵的学习成本，高效提升学习和工作效率。

Spatius提供下一代AI头像基础设施，支持设备端渲染和低带宽实时交互。

Spatius是一个提供下一代AI头像基础设施的平台。其核心技术包括设备端渲染、轻量级音频特征提取、原生高斯模糊渲染等，适用于边缘计算和云端混合架构。该平台的重要性在于，它通过将繁重的云渲染替换为轻量级的100kbps流，并直接在边缘进行渲染，大幅降低了基础设施开销。其主要优势包括：具备在弱网络下保持稳定的性能，支持多种操作系统（Web、iOS和Android），可以快速部署，并且能够在入门级芯片组上运行1080p 25fps的视频。价格方面，每小时收费在0.00美元至0.42美元之间。平台定位为为各行业提供高效、经济的AI头像解决方案。

打造大模型时代的产品能力，低成本开发智能体，实现商业闭环。

文心智能体平台 AgentBuilder 是基于文心大模型的智能体平台，支持开发者根据行业领域和应用场景，选择不同开发方式打造智能体。其主要优点包括低成本开发、流量分发路径支持，为用户提供完整的产品开发闭环。

全本地AI语音聊天工具，低延迟，高效率。

voicechat2是一个基于WebSocket的快速、完全本地化的AI语音聊天应用程序，使用户能够在本地环境中实现语音到语音的即时通讯。它利用了AMD RDNA3显卡和Faster Whisper技术，显著降低了语音通讯的延迟，提高了通讯效率。该产品适用于需要快速响应和实时通讯的开发者和技术人员。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

首个面向语境智能的人类级实时交互系统，支持多情感、多风格语音交互。

SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练，实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达，同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互，未来计划扩展到更多语言。

实时低延迟语音转换技术

StreamVC是由Google研发的实时低延迟语音转换解决方案，能够在保持源语音内容和韵律的同时，匹配目标语音的音色。该技术特别适合实时通信场景，如电话和视频会议，并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略，实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。

全球最快语音转文字API，低延迟，跨语言方言，速度与精准度兼备。

Pulse是Smallest.ai推出的一款语音转文字API，其核心技术在于能够以低于70毫秒的超低延迟对全球各种口音、语言和方言进行实时转录，且不损失准确性。该产品定位为满足不同行业对语音转录的高效、精准需求，适用于医疗、法律、金融、媒体、客户支持和企业等多个领域。价格方面，提供按需付费的模式，无月承诺，可随使用量扩展。其主要优点包括行业领先的准确率和速度，在30种语言中实现最低的单词错误率，还具备自动说话人标签、实时情感分析和语言识别等附加功能。

实时语音提取智能耳机交互系统

LookOnceToHear 是一种创新的智能耳机交互系统，允许用户通过简单的视觉识别来选择想要听到的目标说话者。这项技术在 CHI 2024 上获得了最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)来实现实时语音提取，为用户提供了一种新颖的交互方式。

实时AI语音翻译与实时字幕，适用于直播、游戏和会议，即插即用。

HaloVoice是一款专注于实时语音翻译和实时字幕的桌面客户端软件。其背景是为了解决全球用户在直播、游戏和会议等场景中的语言沟通障碍问题。它的主要优点在于低延迟的实时翻译，能确保流畅沟通；支持多平台集成，方便用户在常用软件中使用；具备先进的噪音消除和音频处理技术，提供清晰音质。价格方面，有免费版可一分钟内开始使用实时字幕和翻译，专业版每月9.9美元，企业版支持定制。整体定位是为全球用户提供高效、便捷的语音翻译解决方案。

LPM 1.0是17B参数模型，实时生成全双工AI视频，低延迟身份一致。

LPM 1.0是一个拥有17B参数的扩散变压器（Diffusion Transformer），专为实时全双工对话式AI视频生成而设计。其主要优点包括低至0.35秒的延迟、身份一致的无限长度视频输出、跨任何角色风格的零样本泛化能力以及多模态条件控制等。背景方面，它是一个学术研究项目，目前没有开源或商业化产品计划。价格上，在发布周年度计划可享4折优惠，购买年度计划可以解锁优先队列并生成更多AI视频。该产品定位为先进的AI视频生成解决方案，为用户提供高效、高质量的视频生成体验。

通过AI驱动的虚拟形象，实现情感智能的实时交互体验。

Rapport AI-Driven Avatars 是一个基于AI技术的虚拟形象平台，专注于创建、动画化和部署具有情感智能的交互式虚拟角色。该平台支持多语言实时交互，适用于各种设备和平台。其核心技术包括实时音频驱动的面部动画和精准的唇部同步，通过与 Speech Graphics 的合作，提供卓越的视觉效果。该产品主要面向教育、企业培训、娱乐和营销等领域，旨在通过沉浸式体验提升用户参与度和学习效果。平台提供免费的探索者层级和付费的创作者层级，后者支持更多高级功能和定制化选项。

Mac端私密语音转文本应用，80ms低延迟，三引擎可选，本地处理

Dictato是一款专为Mac设计的语音转文本应用程序，适用于作家、开发者和专业人士。它使用Whisper、Parakeet或Apple引擎进行语音转录，具有80ms的低延迟，实现近乎即时的转录。该应用100%在本地设备上运行，无需云服务，确保用户数据的隐私和安全。适用于macOS 14及以上版本，且需要Apple Silicon芯片。价格为一次性支付9.99美元，包含两年免费更新。其主要优点包括快速转录、隐私保护、多语言支持、无时间限制和多引擎选择。

一站式超级 AI 智能体，提供多种智能助手功能。

iMini 超级 AI 智能体是一款综合性的智能助手，能够通过自然语言处理技术为用户提供高效的幻灯片制作、文档生成等服务。产品的核心优势在于其强大的多模型支持，用户可在同一平台上获得不同类型的智能服务，从而提升工作效率。iMini 特别适合需要频繁进行文案创作、报告撰写及市场研究的用户。其价格方案灵活，适合不同层次的用户需求。

Mistral Small 3 是一款开源的 24B 参数模型，专为低延迟和高效性能设计。

Mistral Small 3 是由 Mistral AI 推出的一款开源语言模型，具有 24B 参数，采用 Apache 2.0 许可证。该模型专为低延迟和高效性能设计，适合需要快速响应的生成式 AI 任务。它在多任务语言理解（MMLU）基准测试中达到 81% 的准确率，并且能够以每秒 150 个标记的速度生成文本。Mistral Small 3 的设计目标是提供一个强大的基础模型，用于本地部署和定制化开发，支持多种行业应用，如金融服务、医疗保健和机器人技术等。该模型未使用强化学习（RL）或合成数据训练，因此在模型生产管线中处于较早期阶段，适合用于构建推理能力。

OfoxAI统一大模型API网关，一个API接入100+模型，低延迟易集成。

OfoxAI是一个统一的大模型API网关，它为开发者和企业提供了便捷的AI服务接入方式。其重要性在于可以通过一个API接入GPT - 5.4、Claude Opus 4.6、Gemini 3.1、DeepSeek V3.2等100+模型，解决了多模型接入的繁琐问题。主要优点包括全球加速低延迟，能让开发者在全球范围内获得可靠的API访问；兼容OpenAI接口，只需简单替换URL，现有代码就能继续使用，3分钟即可完成集成；提供99.9%的SLA，保证服务的高可用性。产品背景是为了满足开发者快速部署AI应用的需求。价格方面，有免费层可使用10个免费模型，具体使用根据用量付费。定位是面向开发者和企业，帮助他们快速、高效地接入多种大模型。

AI实时对话，超低延迟

WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的产品，通过在实时语音转文字流程中集成Mistral大型语言模型（LLM）来实现与AI的无缝对话。Whisper和LLM均经过TensorRT引擎优化，以最大程度提升性能和实时处理能力。WhisperSpeech则使用torch.compile来优化。产品定位于提供超低延迟的AI实时对话体验。

低代码工具，快速构建和协调多智能体团队

Tribe AI是一个低代码工具，它利用langgraph框架，让用户能够轻松自定义和协调智能体团队。通过将复杂任务分配给擅长不同领域的智能体，每个智能体可以专注于其最擅长的工作，从而更快更好地解决问题。

全新的Mistral Small，针对低延迟工作负载进行优化

Mistral Small 是针对低延迟和成本优化的新型模型，优于 Mixtral 8x7B，具有更低的延迟，是开放权重产品和旗舰模型之间的卓越中间解决方案。Mistral Small 具有与 Mistral Large 相同的创新，包括RAG-enablement和函数调用。我们简化了终端点供应，提供开放权重终端点以具有竞争性的定价，并推出了新的优化模型终端点 mistral-small-2402 和 mistral-large-2402。

RAIN是一种实时动画无限视频流技术。

RAIN是一种实时动画无限视频流技术，能够在消费级设备上实现高质量、低延迟的实时动画。它通过高效计算不同噪声水平和长时间间隔的帧标记注意力，同时去噪比以往流式方法更多的帧标记，从而在保持视频流连贯性的同时，以更快的速度和更短的延迟生成视频帧。RAIN仅引入少量额外的1D注意力块，对系统负担较小。该技术有望在游戏渲染、直播和虚拟现实等领域与CG结合，利用AI的泛化能力渲染无数新场景和对象，并提供更互动的参与方式。

数字化虚拟人与 AI 技术结合，打造全新智能交互体验。

硅基智能是一款数字化虚拟人与 AI 技术相结合的产品，主要应用于智能交互领域。其主要优点包括领先的 AI 技术、智能交互体验、商业化场景应用等。

AI自动化平台，免代码构建智能体、自动化流程并发布交互式应用。

LiveContext是一个AI自动化平台，它允许用户通过聊天描述工作，平台自动构建工作流，利用有访问权限和预算的智能体运行流程，并将其作为应用提供给团队。其重要性在于提供了无代码的自动化解决方案，降低了自动化流程构建的门槛。主要优点包括拥有600多个集成、支持自定义API、数据表格、市场和AI聊天等功能。产品背景未提及，价格信息未给出，定位是为企业和团队提供高效的自动化工作解决方案。

AI Builder's Program是一个由导师带领的14天冲刺项目，将大胆的AI想法转化为可投入生产的智能体—包括框架、实时构建时间、LLMs速成课程—100%免费。

AI Builder's Program是一个为AI建设者设计的导师带领的项目，致力于将有潜力的AI想法转化为成功的产品。通过提供清晰的目标、技术支持和持续改进，帮助AI建设者在短时间内将创意变为实际应用。

多智能体任务规划与推理的基准测试

PARTNR是由Meta FAIR发布的一个大规模基准测试，包含100,000个自然语言任务，旨在研究多智能体推理和规划。PARTNR利用大型语言模型（LLMs）生成任务，并通过模拟循环来减少错误。它还支持与真实人类伙伴的AI代理评估，通过人类在环基础设施进行。PARTNR揭示了现有基于LLM的规划器在任务协调、跟踪和从错误中恢复方面的显著局限性，人类能解决93%的任务，而LLMs仅能解决30%。

Hibiki 是一款用于流式语音翻译（即同声传译）的模型，能够实时逐块生成正确翻译。

Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译，支持语音和文本翻译，并可进行声音转换。该模型基于多流架构，能够同时处理源语音和目标语音，生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译，适合需要高效实时翻译的场景，如国际会议、多语言直播等。模型开源免费，适合开发者和研究人员使用。

为开发者构建人类般的对话语音AI

Retell AI是一个能够帮助开发者在一天内构建人类般对话语音AI的API。它具有大约800毫秒的响应时间，并能够处理中断。使用Retell AI，您可以体验到与真实对话一样自然和流畅的交互。