产品库

低延迟、高质量的端到端语音交互模型

LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互，能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练，展示了其高效的训练能力。

首个面向语境智能的人类级实时交互系统，支持多情感、多风格语音交互。

SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练，实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达，同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互，未来计划扩展到更多语言。

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。

Vibe Coder 是一款开源的 VS Code 扩展，用于探索基于语音的 AI 编程体验。

Vibe Coder 是由 Deepgram 开发的一款开源 VS Code 扩展，旨在探索语音驱动编程的可能性。它利用语音识别技术，让用户通过语音指令与 AI 编程助手进行交互，快速将想法转化为代码原型。这种创新的编程方式被称为‘vibe coding’，旨在提高编程效率并改变未来软件开发的方式。Vibe Coder 目前处于实验阶段，Deepgram 希望通过社区反馈不断完善该工具。

致力于通过自然语音技术，打造个人语音伴侣和全天候可穿戴轻量级眼镜设备。

Sesame 是一个专注于语音技术的跨学科产品和研究团队，旨在通过自然语音交互，让用户与计算机的交互更加自然和高效。其主要产品包括个人语音伴侣和轻量级可穿戴眼镜设备，旨在实现计算机的拟人化，帮助用户更好地组织信息、提升效率。产品的主要优点是语音交互的自然性和设备的便携性，适合日常使用。目前，Sesame 正在积极招聘，致力于推动语音技术的创新。

Cloudflare 推出的用于构建 AI 代理的平台，支持高效自动化任务执行。

Cloudflare AI Agents 是一个基于 Cloudflare Workers 和 Workers AI 的平台，旨在帮助开发者构建能够自主执行任务的 AI 代理。该平台通过提供 agents-sdk 和其他工具，使开发者能够快速创建、部署和管理 AI 代理。其主要优势在于低延迟、高可扩展性和成本效益，同时支持复杂任务的自动化和动态决策。Cloudflare 的全球分布式网络和 Durable Objects 技术为 AI 代理提供了强大的基础支持。

DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。

DeepEP 是一个专为混合专家模型（MoE）和专家并行（EP）设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核，支持低精度操作（如 FP8）。该库针对非对称域带宽转发进行了优化，适合训练和推理预填充任务。此外，它还支持流处理器（SM）数量控制，并引入了一种基于钩子的通信-计算重叠方法，不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异，但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。

为酒店提供多语言AI语音代理，提升客户体验并降低运营成本。

Riviera 是一款专为酒店行业设计的AI语音平台，旨在通过智能化的语音交互提升客户体验并优化酒店运营效率。它支持多语言对话，能够快速响应客户咨询，处理预订、房间服务等需求，同时通过数据分析提供个性化服务。该产品利用先进的AI技术，减少人工干预，降低运营成本，尤其适合酒店在高峰期减轻员工工作压力。其背景是随着酒店行业的数字化转型，客户对服务的即时性和个性化需求日益增长，Riviera 正是为满足这一需求而生。价格和具体定位需根据酒店规模和需求定制。

增强你的Lovable.dev工作流，提供文档访问、AI规划工具和自动化测试能力。

Lovify是Lovable.dev的扩展插件，旨在通过一系列AI驱动的功能提升开发人员的工作效率。它支持GitHub集成，能够快速导入和管理仓库；提供智能提示增强功能，根据上下文优化提示；具备项目规划工具，自动生成PRD和行动计划；支持语音交互，实现免手动编码和调试；还有快捷的斜杠命令，快速访问各种功能。这些功能的结合使得开发人员能够更高效地编写代码、管理项目，并获得实时帮助。目前该产品处于推广阶段，具体价格未明确，但可通过Chrome扩展程序商店免费试用。

Step-Audio是一个开源智能语音交互框架，支持多语言对话、情感语调和语音克隆等功能。

Step-Audio是首个生产级开源智能语音交互框架，整合了语音理解与生成能力，支持多语言对话、情感语调、方言、语速和韵律风格控制。其核心技术包括130B参数多模态模型、生成式数据引擎、精细语音控制和增强智能。该框架通过开源模型和工具，推动智能语音交互技术的发展，适用于多种语音应用场景。

一款为 Apple Watch 设计的智能语音助手应用，无需手机即可完成多种操作。

Chirp AI 是一款专为 Apple Watch 设计的智能语音助手应用。它通过强大的语音识别和人工智能技术，让用户能够仅通过语音指令完成各种操作，如发送信息、获取信息、搜索网络等，极大地提升了用户在移动场景下的操作效率。该产品的主要优点是无需频繁使用手机，即可实现高效的信息交互和任务处理。它适用于那些希望在日常生活中减少对手机依赖，同时又能快速获取信息和完成任务的用户。目前该应用提供免费下载，定位为提升用户生产力和便捷性的智能工具。

FoloUp 是一个用于招聘的 AI 驱动语音面试平台。

FoloUp 是一款专注于招聘流程的 AI 驱动语音面试平台。它通过智能生成面试问题、实时语音交互和深度分析候选人回答，帮助企业高效筛选和评估候选人。该平台利用先进的 AI 技术，确保面试过程的自然流畅，并提供详细的候选人表现报告。FoloUp 旨在通过技术提升招聘效率，降低人力成本，同时为候选人提供更公平的面试体验。目前，该平台以开源形式提供，支持自定义部署和使用。

一个基于语音交互的故事创作聊天机器人，提供沉浸式的“选择你自己的冒险”体验。

该产品利用 Gemini 2.0 语言模型和 Google Imagen 图像生成技术，结合语音识别和语音合成，为用户提供一个互动式的故事创作体验。用户可以通过语音输入选择故事走向，系统会实时生成故事内容和相关图像。该产品的主要优点是创新的交互方式和强大的内容生成能力，适合用于教育、娱乐和创意启发。目前该产品处于开源阶段，未明确具体定价，主要面向开发者和教育机构。

Hibiki 是一款用于流式语音翻译（即同声传译）的模型，能够实时逐块生成正确翻译。

Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译，支持语音和文本翻译，并可进行声音转换。该模型基于多流架构，能够同时处理源语音和目标语音，生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译，适合需要高效实时翻译的场景，如国际会议、多语言直播等。模型开源免费，适合开发者和研究人员使用。

Gemini 2.0 是谷歌推出的最新一代生成式 AI 模型，包含 Flash、Flash-Lite 和 Pro 版本。

Gemini 2.0 是谷歌在生成式 AI 领域的重要进展，代表了最新的人工智能技术。它通过强大的语言生成能力，为开发者提供高效、灵活的解决方案，适用于多种复杂场景。Gemini 2.0 的主要优点包括高性能、低延迟和简化的定价策略，旨在降低开发成本并提高生产效率。该模型通过 Google AI Studio 和 Vertex AI 提供，支持多种模态输入，具备广泛的应用前景。

Mistral Small 3 是一款开源的 24B 参数模型，专为低延迟和高效性能设计。

Mistral Small 3 是由 Mistral AI 推出的一款开源语言模型，具有 24B 参数，采用 Apache 2.0 许可证。该模型专为低延迟和高效性能设计，适合需要快速响应的生成式 AI 任务。它在多任务语言理解（MMLU）基准测试中达到 81% 的准确率，并且能够以每秒 150 个标记的速度生成文本。Mistral Small 3 的设计目标是提供一个强大的基础模型，用于本地部署和定制化开发，支持多种行业应用，如金融服务、医疗保健和机器人技术等。该模型未使用强化学习（RL）或合成数据训练，因此在模型生产管线中处于较早期阶段，适合用于构建推理能力。

RAIN是一种实时动画无限视频流技术。

RAIN是一种实时动画无限视频流技术，能够在消费级设备上实现高质量、低延迟的实时动画。它通过高效计算不同噪声水平和长时间间隔的帧标记注意力，同时去噪比以往流式方法更多的帧标记，从而在保持视频流连贯性的同时，以更快的速度和更短的延迟生成视频帧。RAIN仅引入少量额外的1D注意力块，对系统负担较小。该技术有望在游戏渲染、直播和虚拟现实等领域与CG结合，利用AI的泛化能力渲染无数新场景和对象，并提供更互动的参与方式。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。

MiniCPM-o 2.6是一个强大的多模态大型语言模型，适用于视觉、语音和多模态直播。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色，支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异，超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗，能够在iPad等终端设备上高效支持多模态直播。此外，MiniCPM-o 2.6易于使用，支持多种使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。

开源的端到端自动驾驶多模态模型

OpenEMMA是一个开源项目，复现了Waymo的EMMA模型，提供了一个端到端框架用于自动驾驶车辆的运动规划。该模型利用预训练的视觉语言模型（VLMs）如GPT-4和LLaVA，整合文本和前视摄像头输入，实现对未来自身路径点的精确预测，并提供决策理由。OpenEMMA的目标是为研究人员和开发者提供易于获取的工具，以推进自动驾驶研究和应用。

随时随地陪伴你的智能助手

理想同学是由理想汽车依托自研大模型精心打造的一款人工智能应用，旨在为用户提供一个随时在线的智能助手。它具备知识问答能力，能解答汽车、出行、财经、科技等领域的问题，并擅长英文词句翻译、文本生成等，助力用户学习生活。此外，它还具备视觉感知能力，可以陪伴用户和家庭一起看世界，识别外出游玩时遇到的各种事物。产品界面设计简洁大方，语音输入精准迅速，输出自然流畅，近似人声，是一款集知识问答、视觉识别和语音交互于一体的智能助手。

快速生成类人语音的TTS模型

Flash是ElevenLabs最新推出的文本转语音(Text-to-Speech, TTS)模型，它以75毫秒加上应用和网络延迟的速度生成语音，是低延迟、会话型语音代理的首选模型。Flash v2仅支持英语，而Flash v2.5支持32种语言，每两个字符消耗1个信用点。Flash在盲测中持续超越了同类超低延迟模型，是速度最快且具有质量保证的模型。

可扩展的流媒体语音合成技术，结合大型语言模型。

CosyVoice 2是由阿里巴巴集团的SpeechLab@Tongyi团队开发的语音合成模型，它基于监督离散语音标记，并结合了两种流行的生成模型：语言模型（LMs）和流匹配，实现了高自然度、内容一致性和说话人相似性的语音合成。该模型在多模态大型语言模型（LLMs）中具有重要的应用，特别是在交互体验中，响应延迟和实时因素对语音合成至关重要。CosyVoice 2通过有限标量量化提高语音标记的码本利用率，简化了文本到语音的语言模型架构，并设计了块感知的因果流匹配模型以适应不同的合成场景。它在大规模多语言数据集上训练，实现了与人类相当的合成质量，并具有极低的响应延迟和实时性。

AI模型上构建的AI应用和网站平台

Agentplace是一个无需编码知识即可在AI模型上构建AI应用和网站平台。它利用AI的适应性、常识、知识和语音能力，允许用户完全通过文本编程。产品的主要优点包括动态用户界面、语音模式、常识理解和即时发布。Agentplace的背景信息显示，它旨在通过AI技术简化网站和应用的创建过程，使非技术用户也能轻松构建交互式和动态的网站。价格方面，Agentplace提供免费和付费两种定价计划，以满足不同用户的需求。

一键部署更智能的AI应用

Toolhouse是一个为AI应用提供高效动作和知识的一键部署平台，通过优化的云基础设施，减少推理时间，节省令牌使用，提供低延迟工具，并在边缘提供最佳延迟的服务。Toolhouse的SDK只需3行代码即可实现，与所有主要框架和LLMs兼容，为开发者节省数周的开发时间。

AI助手，通过语音和动画指导用户，提升网站交互体验。

Speek是一款AI驱动的助手，通过语音和动画鼠标指针指导用户在网站上的操作，帮助解答问题、引导用户了解网站功能，并简化购买决策。它通过提供实时帮助，结合支持和引导，快速安装并立即开始工作，改善用户体验，提升销售，并减少客户支持查询。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

Google的AI助手，提升创造力与生产力。

Google Gemini是一款由Google开发的AI助手应用，旨在通过人工智能技术帮助用户提高创造力和生产力。它允许用户通过语音与应用交互，进行头脑风暴、简化复杂话题、为重要时刻排练等。Gemini能够连接用户喜爱的Google应用，如搜索、YouTube、Google Map、Gmail等，提供交互式视觉和现实世界示例，解锁专业知识，获取关于任何主题的定制信息。此外，它还能帮助用户更快速、更好地规划旅行，创建AI生成的图像，并提供摘要、深入研究和源链接。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。