Hibiki 是一款用于流式语音翻译(即同声传译)的模型,能够实时逐块生成正确翻译。
Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译,支持语音和文本翻译,并可进行声音转换。该模型基于多流架构,能够同时处理源语音和目标语音,生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译,适合需要高效实时翻译的场景,如国际会议、多语言直播等。模型开源免费,适合开发者和研究人员使用。
Gemini 2.0 是谷歌推出的最新一代生成式 AI 模型,包含 Flash、Flash-Lite 和 Pro 版本。
Gemini 2.0 是谷歌在生成式 AI 领域的重要进展,代表了最新的人工智能技术。它通过强大的语言生成能力,为开发者提供高效、灵活的解决方案,适用于多种复杂场景。Gemini 2.0 的主要优点包括高性能、低延迟和简化的定价策略,旨在降低开发成本并提高生产效率。该模型通过 Google AI Studio 和 Vertex AI 提供,支持多种模态输入,具备广泛的应用前景。
Mistral Small 3 是一款开源的 24B 参数模型,专为低延迟和高效性能设计。
Mistral Small 3 是由 Mistral AI 推出的一款开源语言模型,具有 24B 参数,采用 Apache 2.0 许可证。该模型专为低延迟和高效性能设计,适合需要快速响应的生成式 AI 任务。它在多任务语言理解(MMLU)基准测试中达到 81% 的准确率,并且能够以每秒 150 个标记的速度生成文本。Mistral Small 3 的设计目标是提供一个强大的基础模型,用于本地部署和定制化开发,支持多种行业应用,如金融服务、医疗保健和机器人技术等。该模型未使用强化学习(RL)或合成数据训练,因此在模型生产管线中处于较早期阶段,适合用于构建推理能力。
首个面向语境智能的人类级实时交互系统,支持多情感、多风格语音交互。
SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练,实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达,同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互,未来计划扩展到更多语言。
RAIN是一种实时动画无限视频流技术。
RAIN是一种实时动画无限视频流技术,能够在消费级设备上实现高质量、低延迟的实时动画。它通过高效计算不同噪声水平和长时间间隔的帧标记注意力,同时去噪比以往流式方法更多的帧标记,从而在保持视频流连贯性的同时,以更快的速度和更短的延迟生成视频帧。RAIN仅引入少量额外的1D注意力块,对系统负担较小。该技术有望在游戏渲染、直播和虚拟现实等领域与CG结合,利用AI的泛化能力渲染无数新场景和对象,并提供更互动的参与方式。
快速生成类人语音的TTS模型
Flash是ElevenLabs最新推出的文本转语音(Text-to-Speech, TTS)模型,它以75毫秒加上应用和网络延迟的速度生成语音,是低延迟、会话型语音代理的首选模型。Flash v2仅支持英语,而Flash v2.5支持32种语言,每两个字符消耗1个信用点。Flash在盲测中持续超越了同类超低延迟模型,是速度最快且具有质量保证的模型。
可扩展的流媒体语音合成技术,结合大型语言模型。
CosyVoice 2是由阿里巴巴集团的SpeechLab@Tongyi团队开发的语音合成模型,它基于监督离散语音标记,并结合了两种流行的生成模型:语言模型(LMs)和流匹配,实现了高自然度、内容一致性和说话人相似性的语音合成。该模型在多模态大型语言模型(LLMs)中具有重要的应用,特别是在交互体验中,响应延迟和实时因素对语音合成至关重要。CosyVoice 2通过有限标量量化提高语音标记的码本利用率,简化了文本到语音的语言模型架构,并设计了块感知的因果流匹配模型以适应不同的合成场景。它在大规模多语言数据集上训练,实现了与人类相当的合成质量,并具有极低的响应延迟和实时性。
一键部署更智能的AI应用
Toolhouse是一个为AI应用提供高效动作和知识的一键部署平台,通过优化的云基础设施,减少推理时间,节省令牌使用,提供低延迟工具,并在边缘提供最佳延迟的服务。Toolhouse的SDK只需3行代码即可实现,与所有主要框架和LLMs兼容,为开发者节省数周的开发时间。
实时语音交互数字人,支持端到端语音方案
VideoChat是一个实时语音交互数字人项目,支持端到端语音方案(GLM-4-Voice - THG)和级联方案(ASR-LLM-TTS-THG)。用户可以自定义数字人的形象和音色,支持音色克隆,无需训练,首包延迟低至3秒。该项目利用了最新的人工智能技术,包括自动语音识别(ASR)、大型语言模型(LLM)、端到端多模态大型语言模型(MLLM)、文本到语音(TTS)和说话头生成(THG),为用户提供了一个高度定制化和低延迟的交互体验。
低延迟的实时语音交互API
Realtime API 是 OpenAI 推出的一款低延迟语音交互API,它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话,并可处理中断,类似于ChatGPT的高级语音模式。它通过WebSocket连接,支持功能调用,使得语音助手能够响应用户请求,触发动作或引入新上下文。该API的推出,意味着开发者不再需要组合多个模型来构建语音体验,而是可以通过单一API调用实现自然对话体验。
快速AI推理,为开源模型提供即时智能。
Groq是一家提供高性能AI芯片和云服务的公司,专注于为AI模型提供超低延迟的推理服务。其产品GroqCloud™自2024年2月推出以来,已经有超过467,000名开发者使用。Groq的AI芯片技术由Meta的首席AI科学家Yann LeCun提供技术支持,并且获得了BlackRock领投的6.4亿美元融资,公司估值达到28亿美元。Groq的技术优势在于其能够无缝地从其他提供商迁移到Groq,仅需更改三行代码,并且与OpenAI的端点兼容。Groq的AI芯片旨在挑战Nvidia在AI芯片市场的领导地位,为开发者和企业提供更快、更高效的AI推理解决方案。
低延迟、高质量的端到端语音交互模型
LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型,旨在实现GPT-4o级别的语音能力。该模型支持低延迟的语音交互,能够同时生成文本和语音响应。它在不到3天的时间内使用仅4个GPU完成训练,展示了其高效的训练能力。
数字孪生视频对话平台
Tavus Conversational Video Interface (CVI) 是一个创新的视频对话平台,它通过数字孪生技术提供面对面的互动体验。该平台具备低延迟(少于一秒)的即时响应能力,结合先进的语音识别、视觉处理和对话意识,为用户提供丰富、自然的对话体验。平台易于部署和扩展,支持自定义LLM或TTS,适用于多种行业和场景。
全本地AI语音聊天工具,低延迟,高效率。
voicechat2是一个基于WebSocket的快速、完全本地化的AI语音聊天应用程序,使用户能够在本地环境中实现语音到语音的即时通讯。它利用了AMD RDNA3显卡和Faster Whisper技术,显著降低了语音通讯的延迟,提高了通讯效率。该产品适用于需要快速响应和实时通讯的开发者和技术人员。
© 2025 AIbase 备案号:闽ICP备08105208号-14