产品库

语音转文字,支持实时语音识别、录音文件识别等

腾讯云语音识别(ASR)为开发者提供语音转文字服务的最佳体验。语音识别服务具备识别准确率高、接入便捷、性能稳定等特点。腾讯云语音识别服务开放实时语音识别、一句话识别和录音文件识别三种服务形式,满足不同类型开发者需求。技术先进,性价比高,多语种支持,适用于客服、会议、法庭等多场景。

提供语音识别、语音合成等语音AI能力

依图语音开放平台为开发者提供语音识别、语音合成等语音AI能力,包括精准语音转文本、文本转语音合成、声纹识别、语音增强降噪等服务,支持不同场景下的语音交互应用开发。平台提供高效、灵活的语音AI能力接入方式,可轻松将语音技术应用于各类产品与业务场景。

在线语音合成与语音识别服务

TTSLabs是一款在线语音合成与语音识别服务，提供高质量、自然流畅的语音合成和准确可靠的语音识别功能。通过简单的API调用，用户可以将文字转化为真实的语音，并且可以将语音转化为文本。TTSLabs提供多种语音风格和多国语言的支持，具有快速响应、高效稳定的特点。价格灵活透明，适用于个人开发者和企业用户。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

一款基于多模态模型的语音翻译产品，支持近100种语言的自动语音识别、语音翻译、文本翻译、语音合成等功能。

SeamlessM4T是一款基于多模态模型的语音翻译产品，支持近100种语言的自动语音识别、语音翻译、文本翻译、语音合成等功能。该产品采用了全新的多任务UnitY模型架构，能够直接生成翻译文本和语音。SeamlessM4T的自我监督语音编码器w2v-BERT 2.0通过分析数百万小时的多语言语音，学习如何在语音中找到结构和意义。该产品还提供了SONAR、SpeechLASER等多语言语音和文本数据集，以及fairseq2等序列建模工具包。SeamlessM4T的发布，标志着AI技术在实现语音翻译方面取得了重大突破。

使用自得语音技术，创造属于你的角色

自得语音技术可通过简单的步骤创造出属于你的角色。类似GPT，可生成与真人无异的语音片段，在情感、音色和语速等方面与真人一致。自得语音支持快速定制角色，只需要上传一段语音即可立即生成属于你的语音角色。无需下载软件，可在浏览器上完成语音生成。同时提供API接口，方便开发者集成到自己的产品中。商用用户可享受7x24小时的技术支持。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

支持多种语音识别和语音合成功能的开源项目

sherpa-onnx 是一个基于下一代 Kaldi 的语音识别和语音合成项目，使用onnxruntime进行推理，支持多种语音相关功能，包括语音转文字(ASR)、文字转语音(TTS)、说话人识别、说话人验证、语言识别、关键词检测等。它支持多种平台和操作系统，包括嵌入式系统、Android、iOS、Raspberry Pi、RISC-V、服务器等。

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

让应用通过语音与文本的转换实现智能交互。

Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。

将文本转换为自然流畅的语音输出

文本转语音技术是一种将文本信息转换为语音的技术，广泛应用于辅助阅读、语音助手、有声读物制作等领域。它通过模拟人类语音，提高了信息获取的便捷性，尤其对视力障碍者或在无法使用眼睛阅读的情况下非常有帮助。

智能语音旗舰应用，无障碍语言记录与交流。

汉王语音王App是汉王科技基于自研多模态天地大模型，自主研发的智能语音旗舰应用。它集AI语音记录、智能翻译与同声传译于一体，支持AI精准转写、拍录同步、话稿整理、智能总结及不间断实时翻译等功能。依托全栈AI技术，汉王语音王致力于帮助用户跨越语言障碍，提高办公、学习、会议、旅游等场景的效率和便捷性。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

最新多模态检查点，提升语音理解能力。

Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点，专注于提升语音理解能力。该模型通过早期融合语义标记的方式，利用社区反馈进行改进，以简化模型结构，提高压缩效率，并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定，并提供了实时演示，允许用户亲自体验其功能。尽管模型仍在早期开发阶段，存在一些限制，如对音频压缩敏感、无法处理超过10秒的音频等，但团队计划在未来更新中解决这些问题。

高效、多语种的语音合成模型

CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型，支持零样本、跨语言的语音合成，能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供，具有强大的语音合成能力和广泛的应用场景，包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出，极大地丰富了人机交互的体验。

使用低延迟语音识别和合成模型与 AI 对话。

Unmute 是一款创新的语音识别与合成工具，旨在使用户能够通过自然语言与 AI 进行高效的互动。其低延迟技术确保用户体验流畅，适合需要实时反馈的场景。该产品将以开源形式发布，推动更多开发者和用户的参与。当前尚未公布价格，预计将采取免费和付费相结合的模式。

在线语音识别工具

语音听写是一款免费的在线语音识别软件，可以通过语音输入来帮助您写邮件、文件和文章，无需打字。

通用语音识别模型

Whisper 是一个通用的语音识别模型。它经过大量多样化音频的训练，并且是一个多任务模型，可以进行多语言语音识别、语音翻译和语种识别。

桌面客户端，语音翻译和语音合成

SpeechLab是一款桌面客户端，提供语音翻译和语音合成功能。它能够帮助用户进行语音翻译，将语言转换成其他语言，同时还能够合成语音，将文字转换成自然流畅的语音。SpeechLab的优势在于其高质量的语音合成技术，可以生成与人类声音相似的合成语音。SpeechLab的定价为免费试用和付费订阅两种方式，具体定价可在官方网站上查看。SpeechLab定位于帮助用户跨越语言障碍，使内容在全球范围内更容易获得。

构建智能多模态语音助手的端到端框架。

LiveKit Agents 是一个端到端框架，它使开发者能够构建能够通过语音、视频和数据通道与用户互动的智能多模态语音助手（AI代理）。它通过集成OpenAI的实时API和LiveKit的WebRTC基础设施，提供了创建语音助手的快速入门指南，包括语音识别（STT）、语言模型（LLM）和文本转语音（TTS）的流水线。此外，它还支持创建语音到语音代理、接听和响应来电、以及代表用户拨打电话的功能。

情感驱动的多语音合成引擎

EmotiVoice是一个功能强大、现代化的开源文本到语音引擎。它支持英语和中文，并拥有超过2000种不同的语音。最显著的特点是情感合成，可以让你创造具有各种情感的语音，包括快乐、兴奋、悲伤、愤怒等。 EmotiVoice提供了一个易于使用的网页界面，还提供了用于批量生成结果的脚本界面。 主要功能点包括： 1. 支持英语和中文 2. 拥有超过2000种不同的语音 3. 提供情感合成功能 价格：免费 定位：面向开发者和研究人员。

将文本转换为逼真语音的在线工具

该产品是一个先进的在线文字转语音工具，使用人工智能技术将文本转换为自然逼真的语音。它支持多种语言和语音风格，适用于广告、视频旁白、有声书制作等场景，增强了内容的可访问性和吸引力。产品背景信息显示，它为数字营销人员、内容创作者、有声书作者和教育工作者提供了极大的便利。

最逼真的文本转语音和语音转文本工具

Voiser是一款拥有550多种不同语音选项的文本转语音工具。它可以将文字转换为逼真的机器语音，并提供人类声音的最接近的机器语音。此外，Voiser还可以将语音文件转换为文字，提供快速且准确的语音转文本服务。Voiser是最佳的文本朗读和语音转换解决方案。

实时AI语音转文字/文字转语音解决方案

Speech Intellect是第一个实时工作的语音转文字/文字转语音解决方案，完全使用了全新的AI专注的数学理论——Sense Theory。它考虑了客户发音的每个单词的意义。我们的解决方案基于自主研发的Sense-to-Sense算法，可以实现文本以带有语调和特定调性的声音重新产生。该解决方案可以轻松集成到各种业务场景中，如视频游戏中以人形声音复制脚本文本、呼叫中心与客户的交流、网站上的虚拟对话、智能家居中的舒适对话等等。我们的算法使用的是Sense，与市场上其他解决方案的算法不同。

AI语音合成，游戏开发

EASY.DX是一个AI语音合成工具，专为游戏开发而设计。它能够快速生成逼真的角色配音，帮助游戏开发者节省时间和成本。使用EASY.DX，你可以轻松创建自定义角色的声音，并将音频导出到游戏开发软件中。不需要额外的音频编辑，EASY.DX会为你生成清晰的对话音频。

开源的语音到语音转换模块

speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。

一个高效的语音合成模型，支持中英文及语音克隆。

MegaTTS 3 是由字节跳动开发的一款基于 PyTorch 的高效语音合成模型，具有超高质量的语音克隆能力。其轻量级架构只包含 0.45B 参数，支持中英文及代码切换，能够根据输入文本生成自然流畅的语音，广泛应用于学术研究和技术开发。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。