产品库

用于评估模型零样本语音生成能力的测试集

seed-tts-eval 是一个用于评估模型零样本语音生成能力的测试集，它提供了一个跨领域目标的客观评估测试集，包含从英语和普通话公共语料库中提取的样本，用于衡量模型在各种客观指标上的表现。它使用了Common Voice数据集的1000个样本和DiDiSpeech-2数据集的2000个样本。

联合语音转录和实体识别的先进模型

Whisper-NER是一个创新的模型，它允许同时进行语音转录和实体识别。该模型支持开放类型的命名实体识别（NER），能够识别多样化和不断演变的实体。Whisper-NER旨在作为自动语音识别（ASR）和NER下游任务的强大基础模型，并且可以在特定数据集上进行微调以提高性能。

统一的开放命名实体和语音识别模型

WhisperNER是一个结合了自动语音识别（ASR）和命名实体识别（NER）的统一模型，具备零样本能力。该模型旨在作为ASR带NER的下游任务的强大基础模型，并可以在特定数据集上进行微调以提高性能。WhisperNER的重要性在于其能够同时处理语音识别和实体识别任务，提高了处理效率和准确性，尤其在多语言和跨领域的场景中具有显著优势。

AI驱动的视频生成工具，一键生成高质量营销视频

小视频宝（ClipTurbo）是一个AI驱动的视频生成工具，旨在帮助用户轻松创建高质量的营销视频。该工具利用AI技术处理文案、翻译、图标匹配和TTS语音合成，最终使用manim渲染视频，避免了纯生成式AI被平台限流的问题。小视频宝支持多种模板，用户可以根据需要选择分辨率、帧率、宽高比或屏幕方向，模板将自动适配。此外，它还支持多种语音服务，包括内置的EdgeTTS语音。目前，小视频宝仍处于早期开发阶段，仅提供给三花AI的注册用户。

一个实验性的文本到语音模型

OuteTTS是一个使用纯语言建模方法生成语音的实验性文本到语音模型。它的重要性在于能够通过先进的语言模型技术，将文本转换为自然听起来的语音，这对于语音合成、语音助手和自动配音等领域具有重要意义。该模型由OuteAI开发，提供了Hugging Face模型和GGUF模型的支持，并且可以通过接口进行语音克隆等高级功能。

一款通过纯语言模型实现的文本到语音合成模型

OuteTTS-0.1-350M是一款基于纯语言模型的文本到语音合成技术，它不需要外部适配器或复杂架构，通过精心设计的提示和音频标记实现高质量的语音合成。该模型基于LLaMa架构，使用350M参数，展示了直接使用语言模型进行语音合成的潜力。它通过三个步骤处理音频：使用WavTokenizer进行音频标记化、CTC强制对齐创建精确的单词到音频标记映射、以及遵循特定格式的结构化提示创建。OuteTTS的主要优点包括纯语言建模方法、声音克隆能力、与llama.cpp和GGUF格式的兼容性。

语音合成工具，提供高质量的语音生成服务

Fish Speech是一款专注于语音合成的产品，它通过使用先进的深度学习技术，能够将文本转换为自然流畅的语音。该产品支持多种语言，包括中文、英文等，适用于需要文本到语音转换的场景，如语音助手、有声读物制作等。Fish Speech以其高质量的语音输出、易用性和灵活性为主要优点，背景信息显示，该产品不断更新，增加了数据集大小，并改进了量化器的参数，以提供更好的服务。

轻量级图片数字人驱动算法，快速定制AI伙伴

MiniMates是一款轻量级的图片数字人驱动算法，能够在普通电脑上实时运行，支持语音驱动和表情驱动两种模式。它比市面上的liveportrait、EchoMimic、MuseTalk等算法快10-100倍，让用户能够通过极少的资源消耗定制自己的AI伙伴。该技术的主要优点包括极速体验、个性化定制以及嵌入终端的能力，摆脱了对Python和CUDA的依赖。MiniMates遵循MIT协议，适用于需要快速、高效的人脸动画和语音合成的应用场景。

高效并行音频生成技术

SoundStorm是由Google Research开发的一种音频生成技术，它通过并行生成音频令牌来大幅减少音频合成的时间。这项技术能够生成高质量、与语音和声学条件一致性高的音频，并且可以与文本到语义模型结合，控制说话内容、说话者声音和说话轮次，实现长文本的语音合成和自然对话的生成。SoundStorm的重要性在于它解决了传统自回归音频生成模型在处理长序列时推理速度慢的问题，提高了音频生成的效率和质量。

快速准确的边缘设备自动语音识别模型

Moonshine 是一系列为资源受限设备优化的语音转文本模型，非常适合实时、设备上的应用程序，如现场转录和语音命令识别。在 HuggingFace 维护的 OpenASR 排行榜中使用的测试数据集上，Moonshine 的词错误率（WER）优于同样大小的 OpenAI Whisper 模型。此外，Moonshine 的计算需求随着输入音频的长度而变化，这意味着较短的输入音频处理得更快，与 Whisper 模型不同，后者将所有内容都作为 30 秒的块来处理。Moonshine 处理 10 秒音频片段的速度是 Whisper 的 5 倍，同时保持相同或更好的 WER。

基于MaskGCT模型的文本到语音演示

MaskGCT TTS Demo 是一个基于MaskGCT模型的文本到语音（TTS）演示，由Hugging Face平台上的amphion提供。该模型利用深度学习技术，将文本转换为自然流畅的语音，适用于多种语言和场景。MaskGCT模型因其高效的语音合成能力和对多种语言的支持而受到关注。它不仅可以提高语音识别和合成的准确性，还能在不同的应用场景中提供个性化的语音服务。目前，该产品在Hugging Face平台上提供免费试用，具体价格和定位信息需进一步了解。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

无需对齐信息的零样本文本到语音转换模型

MaskGCT是一个创新的零样本文本到语音转换（TTS）模型，它通过消除显式对齐信息和音素级持续时间预测的需求，解决了自回归和非自回归系统中存在的问题。MaskGCT采用两阶段模型：第一阶段使用文本预测从语音自监督学习（SSL）模型中提取的语义标记；第二阶段，模型根据这些语义标记预测声学标记。MaskGCT遵循掩码和预测的学习范式，在训练期间学习预测基于给定条件和提示的掩码语义或声学标记。在推理期间，模型以并行方式生成指定长度的标记。实验表明，MaskGCT在质量、相似性和可理解性方面超越了当前最先进的零样本TTS系统。

基于深度学习的高质量文本到语音合成模型

F5-TTS是由SWivid团队开发的一个文本到语音合成（TTS）模型，它利用深度学习技术将文本转换为自然流畅、忠实于原文的语音输出。该模型在生成语音时，不仅追求高自然度，还注重语音的清晰度和准确性，适用于需要高质量语音合成的各种应用场景，如语音助手、有声读物制作、自动新闻播报等。F5-TTS模型在Hugging Face平台上发布，用户可以方便地下载和部署，支持多种语言和声音类型，具有很高的灵活性和可扩展性。

高效自动语音识别模型

Whisper large-v3-turbo是OpenAI提出的一种先进的自动语音识别(ASR)和语音翻译模型。它在超过500万小时的标记数据上进行训练，能够在零样本设置中泛化到许多数据集和领域。该模型是Whisper large-v3的微调版本，解码层从32减少到4，以提高速度，但可能会略微降低质量。

使用Llama模型的语音合成工具

Llama 3.2 3b Voice 是基于Hugging Face平台的一款语音合成模型，能够将文本转换为自然流畅的语音。该模型采用了先进的深度学习技术，能够模仿人类说话的语调、节奏和情感，适用于多种场景，如语音助手、有声读物、自动播报等。

微软亚洲研究院开发的语音合成技术

VALL-E 2 是微软亚洲研究院推出的一款语音合成模型，它通过重复感知采样和分组编码建模技术，大幅提升了语音合成的稳健性与自然度。该模型能够将书面文字转化为自然语音，适用于教育、娱乐、多语言交流等多个领域，为提高无障碍性、增强跨语言交流等方面发挥重要作用。

实时对话式人工智能，一键式API接入。

Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。

引领AI视频、音乐、文本创作新潮流

MiniMax模型矩阵是一套集成了多种AI大模型的产品，包括视频生成、音乐生成、文本生成和语音合成等，旨在通过先进的人工智能技术推动内容创作的革新。这些模型不仅能够提供高分辨率和高帧率的视频生成，还能创作各种风格的音乐，生成高质量的文本内容，以及提供超拟人音色的语音合成。MiniMax模型矩阵代表了AI在内容创作领域的前沿技术，具有高效、创新和多样化的特点，能够满足不同用户在创作上的需求。

全栈式虚拟人多场景应用服务

讯飞虚拟人利用最新的AI虚拟形象技术，结合语音识别、语义理解、语音合成、NLP、星火大模型等AI核心技术，提供虚拟人形象资产构建、AI驱动、多模态交互的多场景虚拟人产品服务。一站式虚拟人音视频内容生产，AIGC助力创作灵活高效；在虚拟'AI演播室'中输入文本或录音，一键完成音、视频作品的输出，3分钟内渲染出稿。

利用AI生成视频脚本、语音和会说话的头像

AI-Faceless-Video-Generator是一个利用人工智能技术，根据话题生成视频脚本、语音和会说话头像的项目。它结合了sadtalker进行面部动画，gTTS生成AI语音和OpenAI语言模型生成脚本，提供了一个端到端的解决方案，用于生成个性化视频。该项目的主要优点包括脚本生成、AI语音生成、面部动画创建以及易于使用的界面。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

精确到词级的自动语音识别模型

CrisperWhisper是基于OpenAI的Whisper模型的高级变体，专为快速、准确、逐字的语音识别设计，提供准确的词级时间戳。与原始Whisper模型相比，CrisperWhisper旨在逐字转录每一个说出的单词，包括填充词、停顿、口吃和错误的开始。该模型在逐字数据集（如TED、AMI）中排名第一，并在INTERSPEECH 2024上被接受。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

开源的语音到语音转换模块

speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。

生成高质量中文方言语音的大规模文本到语音模型。

Bailing-TTS是由Giant Network的AI Lab开发的大型文本到语音(TTS)模型系列，专注于生成高质量的中文方言语音。该模型采用持续的半监督学习和特定的Transformer架构，通过多阶段训练过程，有效对齐文本和语音标记，实现中文方言的高质量语音合成。Bailing-TTS在实验中展现出接近人类自然表达的语音合成效果，对于方言语音合成领域具有重要意义。

前沿AI研究和产品公司，推动通信未来。

Gan.AI是一个专注于对话式人工智能研究和产品的公司，致力于通过其先进的AI技术，为全球知名品牌提供个性化的视频和音频通信解决方案。该公司的产品和技术在个性化营销、粉丝参与、以及提升用户体验方面展现出显著的效果，已获得包括三星、可口可乐和圣安东尼奥马刺等品牌的认可和应用。

将书稿转化为个性化语音阅读。

Wondercraft是一个创新的在线服务，能够将作者的书稿转化为听起来像作者本人声音的语音阅读。这项技术不仅节省了作者在录音棚录制和雇佣音频专家编辑混音的时间和金钱，而且提供了一个高效、经济的解决方案，让作者能够专注于创作而不必为音频制作分心。

强大的AI音频API，提升项目互动性。

ElevenLabs AI音频API提供了高质量的语音合成服务，支持多种语言，适用于聊天机器人、代理、网站、应用程序等，具有低延迟和高响应速度。该API支持企业级需求，确保数据安全，符合SOC2和GDPR合规性。

多语言大型语音生成模型，提供全栈推理、训练和部署能力。

CosyVoice 是一个多语言的大型语音生成模型，它不仅支持多种语言的语音生成，还提供了从推理到训练再到部署的全栈能力。该模型在语音合成领域具有重要性，因为它能够生成自然流畅、接近真人的语音，适用于多种语言环境。CosyVoice 的背景信息显示，它是由 FunAudioLLM 团队开发，使用了 Apache-2.0 许可证。