产品库

让你的声音变成语音助手

智能语音助手是一款能够将用户的声音转化为语音助手的插件。它可以帮助用户实现语音合成、语音识别等功能，让用户的声音变成实用的工具。优势：高度定制化，支持多种语言和声音风格；简单易用，只需几步操作即可完成配置；多场景应用，可用于个人助手、语音广播等领域。定价：免费试用，付费版本提供更多功能和支持。定位：为用户提供一个快速、便捷、高效的语音助手工具。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

实时对话式人工智能，一键式API接入。

Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。

全栈式虚拟人多场景应用服务

讯飞虚拟人利用最新的AI虚拟形象技术，结合语音识别、语义理解、语音合成、NLP、星火大模型等AI核心技术，提供虚拟人形象资产构建、AI驱动、多模态交互的多场景虚拟人产品服务。一站式虚拟人音视频内容生产，AIGC助力创作灵活高效；在虚拟'AI演播室'中输入文本或录音，一键完成音、视频作品的输出，3分钟内渲染出稿。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

开源的语音到语音转换模块

speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。

快速AI语音助手

Swift是一个由Groq、Cartesia和Vercel支持的快速AI语音助手。它使用Groq进行OpenAI Whisper和Meta Llama 3的快速推理，Cartesia的Sonic语音模型进行快速语音合成，并实时流式传输到前端。VAD技术用于检测用户说话并运行语音片段上的回调。Swift是一个使用TypeScript编写的Next.js项目，并部署在Vercel上。

自然交互的语音理解和生成基础模型

FunAudioLLM是一个旨在增强人类与大型语言模型(Large Language Models, LLMs)之间自然语音交互的框架。它包含两个创新模型：SenseVoice负责高精度多语种语音识别、情绪识别和音频事件检测；CosyVoice负责自然语音生成，支持多语种、音色和情绪控制。SenseVoice支持超过50种语言，具有极低的延迟；CosyVoice擅长多语种语音生成、零样本上下文生成、跨语言语音克隆和指令跟随能力。相关模型已在Modelscope和Huggingface上开源，并在GitHub上发布了相应的训练、推理和微调代码。

让应用通过语音与文本的转换实现智能交互。

Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。

支持多种语音识别和语音合成功能的开源项目

sherpa-onnx 是一个基于下一代 Kaldi 的语音识别和语音合成项目，使用onnxruntime进行推理，支持多种语音相关功能，包括语音转文字(ASR)、文字转语音(TTS)、说话人识别、说话人验证、语言识别、关键词检测等。它支持多种平台和操作系统，包括嵌入式系统、Android、iOS、Raspberry Pi、RISC-V、服务器等。

实时语音翻译，跨语言沟通的桥梁。

StreamSpeech是一款基于多任务学习的实时语音到语音翻译模型。它通过统一框架同时学习翻译和同步策略，有效识别流式语音输入中的翻译时机，实现高质量的实时通信体验。该模型在CVSS基准测试中取得了领先的性能，并能提供低延迟的中间结果，如ASR或翻译结果。

基于科大讯飞语音技术，实现智能客服的多渠道解决方案。

A.I.智能客服解决方案是科大讯飞基于其先进的语音技术，为企业提供的一套完整的客户服务系统。该系统通过电话、Web、APP、小程序、自助终端等多种渠道，实现智能外呼、智能接听、语音导航、在线文字客服、质检分析、坐席辅助等功能。它通过高识别率的语音识别引擎、自然流畅的语音合成技术、智能打断能力、IVR导航以及客服平台中间件等技术，帮助企业提高客服效率，降低人力成本，同时提升客户服务体验。

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

基于语音交互的人工智能开放平台

科大讯飞推出的移动互联网智能交互平台,为开发者免费提供:涵盖语音能力增强型SDK,一站式人机智能语音交互解决方案,专业全面的移动应用分析。通过平台能够打造语音助手、智能外呼、智能车载等场景应用。

为AI聊天机器人添加自然语言的语音合成功能

Summme是一个插件，为您喜欢的AI聊天机器人添加自然语言的语音合成功能。它支持ChatGPT、Bard、Bing Chat、Claude.ai等多个聊天机器人平台。您可以自动或手动将聊天机器人的回复转换为语音，享受更加自然的语音交流体验。Summme提供多种语音音调和语言选择，支持调节语速，还可以根据您的名字进行个性化问候。完全免费且无需注册。尝试Summme，为您的聊天机器人增添声音。

智能语言助手，让沟通更简单

语言助手是一款智能语言处理应用，提供多种语言翻译、语音识别、语音合成等功能。优势包括高准确率、快速响应、支持多种语言等。该产品提供免费和付费版本，付费版本提供更多高级功能和无广告体验。定位于为用户提供便捷、高效的语言处理服务。

真实感十足的下一代语音合成插件

Emvoice是一款具有真实感的下一代语音合成插件。它使用先进的技术和声音采样，能够以极高的真实度合成出自然流畅的人声。Emvoice具有可定制的声音调节和表情控制功能，可以在各种音乐创作和制作环境中使用。它提供VST/AU/AAX格式，支持多种音乐软件，并且提供了一个易于使用的界面，使用户能够轻松地创建出动人的人声音乐作品。Emvoice的定价合理，并且适用于各种音乐创作者和制作人的需求。

智能语音助手，简化生活

智能语音助手是一款基于人工智能技术开发的插件，可以帮助用户简化生活。它具有语音识别、语音合成、智能对话等功能，用户可以通过语音指令完成各种操作，如查看天气、设置提醒、播放音乐等。智能语音助手还支持个性化定制，用户可以根据自己的需求设置喜欢的声音、语速等。定价方面，智能语音助手提供免费版和付费版两种选择，付费版提供更多高级功能和个性化定制选项。该产品主要适用于办公场景、个人生活场景等。

AI智能助手，让你的生活更简单

WTF AI是一款智能助手产品，集成了多种功能，包括语音识别、自然语言处理、图像识别等，可以帮助用户进行日程管理、语音助手、聊天互动等，提高工作和生活效率。WTF AI还提供免费和付费套餐，满足不同用户需求。

实时AI语音转文字/文字转语音解决方案

Speech Intellect是第一个实时工作的语音转文字/文字转语音解决方案，完全使用了全新的AI专注的数学理论——Sense Theory。它考虑了客户发音的每个单词的意义。我们的解决方案基于自主研发的Sense-to-Sense算法，可以实现文本以带有语调和特定调性的声音重新产生。该解决方案可以轻松集成到各种业务场景中，如视频游戏中以人形声音复制脚本文本、呼叫中心与客户的交流、网站上的虚拟对话、智能家居中的舒适对话等等。我们的算法使用的是Sense，与市场上其他解决方案的算法不同。

智能语音助手，助您解决各种问题

智能语音助手是一款基于人工智能技术的语音交互工具。它可以回答各种问题，提供实时的天气、新闻、时间等信息，还可以执行音乐播放、日程安排、提醒等功能。通过简单的语音指令，用户可以与助手进行自然对话，获取需要的信息。智能语音助手支持多种语言，提供便捷的语音交互体验。

在线语音合成与语音识别服务

TTSLabs是一款在线语音合成与语音识别服务，提供高质量、自然流畅的语音合成和准确可靠的语音识别功能。通过简单的API调用，用户可以将文字转化为真实的语音，并且可以将语音转化为文本。TTSLabs提供多种语音风格和多国语言的支持，具有快速响应、高效稳定的特点。价格灵活透明，适用于个人开发者和企业用户。

易用的对话式人工智能，满足企业和家庭需求

Neon AI是一个革命性的对话式人工智能平台，提供全方位的AI语音互动。具备语音转文字、文字转语音、控制环境、实时翻译等功能。可应用于企业和家庭场景，提供个性化定制服务。

音频驱动的高保真3D人头化身合成技术

GaussianSpeech是一种新颖的方法，它能够从语音信号中合成高保真度的动画序列，创建逼真、个性化的3D人头化身。该技术通过结合语音信号与3D高斯绘制技术，捕捉人类头部表情和细节动作，包括皮肤皱褶和更细微的面部运动。GaussianSpeech的主要优点包括实时渲染速度、自然的视觉动态效果，以及能够呈现多样化的面部表情和风格。该技术背后是大规模多视角音频-视觉序列数据集的创建，以及音频条件变换模型的开发，这些模型能够直接从音频输入中提取唇部和表情特征。

高性能的文本到语音合成模型

OuteTTS-0.2-500M是基于Qwen-2.5-0.5B构建的文本到语音合成模型，它在更大的数据集上进行了训练，实现了在准确性、自然度、词汇量、声音克隆能力以及多语言支持方面的显著提升。该模型特别感谢Hugging Face提供的GPU资助，支持了模型的训练。

联合语音转录和实体识别的先进模型

Whisper-NER是一个创新的模型，它允许同时进行语音转录和实体识别。该模型支持开放类型的命名实体识别（NER），能够识别多样化和不断演变的实体。Whisper-NER旨在作为自动语音识别（ASR）和NER下游任务的强大基础模型，并且可以在特定数据集上进行微调以提高性能。

Photoshop与SD/SDForge/ComfyUI之间的通信插件

sd-ppp是一个允许用户在Adobe Photoshop和各种Stable Diffusion界面（如SD/SDForge/ComfyUI）之间进行通信的插件。它支持多层操作，包括文本层和图像层，能够处理多个文档和多个Photoshop实例，并允许用户在文档的特定区域工作。该插件对于设计师和艺术家来说是一个强大的工具，因为它可以简化工作流程，提高创作效率，并允许他们利用Stable Diffusion的强大功能来增强他们的设计和艺术作品。

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。