产品库

基于语音交互的人工智能开放平台

科大讯飞推出的移动互联网智能交互平台,为开发者免费提供:涵盖语音能力增强型SDK,一站式人机智能语音交互解决方案,专业全面的移动应用分析。通过平台能够打造语音助手、智能外呼、智能车载等场景应用。

腾讯AI开放平台,开发者打造AI产品加速器

腾讯AI开放平台整合腾讯在AI技术、云计算、大数据等方面的优势资源,提供包括语音、视觉、NLP在内的各类领先AI技术能力,以及一站式机器学习平台、行业解决方案,帮助开发者快速孵化AI创意,让AI落地更多场景,实现从技术到产品的全面赋能。

网易人工智能部提供的 AI 技术与解决方案

网易数帆依托网易人工智能部在智能语音语言、计算机视觉等多个领域积累的丰富技术成果与落地应用经验,为客户提供丰富先进的 AI 技术,助力企业智能化升级。提供多媒体内容理解平台、音视频效率工具、语音/NLP/CV 能力组件等产品与服务。

智能语音与视觉服务平台

有道智云AI开放平台是网易有道旗下,致力于为开发者、企业和政府机构提供自然语言翻译、文字识别OCR等服务以及行业解决方案的云服务平台。平台拥有业内顶尖的神经网络翻译引擎、OCR识别技术以及语音技术,可以大幅提高用户工作效率,并且价格合理。平台已经服务数万家知名企业,为用户提供了三年优质、可靠、安全的云服务。

提供语音识别、语音合成等语音AI能力

依图语音开放平台为开发者提供语音识别、语音合成等语音AI能力,包括精准语音转文本、文本转语音合成、声纹识别、语音增强降噪等服务,支持不同场景下的语音交互应用开发。平台提供高效、灵活的语音AI能力接入方式,可轻松将语音技术应用于各类产品与业务场景。

OLAMI是一个人工智能开放平台

OLAMI是一个提供云端API、管理界面、多元机器感知解决方案的人工智能软件开发平台。OLAMI平台具有语音识别、自然语言理解、对话管理、语音合成等语音AI技术,以及图像识别、语义理解等视觉AI技术,可以轻松地为产品加入人工智能,提升用户体验。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

实时对话式人工智能，一键式API接入。

Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。

全栈式虚拟人多场景应用服务

讯飞虚拟人利用最新的AI虚拟形象技术，结合语音识别、语义理解、语音合成、NLP、星火大模型等AI核心技术，提供虚拟人形象资产构建、AI驱动、多模态交互的多场景虚拟人产品服务。一站式虚拟人音视频内容生产，AIGC助力创作灵活高效；在虚拟'AI演播室'中输入文本或录音，一键完成音、视频作品的输出，3分钟内渲染出稿。

开源多模态大型语言模型，支持实时语音输入和流式音频输出。

Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。

开源的语音到语音转换模块

speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。

自然交互的语音理解和生成基础模型

FunAudioLLM是一个旨在增强人类与大型语言模型(Large Language Models, LLMs)之间自然语音交互的框架。它包含两个创新模型：SenseVoice负责高精度多语种语音识别、情绪识别和音频事件检测；CosyVoice负责自然语音生成，支持多语种、音色和情绪控制。SenseVoice支持超过50种语言，具有极低的延迟；CosyVoice擅长多语种语音生成、零样本上下文生成、跨语言语音克隆和指令跟随能力。相关模型已在Modelscope和Huggingface上开源，并在GitHub上发布了相应的训练、推理和微调代码。

让应用通过语音与文本的转换实现智能交互。

Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。

支持多种语音识别和语音合成功能的开源项目

sherpa-onnx 是一个基于下一代 Kaldi 的语音识别和语音合成项目，使用onnxruntime进行推理，支持多种语音相关功能，包括语音转文字(ASR)、文字转语音(TTS)、说话人识别、说话人验证、语言识别、关键词检测等。它支持多种平台和操作系统，包括嵌入式系统、Android、iOS、Raspberry Pi、RISC-V、服务器等。

实时语音翻译，跨语言沟通的桥梁。

StreamSpeech是一款基于多任务学习的实时语音到语音翻译模型。它通过统一框架同时学习翻译和同步策略，有效识别流式语音输入中的翻译时机，实现高质量的实时通信体验。该模型在CVSS基准测试中取得了领先的性能，并能提供低延迟的中间结果，如ASR或翻译结果。

基于科大讯飞语音技术，实现智能客服的多渠道解决方案。

A.I.智能客服解决方案是科大讯飞基于其先进的语音技术，为企业提供的一套完整的客户服务系统。该系统通过电话、Web、APP、小程序、自助终端等多种渠道，实现智能外呼、智能接听、语音导航、在线文字客服、质检分析、坐席辅助等功能。它通过高识别率的语音识别引擎、自然流畅的语音合成技术、智能打断能力、IVR导航以及客服平台中间件等技术，帮助企业提高客服效率，降低人力成本，同时提升客户服务体验。

开源项目，旨在复制、增强和创新自主AI软件工程师Devin

OpenDevin是一个开源项目，目标是复制、增强和创新Devin——一个能够执行复杂工程任务并与用户在软件开发项目上积极协作的自主AI软件工程师。该项目通过开源社区的力量，探索和扩展Devin的能力，识别其优势和改进空间，以指导开源代码模型的进展。

WhisperKit是一个开源项目，旨在帮助开发者和企业在用户设备上部署商业规模的推理工作负载

WhisperKit由Argmax公司推出，是一个基于Whisper项目的推理工具包，它允许在iOS和macOS应用程序中进行语音识别和转录。该项目的目标是收集开发者反馈，并在几周内发布一个稳定的候选版本，以加速设备上推理的生产化。

WhiteRabbitNeo-7B-v1.5a 是一个预训练的大型语言模型，可用于多种自然语言处理任务。

WhiteRabbitNeo-7B-v1.5a 是WhiteRabbitNeo系列的一个版本，这是一系列大规模、面向自然语言处理任务的预训练语言模型。该模型能够支持文本生成、摘要、翻译等多种任务。

用于视觉合成的统一3D Transformer流水线

NUWA是由微软开发的一系列研究项目，包括NUWA、NUWA-Infinity、NUWA-LIP、Learning 3D Photography Videos和NUWA-XL。这些项目涉及视觉合成的预训练模型，能够生成或操纵视觉数据，如图像和视频，以执行多种视觉合成任务。

多模态大型语言模型

AnyGPT是一个统一的多模态大型语言模型,利用离散表示进行各种模态的统一处理,包括语音、文本、图像和音乐。AnyGPT可以在不改变当前大型语言模型架构或训练范式的情况下稳定训练。它完全依赖于数据级预处理,促进了新模态无缝集成到语言模型中,类似于新的语言的加入。我们构建了一个用于多模态对齐预训练的以文本为中心的多模态数据集。利用生成模型,我们合成了第一个大规模的任意到任意的多模态指令数据集。它由10.8万个多轮对话样例组成,多种模态交织在一起,因此使模型能够处理任意组合的多模态输入和输出。实验结果表明,AnyGPT能够促进任意到任意的多模态对话,同时在所有模态上达到与专用模型相当的性能,证明了离散表示可以有效且方便地在语言模型中统一多个模态。

使用模块化构建块构建高性能AI模型的工具。

Zeta是一个开源项目，提供模块化、高性能和可扩展的构建块来快速构建AI模型。它包括多种功能，如Flash Attention、SwiGLU、相对位置偏差、前馈网络、BitLinear变换、PalmE多模态模型、U-Net、视觉嵌入和其他多种高级特性。

使用情绪感知的韵律分析,提高语音合成的情绪表达能力

EmoPP是一个情绪感知的韵律分析模型,它可以更准确地挖掘语音的情感线索,预测更合适的停顿位置,从而提高端到端语音合成系统的情绪表达能力。该模型通过在ESD数据集上进行客观观察,证明了情绪和韵律分析之间存在强相关性。目标评估和主观评估结果表明,EmoPP模型优于所有基准,在情绪表达方面取得了显著的效果。

Whisper加速器,利用GPU加速语音识别

Whisper Turbo旨在成为OpenAI Whisper API的替代品。它由3部分组成:一个兼容层,用于输入不同格式的音频文件并转换为Whisper兼容格式;开发者友好的API,支持一次性推理和流式模式;以及Rust + WebGPU推理框架Rumble,专门用于跨平台快速推理。

去中心化的云原生 AI-Infra 提供商

SymeCloud 是一家基于云原生技术的 AI-Infra 提供商，旨在帮助企业、开发者和个人充分利用最新的 web3、云原生、人工智能和去中心化技术。SymeCloud 利用人工智能来自动化重复任务，提高效率。它与 Web3 技术和应用无缝集成，使用户能够直接从云端访问最新的去中心化服务和应用。SymeCloud 具有高可扩展性和灵活性，可以帮助企业适应不断变化的市场条件。我们提供可靠的解决方案来保护您的数据和隐私。

Repodex是一款AI驱动的代码优化平台

Repodex是一个基于AI的代码优化平台,能够帮助开发者自动化代码评审和bug修复流程。它可以分析代码库,检测bug并提供修复方案,同时以可视化的方式呈现代码结构,让开发团队能够更快地定位和解决问题。该产品可与GitHub无缝集成,支持Slack工作空间,让开发者专注创新而不用操心繁琐的代码维护工作。

为创始人提供自动化常规任务的应用程序推荐

Pythia是一个帮助创始人找到合适的应用程序来自动化常规任务的平台。用户可以描述自己的需求、预算和偏好，Pythia会通过AI模型分析这些信息并匹配适合的解决方案。用户无需在复杂的系统中导航，即可找到满足自己需求的顶级应用程序。Pythia还保证应用程序的质量和用户隐私。

构建和共享无代码AI应用

Typeblock是一个无需编写代码或雇佣昂贵开发人员即可构建和共享AI应用的平台。它提供了一个简单的Canva般的编辑器，您可以在其中创建可共享的AI应用。我们为您处理托管、身份验证、数据库、部署和货币化等功能。

AI中间层构建工具

PromptPortals是一个帮助您构建AI应用中间层的工具，通过提供简单的界面来创建和管理您的OpenAI API调用的提示。

开源的 LLM 应用程序分析

Langfuse 是一个开源的 LLM（Low-Code Low-Magic）应用程序分析工具，提供详细的生产追踪和对质量、成本和延迟的精细视图。它能帮助团队更好地跟踪和调试复杂的 LLM 应用程序，提供预构建的分析功能，帮助团队关注改进 LLM 应用程序的关键指标。Langfuse 与任何 LLM 应用程序集成，并提供多种 SDK 和 API 供开发者使用。