产品库

多语种语音理解模型，提供高精度语音识别与情感识别。

SenseVoice是一个包含自动语音识别(ASR)、语音语言识别(LID)、语音情感识别(SER)和音频事件检测(AED)等多语音理解能力的语音基础模型。它专注于高精度多语种语音识别、语音情感识别和音频事件检测，支持超过50种语言，识别性能超越Whisper模型。模型采用非自回归端到端框架，推理延迟极低，是实时语音处理的理想选择。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

多语种高精度语音识别模型

SenseVoiceSmall是一款具备多种语音理解能力的语音基础模型，包括自动语音识别（ASR）、口语语言识别（LID）、语音情感识别（SER）和音频事件检测（AED）。该模型经过超过40万小时的数据训练，支持超过50种语言，识别性能超越Whisper模型。其小型模型SenseVoice-Small采用非自回归端到端框架，推理延迟极低，处理10秒音频仅需70毫秒，比Whisper-Large快15倍。此外，SenseVoice还提供便捷的微调脚本和策略，支持多并发请求的服务部署管道，客户端语言包括Python、C++、HTML、Java和C#等。

自然交互的语音理解和生成基础模型

FunAudioLLM是一个旨在增强人类与大型语言模型(Large Language Models, LLMs)之间自然语音交互的框架。它包含两个创新模型：SenseVoice负责高精度多语种语音识别、情绪识别和音频事件检测；CosyVoice负责自然语音生成，支持多语种、音色和情绪控制。SenseVoice支持超过50种语言，具有极低的延迟；CosyVoice擅长多语种语音生成、零样本上下文生成、跨语言语音克隆和指令跟随能力。相关模型已在Modelscope和Huggingface上开源，并在GitHub上发布了相应的训练、推理和微调代码。

实时语音提取智能耳机交互系统

LookOnceToHear 是一种创新的智能耳机交互系统，允许用户通过简单的视觉识别来选择想要听到的目标说话者。这项技术在 CHI 2024 上获得了最佳论文荣誉提名。它通过合成音频混合、头相关传输函数(HRTFs)和双耳房间脉冲响应(BRIRs)来实现实时语音提取，为用户提供了一种新颖的交互方式。

亿万⼈中的你

小冰是一款聊天机器人产品，具有智能对话、语音识别、情感分析等功能。小冰提供商业解决方案，并可在第三方平台上集成使用。用户可以通过召唤小冰与其进行交流互动。

联合语音转录和实体识别的先进模型

Whisper-NER是一个创新的模型，它允许同时进行语音转录和实体识别。该模型支持开放类型的命名实体识别（NER），能够识别多样化和不断演变的实体。Whisper-NER旨在作为自动语音识别（ASR）和NER下游任务的强大基础模型，并且可以在特定数据集上进行微调以提高性能。

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

下一代语音AI，打造自然沟通的AI语音代理。

Ultravox.ai是一个先进的语音语言模型（SLM），直接处理语音，无需转换为文本，实现更自然、流畅的对话。它支持多语言，易于适应新语言或口音，确保与不同受众的顺畅沟通。产品背景信息显示，Ultravox.ai是一个开源模型，用户可以根据自己的需求进行定制和部署，价格为每分钟5美分。

基于LLM的智能字幕助手，一键生成高质量视频字幕

卡卡字幕助手（VideoCaptioner）是一款功能强大的视频字幕配制软件，利用大语言模型进行字幕智能断句、校正、优化、翻译，实现字幕视频全流程一键处理。产品无需高配置，操作简单，内置基础LLM模型，保证开箱即用，且消耗模型Token少，适合视频制作者和内容创作者。

城市安全评估工具，快速了解区域安全状况

locationCheck是一款AI城市安全评估工具，用户可以通过该应用搜索并扫描城市特定区域，并通过情感分析评估该地点的总体安全性。它为用户提供实时数据支持，帮助做出关于城市不同区域安全性的明智决策。该应用免费提供基础功能，并提供付费升级以获得更高级的用户体验。

实时语音交互数字人，支持端到端语音方案

VideoChat是一个实时语音交互数字人项目，支持端到端语音方案（GLM-4-Voice - THG）和级联方案（ASR-LLM-TTS-THG）。用户可以自定义数字人的形象和音色，支持音色克隆，无需训练，首包延迟低至3秒。该项目利用了最新的人工智能技术，包括自动语音识别（ASR）、大型语言模型（LLM）、端到端多模态大型语言模型（MLLM）、文本到语音（TTS）和说话头生成（THG），为用户提供了一个高度定制化和低延迟的交互体验。

Najva：您的AI驱动的Mac语音助手，将语音快速转换为文本。

Najva是一款专为Mac设计的AI驱动的语音助手，它结合了先进的本地语音识别技术和强大的AI模型，将您的语音转换成智能文本。这款应用特别适合那些思维速度比打字速度快的用户，如作家、开发者、医疗专业人员等。Najva以其轻量级、原生Swift应用、零追踪和完全免费等特点，为用户提供了一个注重隐私和效率的工作流程解决方案。

开源的全双工音频生成基础模型

hertz-dev是Standard Intelligence开源的全双工、仅音频的变换器基础模型，拥有85亿参数。该模型代表了可扩展的跨模态学习技术，能够将单声道16kHz语音转换为8Hz潜在表示，具有1kbps的比特率，性能优于其他音频编码器。hertz-dev的主要优点包括低延迟、高效率和易于研究人员进行微调和构建。产品背景信息显示，Standard Intelligence致力于构建对全人类有益的通用智能，而hertz-dev是这一旅程的第一步。

Android平台上的私有、设备端语音识别键盘和文字服务

Transcribro是一款运行在Android平台上的私有、设备端语音识别键盘和文字服务应用，它使用whisper.cpp来运行OpenAI Whisper系列模型，并结合Silero VAD进行语音活动检测。该应用提供了语音输入键盘，允许用户通过语音进行文字输入，并且可以被其他应用显式使用，或者设置为用户选择的语音转文字应用，部分应用可能会使用它来进行语音转文字。Transcribro的背景是为用户提供一种更安全、更私密的语音转文字解决方案，避免了云端处理可能带来的隐私泄露问题。该应用是开源的，用户可以自由地查看、修改和分发代码。

下一代语音AI，提供卓越的音频数据处理能力。

Universal-2是AssemblyAI推出的最新语音识别模型，它在准确度和精确度上超越了前一代Universal-1，能够更好地捕捉人类语言的复杂性，为用户提供无需二次检查的音频数据。这一技术的重要性在于它能够为产品体验提供更敏锐的洞察力、更快的工作流程和一流的产品体验。Universal-2在专有名词识别、文本格式化和字母数字识别方面都有显著提升，减少了实际应用中的词错误率。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

在线AI配音，将视频和音频本地化为任何语言

AI Dubbing Online是一项利用人工智能技术进行视频和音频配音的服务。它通过精确的声音同步和情感表达，帮助用户将内容本地化为100多种语言，扩大全球观众群体。这项技术的重要性在于它能够以高达95%的准确率提供无与伦比的配音质量，使用先进的自然语言处理技术来分析和配音，从而扩大观众覆盖范围。AI Dubbing Online被行业领导者和超过100万用户所信赖，它不仅是一个配音工具，还提供了一个全方位的解决方案，包括转录、字幕生成等，为整个本地化工作流程节省了时间和精力。

AI驱动的语音听写工具

Whispo是一款利用人工智能技术的语音听写工具，它能够将用户的语音实时转换成文字。这款工具使用了OpenAI Whisper技术进行语音识别，并支持使用自定义API进行语音转写，还允许通过大型语言模型进行转录后处理。Whispo支持多种操作系统，包括macOS（Apple Silicon）和Windows x64，并且所有数据都存储在本地，保障了用户隐私。它的设计背景是为了提高那些需要大量文字输入的用户的工作效率，无论是编程、写作还是日常记录。Whispo目前是免费试用的，但具体的定价策略尚未在页面上明确。

一个用于自然语言处理的先进模型

Meta-spirit-lm是由Meta公司开发的一款先进的自然语言处理模型，它在Hugging Face平台上发布。这款模型在处理语言相关的任务时表现出色，如文本生成、翻译、问答等。它的重要性在于能够理解和生成自然语言，极大地推动了人工智能在语言理解领域的进步。该模型在开源社区中受到广泛关注，可以用于研究和商业用途，但需遵守FAIR Noncommercial Research License。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

功能强大的语音离线文件转写服务

FunASR是一款语音离线文件转写服务软件包，集成了语音端点检测、语音识别、标点等模型，能够将长音频与视频转换成带标点的文字，并支持多路请求同时转写。它支持ITN与用户自定义热词，服务端集成有ffmpeg，支持多种音视频格式输入，并提供多种编程语言客户端，适用于需要高效、准确语音转写服务的企业和开发者。

智能语音转文字工具，高效且用户友好。

AsrTools是一款基于人工智能技术的语音转文字工具，它通过调用大厂的ASR服务接口，实现了无需GPU和复杂配置的高效语音识别功能。该工具支持批量处理和多线程并发，能够快速将音频文件转换成SRT或TXT格式的字幕文件。AsrTools的用户界面基于PyQt5和qfluentwidgets，提供高颜值且易于操作的交互体验。它的主要优点包括调用大厂接口的稳定性、无需复杂配置的便捷性、以及多格式输出的灵活性。AsrTools适合需要快速将语音内容转换成文字的用户，特别是在视频制作、音频编辑和字幕生成等领域。目前，AsrTools提供免费使用大厂ASR服务的模式，对于个人和小团队来说，可以显著降低成本并提高工作效率。

AI驱动的语音笔记应用，将语音转换为有组织的摘要和清晰的行动项。

NotesGPT是一款利用人工智能技术将用户的语音笔记转换成有组织的摘要和清晰的行动项的在线服务。它通过先进的语音识别和自然语言处理技术，帮助用户更高效地记录和管理笔记，特别适合需要快速记录信息并整理成结构化内容的用户。产品背景信息显示，NotesGPT由Together.ai和Convex提供技术支持，这表明其背后有着强大的AI技术支撑。目前，该产品似乎处于推广阶段，具体价格和定位信息未在页面中明确展示。

开源的语音识别和说话人分割模型推理代码

Reverb 是一个开源的语音识别和说话人分割模型推理代码，使用 WeNet 框架进行语音识别 (ASR) 和 Pyannote 框架进行说话人分割。它提供了详细的模型描述，并允许用户从 Hugging Face 下载模型。Reverb 旨在为开发者和研究人员提供高质量的语音识别和说话人分割工具，以支持各种语音处理任务。

世界最精确的AI语音转录服务

Rev AI提供高精度的语音转录服务，支持58种以上语言，能够将视频和语音应用中的语音转换为文本。它通过使用世界上最多样化的声音集合进行训练，为视频和语音应用设定了准确性标准。Rev AI还提供实时流媒体转录、人类转录、语言识别、情感分析、主题提取、总结和翻译等服务。Rev AI的技术优势在于低词错误率、对性别和种族口音的最小偏见、支持更多语言以及提供最易读的转录文本。此外，它还符合世界顶级的安全标准，包括SOC II、HIPAA、GDPR和PCI合规性。

会议语音转文本并自动生成摘要的AI工具

AI-Powered Meeting Summarizer是一个基于Gradio的网站应用，能够将会议录音转换为文本，并使用whisper.cpp进行音频到文本的转换，以及Ollama服务器进行文本摘要。该工具非常适合快速提取会议中的关键点、决策和行动项目。

低延迟的实时语音交互API

Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。