产品库

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

通用语音识别模型

Whisper 是一个通用的语音识别模型。它经过大量多样化音频的训练，并且是一个多任务模型，可以进行多语言语音识别、语音翻译和语种识别。

语音到语音翻译系统，保留声音和等时性特征

TransVIP是由微软研究院开发的一个创新的语音到语音翻译系统，它能够在翻译过程中保留说话者的声音特征和等时性（即说话的节奏和停顿），这对于视频配音等场景非常有用。TransVIP通过联合概率实现端到端的推理，同时利用不同的数据集进行级联处理。该技术的主要优点包括高适应性、声音特征保留以及等时性保持，这使得它在多语言交流和内容本地化领域具有重要价值。

下一代语音AI，打造自然沟通的AI语音代理。

Ultravox.ai是一个先进的语音语言模型（SLM），直接处理语音，无需转换为文本，实现更自然、流畅的对话。它支持多语言，易于适应新语言或口音，确保与不同受众的顺畅沟通。产品背景信息显示，Ultravox.ai是一个开源模型，用户可以根据自己的需求进行定制和部署，价格为每分钟5美分。

基于LLM的智能字幕助手，一键生成高质量视频字幕

卡卡字幕助手（VideoCaptioner）是一款功能强大的视频字幕配制软件，利用大语言模型进行字幕智能断句、校正、优化、翻译，实现字幕视频全流程一键处理。产品无需高配置，操作简单，内置基础LLM模型，保证开箱即用，且消耗模型Token少，适合视频制作者和内容创作者。

用于全球协作的实时语音翻译

DeepL Voice是一款提供即时、安全的语音翻译产品，旨在帮助全球团队打破语言障碍，实现无缝沟通。它利用先进的人工智能技术，提供高质量的语音翻译服务，支持多种语言，并集成到多种平台中，如Microsoft Teams。DeepL Voice的主要优点包括低延迟、高性能的翻译，无与伦比的翻译质量，以及以安全为核心的设计理念。

大型多模态模型，集成表格数据

TableGPT2是一个大型多模态模型，专门针对表格数据进行预训练和微调，以解决实际应用中表格数据整合不足的问题。该模型在超过593.8K的表格和2.36M的高质量查询-表格-输出元组上进行了预训练和微调，规模前所未有。TableGPT2的关键创新之一是其新颖的表格编码器，专门设计用于捕获模式级别和单元格级别的信息，增强了模型处理模糊查询、缺失列名和不规则表格的能力。在23个基准测试指标上，TableGPT2在7B模型上平均性能提升了35.20%，在72B模型上提升了49.32%，同时保持了强大的通用语言和编码能力。

Najva：您的AI驱动的Mac语音助手，将语音快速转换为文本。

Najva是一款专为Mac设计的AI驱动的语音助手，它结合了先进的本地语音识别技术和强大的AI模型，将您的语音转换成智能文本。这款应用特别适合那些思维速度比打字速度快的用户，如作家、开发者、医疗专业人员等。Najva以其轻量级、原生Swift应用、零追踪和完全免费等特点，为用户提供了一个注重隐私和效率的工作流程解决方案。

开源的全双工音频生成基础模型

hertz-dev是Standard Intelligence开源的全双工、仅音频的变换器基础模型，拥有85亿参数。该模型代表了可扩展的跨模态学习技术，能够将单声道16kHz语音转换为8Hz潜在表示，具有1kbps的比特率，性能优于其他音频编码器。hertz-dev的主要优点包括低延迟、高效率和易于研究人员进行微调和构建。产品背景信息显示，Standard Intelligence致力于构建对全人类有益的通用智能，而hertz-dev是这一旅程的第一步。

Android平台上的私有、设备端语音识别键盘和文字服务

Transcribro是一款运行在Android平台上的私有、设备端语音识别键盘和文字服务应用，它使用whisper.cpp来运行OpenAI Whisper系列模型，并结合Silero VAD进行语音活动检测。该应用提供了语音输入键盘，允许用户通过语音进行文字输入，并且可以被其他应用显式使用，或者设置为用户选择的语音转文字应用，部分应用可能会使用它来进行语音转文字。Transcribro的背景是为用户提供一种更安全、更私密的语音转文字解决方案，避免了云端处理可能带来的隐私泄露问题。该应用是开源的，用户可以自由地查看、修改和分发代码。

下一代语音AI，提供卓越的音频数据处理能力。

Universal-2是AssemblyAI推出的最新语音识别模型，它在准确度和精确度上超越了前一代Universal-1，能够更好地捕捉人类语言的复杂性，为用户提供无需二次检查的音频数据。这一技术的重要性在于它能够为产品体验提供更敏锐的洞察力、更快的工作流程和一流的产品体验。Universal-2在专有名词识别、文本格式化和字母数字识别方面都有显著提升，减少了实际应用中的词错误率。

端到端中英语音对话模型

GLM-4-Voice是由清华大学团队开发的端到端语音模型，能够直接理解和生成中英文语音，进行实时语音对话。它通过先进的语音识别和合成技术，实现了语音到文本再到语音的无缝转换，具备低延迟和高智商的对话能力。该模型在语音模态下的智商和合成表现力上进行了优化，适用于需要实时语音交互的场景。

AI驱动的语音听写工具

Whispo是一款利用人工智能技术的语音听写工具，它能够将用户的语音实时转换成文字。这款工具使用了OpenAI Whisper技术进行语音识别，并支持使用自定义API进行语音转写，还允许通过大型语言模型进行转录后处理。Whispo支持多种操作系统，包括macOS（Apple Silicon）和Windows x64，并且所有数据都存储在本地，保障了用户隐私。它的设计背景是为了提高那些需要大量文字输入的用户的工作效率，无论是编程、写作还是日常记录。Whispo目前是免费试用的，但具体的定价策略尚未在页面上明确。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

功能强大的语音离线文件转写服务

FunASR是一款语音离线文件转写服务软件包，集成了语音端点检测、语音识别、标点等模型，能够将长音频与视频转换成带标点的文字，并支持多路请求同时转写。它支持ITN与用户自定义热词，服务端集成有ffmpeg，支持多种音视频格式输入，并提供多种编程语言客户端，适用于需要高效、准确语音转写服务的企业和开发者。

智能语音转文字工具，高效且用户友好。

AsrTools是一款基于人工智能技术的语音转文字工具，它通过调用大厂的ASR服务接口，实现了无需GPU和复杂配置的高效语音识别功能。该工具支持批量处理和多线程并发，能够快速将音频文件转换成SRT或TXT格式的字幕文件。AsrTools的用户界面基于PyQt5和qfluentwidgets，提供高颜值且易于操作的交互体验。它的主要优点包括调用大厂接口的稳定性、无需复杂配置的便捷性、以及多格式输出的灵活性。AsrTools适合需要快速将语音内容转换成文字的用户，特别是在视频制作、音频编辑和字幕生成等领域。目前，AsrTools提供免费使用大厂ASR服务的模式，对于个人和小团队来说，可以显著降低成本并提高工作效率。

AI驱动的语音笔记应用，将语音转换为有组织的摘要和清晰的行动项。

NotesGPT是一款利用人工智能技术将用户的语音笔记转换成有组织的摘要和清晰的行动项的在线服务。它通过先进的语音识别和自然语言处理技术，帮助用户更高效地记录和管理笔记，特别适合需要快速记录信息并整理成结构化内容的用户。产品背景信息显示，NotesGPT由Together.ai和Convex提供技术支持，这表明其背后有着强大的AI技术支撑。目前，该产品似乎处于推广阶段，具体价格和定位信息未在页面中明确展示。

开源的语音识别和说话人分割模型推理代码

Reverb 是一个开源的语音识别和说话人分割模型推理代码，使用 WeNet 框架进行语音识别 (ASR) 和 Pyannote 框架进行说话人分割。它提供了详细的模型描述，并允许用户从 Hugging Face 下载模型。Reverb 旨在为开发者和研究人员提供高质量的语音识别和说话人分割工具，以支持各种语音处理任务。

世界最精确的AI语音转录服务

Rev AI提供高精度的语音转录服务，支持58种以上语言，能够将视频和语音应用中的语音转换为文本。它通过使用世界上最多样化的声音集合进行训练，为视频和语音应用设定了准确性标准。Rev AI还提供实时流媒体转录、人类转录、语言识别、情感分析、主题提取、总结和翻译等服务。Rev AI的技术优势在于低词错误率、对性别和种族口音的最小偏见、支持更多语言以及提供最易读的转录文本。此外，它还符合世界顶级的安全标准，包括SOC II、HIPAA、GDPR和PCI合规性。

会议语音转文本并自动生成摘要的AI工具

AI-Powered Meeting Summarizer是一个基于Gradio的网站应用，能够将会议录音转换为文本，并使用whisper.cpp进行音频到文本的转换，以及Ollama服务器进行文本摘要。该工具非常适合快速提取会议中的关键点、决策和行动项目。

高效自动语音识别模型

Whisper large-v3-turbo是OpenAI提出的一种先进的自动语音识别(ASR)和语音翻译模型。它在超过500万小时的标记数据上进行训练，能够在零样本设置中泛化到许多数据集和领域。该模型是Whisper large-v3的微调版本，解码层从32减少到4，以提高速度，但可能会略微降低质量。

情感丰富的多模态语言模型

EMOVA（EMotionally Omni-present Voice Assistant）是一个多模态语言模型，它能够进行端到端的语音处理，同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器，实现了情感丰富的多模态对话，并在视觉-语言和语音基准测试中达到了最先进的性能。

极速语音识别，精准时间戳

OmniSenseVoice是基于SenseVoice优化的语音识别模型，专为快速推理和精确时间戳设计，提供更智能、更快速的音频转录方式。

高效准确的AI语言模型

Llama-3.1-Nemotron-51B是由NVIDIA基于Meta的Llama-3.1-70B开发的新型语言模型，通过神经架构搜索（NAS）技术优化，实现了高准确率和高效率。该模型能够在单个NVIDIA H100 GPU上运行，显著降低了内存占用，减少了内存带宽和计算量，同时保持了优秀的准确性。它代表了AI语言模型在准确性和效率之间取得的新平衡，为开发者和企业提供了成本可控的高性能AI解决方案。

实时对话式人工智能，一键式API接入。

Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。

全面对标GPT-4 Turbo的AI大语言模型

讯飞星火是科大讯飞推出的一款全面对标GPT-4 Turbo的AI大语言模型，它通过集成多种AI技术，如语音识别、自然语言处理、机器学习等，为用户提供高效、智能的办公效率工具。该产品不仅能够处理文本信息，还能进行语音识别和生成，支持多语种，适用于企业服务、智能硬件、智慧政务、智慧金融、智慧医疗等多个领域。

全栈式虚拟人多场景应用服务

讯飞虚拟人利用最新的AI虚拟形象技术，结合语音识别、语义理解、语音合成、NLP、星火大模型等AI核心技术，提供虚拟人形象资产构建、AI驱动、多模态交互的多场景虚拟人产品服务。一站式虚拟人音视频内容生产，AIGC助力创作灵活高效；在虚拟'AI演播室'中输入文本或录音，一键完成音、视频作品的输出，3分钟内渲染出稿。

新型基础语音对语音模型，提供人性化对话体验。

EVI 2是Hume AI推出的新型基础语音对语音模型，能够以接近人类的自然方式与用户进行流畅对话。它具备快速响应、理解用户语调、生成不同语调、以及执行特定请求的能力。EVI 2通过特殊训练增强了情感智能，能够预测并适应用户的偏好，维持有趣且引人入胜的性格和个性。此外，EVI 2还具有多语言能力，能够适应不同应用场景和用户需求。