产品库

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

世界上最快的边缘部署音频语言模型

OmniAudio-2.6B是一个2.6B参数的多模态模型，能够无缝处理文本和音频输入。该模型结合了Gemma-2B、Whisper turbo和一个自定义投影模块，与传统的将ASR和LLM模型串联的方法不同，它将这两种能力统一在一个高效的架构中，以最小的延迟和资源开销实现。这使得它能够安全、快速地在智能手机、笔记本电脑和机器人等边缘设备上直接处理音频文本。

通用语音识别模型

Whisper 是一个通用的语音识别模型。它经过大量多样化音频的训练，并且是一个多任务模型，可以进行多语言语音识别、语音翻译和语种识别。

生成高质量 SVG 代码的基础模型。

StarVector 是一个先进的生成模型，旨在将图像和文本指令转化为高质量的可缩放矢量图形（SVG）代码。其主要优点在于能够处理复杂的 SVG 元素，并在各种图形风格和复杂性上表现出色。作为开放源代码资源，StarVector 推动了图形设计的创新和效率，适用于设计、插图和技术文档等多种应用场景。

音刻转录是一款快速、精准、丝滑的音视频转录工具。

音刻转录是一款专注于音视频转录的在线工具，通过先进的语音识别技术，能够快速将音频或视频文件转换为文本。其主要优点包括转录速度快、准确率高、支持多种语言和文件格式。产品定位为高效办公和学习辅助工具，旨在帮助用户节省时间和精力，提升工作效率。音刻转录提供免费试用版本，用户可以体验其核心功能，付费版本则提供更多高级功能和大文件支持，满足不同用户的需求。

DuRT 是一款 macOS 上的实时语音识别和翻译软件，致力于提供高效、准确的语音处理服务。

DuRT 是一款专注于 macOS 系统的语音识别和翻译工具。它通过本地 AI 模型和系统服务实现语音的实时识别与翻译，支持多种语音识别方法，提高了识别的准确度和语言支持范围。该产品以悬浮框形式展示结果，方便用户在使用过程中快速获取信息。其主要优点包括高准确度、隐私保护（不收集用户信息）以及便捷的操作体验。DuRT 定位为一款高效生产力工具，旨在帮助用户在多语言环境下更高效地进行沟通和工作。目前产品可在 Mac App Store 下载，具体价格未在页面中明确提及。

Scribe 是全球最准确的语音转文字模型，支持99种语言。

Scribe 是由 ElevenLabs 开发的高精度语音转文字模型，旨在处理真实世界音频的不可预测性。它支持99种语言，提供单词级时间戳、说话人分离和音频事件标记等功能。Scribe 在 FLEURS 和 Common Voice 基准测试中表现卓越，超越了 Gemini 2.0 Flash、Whisper Large V3 和 Deepgram Nova-3 等领先模型。它显著降低了传统服务不足语言（如塞尔维亚语、粤语和马拉雅拉姆语）的错误率，这些语言在竞争模型中的错误率通常超过40%。Scribe 提供 API 接口供开发者集成，并将推出低延迟版本以支持实时应用。

Phi-4-multimodal-instruct 是微软开发的轻量级多模态基础模型，支持文本、图像和音频输入。

Phi-4-multimodal-instruct 是微软开发的多模态基础模型，支持文本、图像和音频输入，生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建，经过监督微调、直接偏好优化和人类反馈强化学习等过程，以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入，具有128K的上下文长度，适用于多种多模态任务，如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升，尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力，可用于构建各种多模态应用。

TableGPT2的预构建代理，用于基于表格的问答任务。

TableGPT-agent 是一个基于 TableGPT2 的预构建代理模型，专为处理表格数据的问答任务而设计。它基于 Langgraph 库开发，提供用户友好的交互界面，能够高效处理与表格相关的复杂问题。TableGPT2 是一个大型多模态模型，能够将表格数据与自然语言处理相结合，为数据分析和知识提取提供强大的技术支持。该模型适用于需要快速准确处理表格数据的场景，如数据分析、商业智能和学术研究等。

开源工业级自动语音识别模型，支持普通话、方言和英语，性能卓越。

FireRedASR-AED-L 是一个开源的工业级自动语音识别模型，专为满足高效率和高性能的语音识别需求而设计。该模型采用基于注意力的编码器-解码器架构，支持普通话、中文方言和英语等多种语言。它在公共普通话语音识别基准测试中达到了新的最高水平，并且在歌唱歌词识别方面表现出色。该模型的主要优点包括高性能、低延迟和广泛的适用性，适用于各种语音交互场景。其开源特性使得开发者可以自由地使用和修改代码，进一步推动语音识别技术的发展。

开源的工业级普通话自动语音识别模型，支持多种应用场景。

FireRedASR 是一个开源的工业级普通话自动语音识别模型，采用 Encoder-Decoder 和 LLM 集成架构。它包含两个变体：FireRedASR-LLM 和 FireRedASR-AED，分别针对高性能和高效能需求设计。该模型在普通话基准测试中表现出色，同时在方言和英文语音识别上也有良好表现。它适用于需要高效语音转文字的工业级应用，如智能助手、视频字幕生成等。模型开源，便于开发者集成和优化。

Hibiki 是一款用于流式语音翻译（即同声传译）的模型，能够实时逐块生成正确翻译。

Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译，支持语音和文本翻译，并可进行声音转换。该模型基于多流架构，能够同时处理源语音和目标语音，生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译，适合需要高效实时翻译的场景，如国际会议、多语言直播等。模型开源免费，适合开发者和研究人员使用。

将口语转化为优雅文字的AI写作工具，让写作变得轻松自然。

Bulletpen是一款创新的AI写作应用，旨在帮助用户将口头表达转化为高质量的书面文本。它通过语音识别和自然语言处理技术，将用户的口语内容进行优化和润色，生成结构清晰、语言流畅的书面文本。该产品的主要优点是能够显著提高写作效率，尤其适合那些在写作时感到困难或缺乏灵感的用户。Bulletpen由17岁的高中生Rexan Wong开发，目标是为学生、作家和内容创作者提供一个简单易用的写作辅助工具。它提供免费和付费两种计划，满足不同用户的需求。

一款能够自我进化的移动助手，专为复杂任务设计。

Mobile-Agent-E 是一款基于大型多模态模型（LMM）的移动助手，旨在帮助用户高效完成复杂的多步骤任务。它通过分层多智能体框架实现自我进化，能够从过去的任务中学习并改进。该产品的主要优点在于其强大的推理能力和对复杂任务的处理能力，尤其是在长周期、多应用交互的任务中表现出色。它适用于需要高效完成复杂移动任务的用户，如商务人士、研究人员等，目前处于研究阶段，未明确具体价格。

Whisper Turbo 是一款免费在线快速准确的语音识别工具。

Whisper Turbo 是基于 Whisper Large-v3 模型优化的语音识别工具，专为快速语音转录而设计。它利用先进的 AI 技术，能够高效地将不同音频源的语音转换为文本，支持多种语言和口音。该工具免费提供给用户，旨在帮助人们节省时间和精力，提高工作效率。其主要面向需要快速准确转录语音内容的用户，如博主、内容创作者、企业等，为他们提供便捷的语音转文字解决方案。

一个具有先进语音活动检测、唤醒词激活和即时转录功能的稳健、高效、低延迟的语音到文本库。

RealtimeSTT是一个开源的语音识别模型，能够实时将语音转换为文本。它使用了先进的语音活动检测技术，可以自动检测语音的开始和结束，无需手动操作。此外，它还支持唤醒词激活功能，用户可以通过说出特定的唤醒词来启动语音识别。该模型具有低延迟、高效率的特点，适合需要实时语音转录的应用场景，如语音助手、会议记录等。它基于Python开发，易于集成和使用，且在GitHub上开源，社区活跃，不断有新的更新和改进。

基于ESP32的AI聊天机器人项目，可实现多语言对话与声纹识别

xiaozhi-esp32 是一个开源的 AI 聊天机器人项目，基于乐鑫的 ESP-IDF 开发。它将大语言模型与硬件设备相结合，使用户能够打造出个性化的 AI 伴侣。项目支持多种语言的语音识别与对话，具备声纹识别功能，能够识别不同用户的语音特征。其开源特性降低了 AI 硬件开发的门槛，为学生、开发者等群体提供了宝贵的学习资源，有助于推动 AI 技术在硬件领域的应用与创新。项目目前免费开源，适合不同层次的开发者进行学习与二次开发。

视觉定位GUI指令的多模态模型

Aria-UI是一个专为GUI指令视觉定位而设计的大规模多模态模型。它采用纯视觉方法，不依赖辅助输入，能够适应多样化的规划指令，并通过合成多样化、高质量的指令样本来适应不同的任务。Aria-UI在离线和在线代理基准测试中均创下新的最高记录，超越了仅依赖视觉和依赖AXTree的基线。

全能AI助手，提供语音识别、字幕翻译、文档速读等功能

通义是一款集成了语音识别、实时字幕翻译、智能总结等功能的浏览器插件，旨在提高用户在网课、追剧追番、线上会议等场景下的效率。它通过AI技术，帮助用户快速记录、转写、翻译和总结网页内容，特别适合需要处理大量信息的用户。产品背景基于当前信息爆炸的时代，用户需要更高效的工具来管理、理解和消化信息。目前产品提供免费试用，具体价格和定位根据用户需求而定。

模型评测平台

FlagEval是一个模型评测平台，专注于大语言模型和多模态模型的评测。它提供了一个公正、透明的环境，让不同的模型在同一标准下进行比较，帮助研究者和开发者了解模型性能，推动人工智能技术的发展。该平台涵盖了对话模型、视觉语言模型等多种模型类型，支持开源和闭源模型的评测，并提供专项评测如K12学科测验和金融量化交易评测。

将语音转换为博客文章的助手

Robo Blogger是一个专注于将语音转换为博客文章的人工智能助手。它通过捕捉自然语言中的创意，将其结构化为有条理的博客内容，同时可以结合参考资料以确保文章的准确性和深度。这个工具基于之前Report mAIstro项目的概念，专为博客文章创作优化。通过分离创意捕捉和内容结构化，Robo Blogger帮助保持原始想法的真实性，同时确保专业呈现。

实时浏览器端语音识别应用

Moonshine Web是一个基于React和Vite构建的简单应用，它运行了Moonshine Base，这是一个针对快速准确自动语音识别（ASR）优化的强大语音识别模型，适用于资源受限的设备。该应用在浏览器端本地运行，使用Transformers.js和WebGPU加速（或WASM作为备选）。它的重要性在于能够为用户提供一个无需服务器即可在本地进行语音识别的解决方案，这对于需要快速处理语音数据的应用场景尤为重要。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

端侧全模态理解开源模型

Megrez-3B-Omni是由无问芯穹研发的端侧全模态理解模型，基于大语言模型Megrez-3B-Instruct扩展，具备图片、文本、音频三种模态数据的理解分析能力。该模型在图像理解、语言理解、语音理解方面均取得最优精度，支持中英文语音输入及多轮对话，支持对输入图片的语音提问，根据语音指令直接响应文本，在多项基准任务上取得了领先的结果。

语音驱动的AI助手，提升工作效率。

Shortcut by Poised是一个基于语音的AI助手，旨在通过自然对话的方式提升用户的工作效率。它允许用户通过语音输入快速获得答案、整理思路、起草消息、电子邮件和文档，同时保持工作流程的连贯性。产品通过AI技术将自然语言转换为精炼的文本，并提供多种语言风格选项，满足不同场合的需求。Shortcut by Poised的背景信息显示，它在Product Hunt上发布，并即将推出Windows和移动应用版本，目前Mac版本已可下载。

AI代理测试和评估平台

Coval是一个专注于AI代理测试和评估的平台，旨在通过模拟和评估来提高AI代理的可靠性和效率。该平台由自主测试领域的专家构建，支持语音和聊天代理的测试，并提供全面的评估报告，帮助用户优化AI代理的性能。Coval的主要优点包括简化测试流程、提供AI驱动的模拟、兼容语音AI，以及提供详细的性能分析。产品背景信息显示，Coval旨在帮助企业快速、可靠地部署AI代理，提高客户服务的质量和效率。Coval提供三种定价计划，满足不同规模企业的需求。

联合语音转录和实体识别的先进模型

Whisper-NER是一个创新的模型，它允许同时进行语音转录和实体识别。该模型支持开放类型的命名实体识别（NER），能够识别多样化和不断演变的实体。Whisper-NER旨在作为自动语音识别（ASR）和NER下游任务的强大基础模型，并且可以在特定数据集上进行微调以提高性能。

语音到语音翻译系统，保留声音和等时性特征

TransVIP是由微软研究院开发的一个创新的语音到语音翻译系统，它能够在翻译过程中保留说话者的声音特征和等时性（即说话的节奏和停顿），这对于视频配音等场景非常有用。TransVIP通过联合概率实现端到端的推理，同时利用不同的数据集进行级联处理。该技术的主要优点包括高适应性、声音特征保留以及等时性保持，这使得它在多语言交流和内容本地化领域具有重要价值。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。