产品库

世界上最快的边缘部署音频语言模型

OmniAudio-2.6B是一个2.6B参数的多模态模型，能够无缝处理文本和音频输入。该模型结合了Gemma-2B、Whisper turbo和一个自定义投影模块，与传统的将ASR和LLM模型串联的方法不同，它将这两种能力统一在一个高效的架构中，以最小的延迟和资源开销实现。这使得它能够安全、快速地在智能手机、笔记本电脑和机器人等边缘设备上直接处理音频文本。

RF-DETR 是由 Roboflow 开发的实时目标检测模型。

RF-DETR 是一个基于变压器的实时目标检测模型，旨在为边缘设备提供高精度和实时性能。它在 Microsoft COCO 基准测试中超过了 60 AP，具有竞争力的性能和快速的推理速度，适合各种实际应用场景。RF-DETR 旨在解决现实世界中的物体检测问题，适用于需要高效且准确检测的行业，如安防、自动驾驶和智能监控等。

生成高质量 SVG 代码的基础模型。

StarVector 是一个先进的生成模型，旨在将图像和文本指令转化为高质量的可缩放矢量图形（SVG）代码。其主要优点在于能够处理复杂的 SVG 元素，并在各种图形风格和复杂性上表现出色。作为开放源代码资源，StarVector 推动了图形设计的创新和效率，适用于设计、插图和技术文档等多种应用场景。

AI驱动的视频音频增强解决方案，提供视频超分辨率、降噪、音频上混等功能。

UniFab 是一款强大的 AI 助力的视频音频增强工具。它利用先进的超分辨率技术，能够将视频分辨率提升至 8K/16K，同时将 SDR 转换为 HDR，为用户提供影院级的视觉体验。其 AI 驱动的深度学习能够智能分析并优化每一帧画面，呈现出鲜艳的色彩、逼真的细节和清晰的视觉效果。此外，UniFab 还支持音频上混功能，可将音频轨道升级为 EAC3 5.1/DTS 7.1 环绕声，让用户沉浸在电影般的听觉享受中。该产品主要面向摄影师、影视爱好者、视频创作者等群体，帮助他们优化视频内容，提升创作质量。

TableGPT2的预构建代理，用于基于表格的问答任务。

TableGPT-agent 是一个基于 TableGPT2 的预构建代理模型，专为处理表格数据的问答任务而设计。它基于 Langgraph 库开发，提供用户友好的交互界面，能够高效处理与表格相关的复杂问题。TableGPT2 是一个大型多模态模型，能够将表格数据与自然语言处理相结合，为数据分析和知识提取提供强大的技术支持。该模型适用于需要快速准确处理表格数据的场景，如数据分析、商业智能和学术研究等。

基于 PyTorch 的音乐、歌曲和音频生成工具包，支持高质量音频生成

InspireMusic 是一个专注于音乐、歌曲和音频生成的 AIGC 工具包和模型框架，采用 PyTorch 开发。它通过音频标记化和解码过程，结合自回归 Transformer 和条件流匹配模型，实现高质量音乐生成。该工具包支持文本提示、音乐风格、结构等多种条件控制，能够生成 24kHz 和 48kHz 的高质量音频，并支持长音频生成。此外，它还提供了方便的微调和推理脚本，方便用户根据需求调整模型。InspireMusic 的开源旨在赋能普通用户通过音乐创作提升研究中的音效表现。

一款能够自我进化的移动助手，专为复杂任务设计。

Mobile-Agent-E 是一款基于大型多模态模型（LMM）的移动助手，旨在帮助用户高效完成复杂的多步骤任务。它通过分层多智能体框架实现自我进化，能够从过去的任务中学习并改进。该产品的主要优点在于其强大的推理能力和对复杂任务的处理能力，尤其是在长周期、多应用交互的任务中表现出色。它适用于需要高效完成复杂移动任务的用户，如商务人士、研究人员等，目前处于研究阶段，未明确具体价格。

视觉定位GUI指令的多模态模型

Aria-UI是一个专为GUI指令视觉定位而设计的大规模多模态模型。它采用纯视觉方法，不依赖辅助输入，能够适应多样化的规划指令，并通过合成多样化、高质量的指令样本来适应不同的任务。Aria-UI在离线和在线代理基准测试中均创下新的最高记录，超越了仅依赖视觉和依赖AXTree的基线。

模型评测平台

FlagEval是一个模型评测平台，专注于大语言模型和多模态模型的评测。它提供了一个公正、透明的环境，让不同的模型在同一标准下进行比较，帮助研究者和开发者了解模型性能，推动人工智能技术的发展。该平台涵盖了对话模型、视觉语言模型等多种模型类型，支持开源和闭源模型的评测，并提供专项评测如K12学科测验和金融量化交易评测。

AI智能在线人声消除工具

AIVocal是一款基于人工智能技术的在线人声消除工具，它能够在短时间内从任何歌曲中去除人声，创建伴奏带、分离乐器音轨，并提升音乐制作效率。该产品以其高效率、高精度和易用性，满足了音乐制作人、内容创作者和翻唱艺术家的需求。AIVocal支持多种音频格式，如MP3、WAV和FLAC，适合专业音乐制作和日常娱乐使用。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

ComfyUI节点，用于MMAudio模型的音频处理

ComfyUI-MMAudio是一个基于ComfyUI的插件，它允许用户利用MMAudio模型进行音频处理。该插件的主要优点在于能够提供高质量的音频生成和处理能力，支持多种音频模型，并且易于集成到现有的音频处理流程中。产品背景信息显示，它是由kijai开发的，并且是开源的，可以在GitHub上找到。目前，该插件主要面向技术爱好者和音频处理专业人士，可以免费使用。

快速文本转语音引擎

Auralis是一个文本到语音（TTS）引擎，能够将文本快速转换为自然语音，支持语音克隆，并且处理速度极快，可以在几分钟内处理完整本小说。该产品以其高速、高效、易集成和高质量的音频输出为主要优点，适用于需要快速文本到语音转换的场景。Auralis基于Python API，支持长文本流式处理、内置音频增强、自动语言检测等功能。产品背景信息显示，Auralis由AstraMind AI开发，旨在提供一种实用于现实世界应用的文本到语音解决方案。产品价格未在页面上明确标注，但代码库在Apache 2.0许可下发布，可以免费用于项目中。

高效开源的视觉语言模型

SmolVLM是一个小型但功能强大的视觉语言模型（VLM），拥有2B参数，以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源，包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署，降低推理成本，并允许用户自定义。

AI技术去除歌曲中的不适当词汇

SongCleaner是一个利用人工智能技术来清理歌曲中不适当词汇的平台，它允许用户上传MP3或WAV格式的音频文件，然后通过AI分析和编辑，生成适合所有年龄段的清洁版本和伴奏音轨。这项技术的重要性在于它能够使音乐内容更加适合公共播放和家庭环境，同时保持音乐的原始魅力。SongCleaner以其快速、免费和用户友好的特点，为用户提供了一个便捷的解决方案，以满足对清洁音乐内容的需求。

音乐创作平台，提供高质量音频和歌词创作。

Suno v4是一个音乐创作平台，它通过提供更清晰的音频、更锐利的歌词和更动态的歌曲结构，帮助用户以更快的速度创作音乐。这个平台不仅提升了音乐创作的质量，还通过引入新的功能和技术，如ReMi歌词辅助模型和个性化封面艺术，进一步增强了用户的创作体验。Suno v4的背景是音乐创作领域对于更高效、更高质量的创作工具的需求，它通过技术的进步来满足这一需求。Suno v4目前处于Beta测试阶段，主要面向Pro和Premier用户。

在Cloudflare全球网络运行机器学习模型

Workers AI是Cloudflare推出的一款在边缘计算环境中运行机器学习模型的产品。它允许用户在全球范围内的Cloudflare网络节点上部署和运行AI应用，这些应用可以是图像分类、文本生成、目标检测等多种类型。Workers AI的推出标志着Cloudflare在全球网络中部署了GPU资源，使得开发者能够构建和部署接近用户的雄心勃勃的AI应用。该产品的主要优点包括全球分布式部署、低延迟、高性能和可靠性，同时支持免费和付费计划。

多模态语音大型语言模型

ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型（LLM）。该模型能够同时处理语音和文本输入，例如，一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发，采用MIT许可。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

大型多模态模型，集成表格数据

TableGPT2是一个大型多模态模型，专门针对表格数据进行预训练和微调，以解决实际应用中表格数据整合不足的问题。该模型在超过593.8K的表格和2.36M的高质量查询-表格-输出元组上进行了预训练和微调，规模前所未有。TableGPT2的关键创新之一是其新颖的表格编码器，专门设计用于捕获模式级别和单元格级别的信息，增强了模型处理模糊查询、缺失列名和不规则表格的能力。在23个基准测试指标上，TableGPT2在7B模型上平均性能提升了35.20%，在72B模型上提升了49.32%，同时保持了强大的通用语言和编码能力。

一款通过纯语言模型实现的文本到语音合成模型

OuteTTS-0.1-350M是一款基于纯语言模型的文本到语音合成技术，它不需要外部适配器或复杂架构，通过精心设计的提示和音频标记实现高质量的语音合成。该模型基于LLaMa架构，使用350M参数，展示了直接使用语言模型进行语音合成的潜力。它通过三个步骤处理音频：使用WavTokenizer进行音频标记化、CTC强制对齐创建精确的单词到音频标记映射、以及遵循特定格式的结构化提示创建。OuteTTS的主要优点包括纯语言建模方法、声音克隆能力、与llama.cpp和GGUF格式的兼容性。

开源的全双工音频生成基础模型

hertz-dev是Standard Intelligence开源的全双工、仅音频的变换器基础模型，拥有85亿参数。该模型代表了可扩展的跨模态学习技术，能够将单声道16kHz语音转换为8Hz潜在表示，具有1kbps的比特率，性能优于其他音频编码器。hertz-dev的主要优点包括低延迟、高效率和易于研究人员进行微调和构建。产品背景信息显示，Standard Intelligence致力于构建对全人类有益的通用智能，而hertz-dev是这一旅程的第一步。

高精度环境音频信息捕捉与生成的语音转语音模型

Fish Agent V0.1 3B是一个开创性的语音转语音模型，能够以前所未有的精确度捕捉和生成环境音频信息。该模型采用了无语义标记架构，消除了传统语义编码器/解码器的需求。此外，它还是一个尖端的文本到语音(TTS)模型，训练数据涵盖了700,000小时的多语言音频内容。作为Qwen-2.5-3B-Instruct的继续预训练版本，它在200B语音和文本标记上进行了训练。该模型支持包括英语、中文在内的8种语言，每种语言的训练数据量不同，其中英语和中文各约300,000小时，其他语言各约20,000小时。

在浏览器中直接运行的AI工具箱

Browser AI Kit是一个集成了多种AI工具的平台，用户可以在浏览器中直接使用这些工具，无需安装或设置。它提供了音频转文本、去除背景、文本转语音等多种功能，并且完全免费。这个工具箱基于Transformers.js开发，强调数据安全和隐私保护，所有数据处理都在本地进行，不上传任何服务器。它的目标是为用户提供一个便捷、安全、多功能的AI工具平台。

下一代语音AI，提供卓越的音频数据处理能力。

Universal-2是AssemblyAI推出的最新语音识别模型，它在准确度和精确度上超越了前一代Universal-1，能够更好地捕捉人类语言的复杂性，为用户提供无需二次检查的音频数据。这一技术的重要性在于它能够为产品体验提供更敏锐的洞察力、更快的工作流程和一流的产品体验。Universal-2在专有名词识别、文本格式化和字母数字识别方面都有显著提升，减少了实际应用中的词错误率。

快速准确的边缘设备自动语音识别模型

Moonshine 是一系列为资源受限设备优化的语音转文本模型，非常适合实时、设备上的应用程序，如现场转录和语音命令识别。在 HuggingFace 维护的 OpenASR 排行榜中使用的测试数据集上，Moonshine 的词错误率（WER）优于同样大小的 OpenAI Whisper 模型。此外，Moonshine 的计算需求随着输入音频的长度而变化，这意味着较短的输入音频处理得更快，与 Whisper 模型不同，后者将所有内容都作为 30 秒的块来处理。Moonshine 处理 10 秒音频片段的速度是 Whisper 的 5 倍，同时保持相同或更好的 WER。

高效、轻量级的量化Llama模型，提升移动设备上的运行速度并减少内存占用。

Llama模型是Meta公司推出的大型语言模型，通过量化技术，使得模型体积更小、运行速度更快，同时保持了模型的质量和安全性。这些模型特别适用于移动设备和边缘部署，能够在资源受限的设备上提供快速的设备内推理，同时减少内存占用。量化Llama模型的开发，标志着在移动AI领域的一个重要进步，使得更多的开发者能够在不需要大量计算资源的情况下，构建和部署高质量的AI应用。

一个用于说话人分割的工具包

DiariZen是一个基于AudioZen和Pyannote 3.1驱动的说话人分割工具包。说话人分割是音频处理中的一个关键步骤，它能够将一段音频中的不同说话人进行区分。这项技术在会议记录、电话监控、安全监听等多个领域都有广泛的应用。DiariZen的主要优点包括易于使用、高准确性和开源，使得研究人员和开发者可以自由地使用和改进它。DiariZen在GitHub上以MIT许可证发布，这意味着它是完全免费的，并且可以被商业使用。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

一个全面的AI神经网络工具目录

AILIBRI是一个汇集了超过2000个AI神经网络工具的目录网站，涵盖了文本、图像、视频、音频等多个领域的工具。它为用户寻找合适的AI工具提供了极大的便利，无论是专业人士还是初学者，都能在这里找到满足其需求的工具。该网站提供了详细的分类和搜索功能，帮助用户快速定位到所需的工具。