OmniSenseVoice是基于SenseVoice优化的语音识别模型，专为快速推理和精确时间戳设计，提供更智能、更快速的音频转录方式。
需求人群：
"目标受众包括需要进行语音转录、音频分析和实时语音识别的企业和开发者。OmniSenseVoice的高速处理能力和精确的时间戳功能特别适合需要快速处理大量语音数据的场景，如会议记录、讲座内容转写、实时翻译等。"
使用场景示例：
会议实时语音转录，生成带有时间戳的会议记录。
在线课程内容转写，为学生提供带有时间戳的课程笔记。
实时翻译应用，提供快速准确的语音翻译服务。
产品特色：
支持多种语言自动检测或指定（自动、中文、英文、粤语、日语、韩语）。
提供文本归一化选项，可以选择是否进行逆文本归一化处理。
可以选择在特定的GPU上运行，默认为CPU。
使用量化模型以加快处理速度。
提供详细的帮助信息，便于用户理解和使用。
基准测试功能，可以评估模型性能。
支持高达50倍的快速处理，同时不牺牲准确性。
使用教程：
1. 安装OmniSenseVoice模型。
2. 根据需要设置语言参数，例如：--language zh。
3. 选择是否进行文本归一化处理，例如：--textnorm woitn。
4. 指定运行的设备ID，例如：--device-id 0。
5. 如果需要，可以选择使用量化模型，例如：--quantize。
6. 运行基准测试，评估模型性能，例如：omnisense benchmark -s -d --num-workers 2 --device-id 0 --batch-size 10 --textnorm woitn --language en benchmark/data/manifests/libritts/libritts_cuts_dev-clean.jsonl。
7. 查看README文件，了解更多使用细节和配置选项。
8. 根据具体需求调整参数，进行语音识别任务。
浏览量：23
最新流量情况
月访问量
5.04m
平均访问时长
00:06:44
每次访问页数
5.72
跳出率
37.31%
流量来源
直接访问
52.46%
自然搜索
32.55%
邮件
0.05%
外链引荐
12.51%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.03%
德国
3.56%
印度
9.44%
俄罗斯
5.59%
美国
18.14%
开源多模态大型语言模型，支持实时语音输入和流式音频输出。
Mini-Omni是一个开源的多模态大型语言模型，能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能，无需额外的ASR或TTS模型。此外，它还可以在思考的同时进行语音输出，支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。
与大型语言模型进行自然的语音对话
OpenVoiceChat是一个开源项目，旨在提供一个与大型语言模型（LLM）进行自然语音对话的平台。它支持多种语音识别（STT）、文本到语音（TTS）和LLM模型，允许用户通过语音与AI进行交互。项目采用Apache-2.0许可，强调开放性和易用性，目标是成为封闭商业实现的开源替代品。
基于大型语言模型的语音识别技术。
Seed-ASR是由字节跳动公司开发的基于大型语言模型(Large Language Model, LLM)的语音识别模型。它通过将连续的语音表示和上下文信息输入到LLM中，利用LLM的能力，在大规模训练和上下文感知能力的引导下，显著提高了在包括多个领域、口音/方言和语言的综合评估集上的表现。与最近发布的大型ASR模型相比，Seed-ASR在中英文公共测试集上实现了10%-40%的词错误率降低，进一步证明了其强大的性能。
开源的语音到语音转换模块
speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。
300行代码实现基于LLM的语音转录。
WeST是一个开源的语音识别转录模型，以300行代码的简洁形式，基于大型语言模型（LLM）实现语音到文本的转换。它由一个大型语言模型、一个语音编码器和一个投影器组成，其中仅投影器部分可训练。WeST的开发灵感来源于SLAM-ASR和LLaMA 3.1，旨在通过简化的代码实现高效的语音识别功能。
语音助手插件，提升GPT交互体验
Voice Assistant Plugin for GPT 是一款专为GPT设计的语音助手插件，旨在通过语音交互提升用户体验。该插件结合了先进的语音识别技术，允许用户通过语音命令与GPT进行交流，实现更加自然和便捷的对话体验。产品背景信息显示，该插件由Air Tech Studio开发，支持多语言，并且注重用户数据安全，不与第三方分享任何数据。
多语种高精度语音识别模型
SenseVoiceSmall是一款具备多种语音理解能力的语音基础模型，包括自动语音识别（ASR）、口语语言识别（LID）、语音情感识别（SER）和音频事件检测（AED）。该模型经过超过40万小时的数据训练，支持超过50种语言，识别性能超越Whisper模型。其小型模型SenseVoice-Small采用非自回归端到端框架，推理延迟极低，处理10秒音频仅需70毫秒，比Whisper-Large快15倍。此外，SenseVoice还提供便捷的微调脚本和策略，支持多并发请求的服务部署管道，客户端语言包括Python、C++、HTML、Java和C#等。
自然交互的语音理解和生成基础模型
FunAudioLLM是一个旨在增强人类与大型语言模型(Large Language Models, LLMs)之间自然语音交互的框架。它包含两个创新模型：SenseVoice负责高精度多语种语音识别、情绪识别和音频事件检测；CosyVoice负责自然语音生成，支持多语种、音色和情绪控制。SenseVoice支持超过50种语言，具有极低的延迟；CosyVoice擅长多语种语音生成、零样本上下文生成、跨语言语音克隆和指令跟随能力。相关模型已在Modelscope和Huggingface上开源，并在GitHub上发布了相应的训练、推理和微调代码。
领先的文本到语音转换模型
Fish Speech V1.2是一款基于300,000小时的英语、中文和日语音频数据训练而成的文本到语音（TTS）模型。该模型代表了语音合成技术的最新进展，能够提供高质量的语音输出，适用于多种语言环境。
让应用通过语音与文本的转换实现智能交互。
Azure 认知服务语音是微软推出的一款语音识别与合成服务，支持超过100种语言和方言的语音转文本和文本转语音功能。它通过创建可处理特定术语、背景噪音和重音的自定义语音模型，提高听录的准确度。此外，该服务还支持实时语音转文本、语音翻译、文本转语音等功能，适用于多种商业场景，如字幕生成、通话后听录分析、视频翻译等。
52B参数的开源多语言大型语言模型
Tele-FLM（亦称FLM-2）是一个52亿参数的开源多语言大型语言模型，具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构，已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能，有时甚至超越了更大的模型。除了分享模型权重外，我们还提供了核心设计、工程实践和训练细节，期待它们对学术界和工业界社区都有所裨益。
开源代码语言模型，提升编程和数学推理能力。
DeepSeek-Coder-V2是一个开源的专家混合模型(Mixture-of-Experts, MoE)，专为代码语言设计，其性能与GPT4-Turbo相当。它在代码特定任务上表现优异，同时在通用语言任务上保持了相当的性能。与DeepSeek-Coder-33B相比，V2版本在代码相关任务和推理能力上都有显著提升。此外，它支持的编程语言从86种扩展到了338种，上下文长度也从16K扩展到了128K。
开源字幕生成工具，实现内容无缝翻译。
subtitle是一个开源的字幕生成工具，利用先进的机器学习技术，为用户提供准确且自然的声音字幕。它支持多种语言，易于集成到现有的工作流程中，并允许用户在自己的服务器上自托管，增强控制权和隐私保护。
开源、精准、方便的视频切片工具
FunClip是一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别，随后用户可以自由选择识别结果中的文本片段或说话人，点击裁剪按钮即可获取对应片段的视频。FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large，是当前识别效果最优的开源中文ASR模型之一，并且能够一体化的准确预测时间戳。
Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。
Whisper加速器,利用GPU加速语音识别
Whisper Turbo旨在成为OpenAI Whisper API的替代品。它由3部分组成:一个兼容层,用于输入不同格式的音频文件并转换为Whisper兼容格式;开发者友好的API,支持一次性推理和流式模式;以及Rust + WebGPU推理框架Rumble,专门用于跨平台快速推理。
AI驱动的营销工具，为团队创造内容并自动发布。
Blaze是一个AI驱动的营销工具，专为团队设计，能够通过简单的指令快速创建并发布各种营销内容。它通过分析用户的网站和社交媒体内容，自动生成定制的字体、颜色和语调，帮助用户节省时间，提高效率。Blaze的主要优点包括：能够创建100多种类型的营销内容，支持多语言生成和翻译，提供内容日历规划，以及SEO优化等。它适合需要高效内容生产和发布工具的团队和个人。
开源AI模型，可微调、蒸馏、部署。
Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。
可视化和透明的开源ChatGPT替代品
Show-Me是一个开源应用程序，旨在提供传统大型语言模型(如ChatGPT)交互的可视化和透明替代方案。它通过将复杂问题分解成一系列推理子任务，使用户能够理解语言模型的逐步思考过程。该应用程序使用LangChain与语言模型交互，并通过动态图形界面可视化推理过程。
本地AI图片翻译，免费高效，支持二次编辑。
小麦AI图片翻译是一款基于本地AI模型处理的桌面客户端软件，它能够实现快速的图片翻译处理，并且完全免费。该软件不依赖服务器资源，直接在用户的电脑上运行，支持批量处理图片，并且支持多种语言翻译，满足用户对图片翻译的各种需求。
macOS用户的原生AI聊天界面
HuggingChat macOS是一个为macOS用户设计的原生聊天界面，利用开源语言模型的强大功能。它将高级AI对话的能力直接带到您的桌面上，提供了无缝且直观的体验。
智能AI助手，提供高效创作与学习支持。
fengChat是一个基于人工智能技术的创作工具，旨在通过AI的强大能力，帮助用户在写作、学习、头脑风暴等方面提高效率。产品背景信息显示，它支持多种AI模型，如GPT、Claude等，并且提供稳定可靠的服务。价格方面，fengChat提供月卡、季卡和年卡会员服务，具有高性价比。
开源的Chrome浏览器扩展，使用AI提升写作质量。
Scramble是一个开源的Chrome浏览器扩展，利用人工智能技术直接在浏览器中增强用户的写作能力。它旨在成为一个比Grammarly更加可定制且尊重用户隐私的替代品。该扩展目前处于Chrome Web Store的审核阶段，用户可以通过克隆仓库或下载源代码进行安装。Scramble支持多种文本增强选项，如修正拼写和语法、改善写作风格、文本简化、文本摘要、文本扩展和转换为项目符号等。
实时对话式人工智能，一键式API接入。
Deepgram Voice Agent API 是一个统一的语音到语音API，它允许人类和机器之间进行自然听起来的对话。该API由行业领先的语音识别和语音合成模型提供支持，能够自然且实时地听、思考和说话。Deepgram致力于通过其语音代理API推动语音优先AI的未来，通过集成先进的生成AI技术，打造能够进行流畅、类似人类语音代理的业务世界。
前沿级多模态大型语言模型，实现视觉-语言任务的先进性能。
NVLM 1.0是一系列前沿级的多模态大型语言模型（LLMs），在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是，NVLM 1.0在多模态训练后，其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。
© 2024 AIbase 备案号：闽ICP备08105208号-14