需求人群:
"目标受众主要是语音识别和说话人分割领域的研究人员、开发者和企业用户。Reverb 提供了高质量的语音处理工具,适合需要进行语音分析和处理的场合,如会议记录、电话录音分析等。"
使用场景示例:
用于会议记录的自动语音识别和说话人分割
电话客服录音的语音内容分析
法庭记录的语音转写和说话人识别
产品特色:
基于 WeNet 框架的语音识别代码
基于 Pyannote 框架的说话人分割代码
提供长形式语音识别和说话人分割的WER和WDER结果
支持通过 Hugging Face Hub 下载模型
提供 Docker 镜像以简化部署
支持在 NVIDIA GPU 上运行以提高性能
提供详细的安装和使用说明
使用教程:
1. 确保系统中已安装 Git Large File Storage (LFS)。
2. 使用 HUGGINGFACE_ACCESS_TOKEN 从 Hugging Face Hub 下载模型。
3. 克隆 Reverb 代码库到本地。
4. 设置虚拟环境并激活。
5. 在代码库根目录下,设置环境变量以包含 ASR 目录。
6. 使用 Docker 构建镜像(如果需要)。
7. 运行 Docker 容器(如果使用 Docker 部署)。
8. 按照 README.md 中的说明进行模型推理和评估。
浏览量:24
最新流量情况
月访问量
4.89m
平均访问时长
00:06:37
每次访问页数
5.70
跳出率
37.28%
流量来源
直接访问
52.59%
自然搜索
32.74%
邮件
0.05%
外链引荐
12.33%
社交媒体
2.17%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
12.61%
德国
3.57%
印度
9.68%
俄罗斯
4.81%
美国
18.94%
开源的语音识别和说话人分割模型推理代码
Reverb 是一个开源的语音识别和说话人分割模型推理代码,使用 WeNet 框架进行语音识别 (ASR) 和 Pyannote 框架进行说话人分割。它提供了详细的模型描述,并允许用户从 Hugging Face 下载模型。Reverb 旨在为开发者和研究人员提供高质量的语音识别和说话人分割工具,以支持各种语音处理任务。
开源多模态大型语言模型,支持实时语音输入和流式音频输出。
Mini-Omni是一个开源的多模态大型语言模型,能够实现实时的语音输入和流式音频输出的对话能力。它具备实时语音到语音的对话功能,无需额外的ASR或TTS模型。此外,它还可以在思考的同时进行语音输出,支持文本和音频的同时生成。Mini-Omni通过'Audio-to-Text'和'Audio-to-Audio'的批量推理进一步增强性能。
与大型语言模型进行自然的语音对话
OpenVoiceChat是一个开源项目,旨在提供一个与大型语言模型(LLM)进行自然语音对话的平台。它支持多种语音识别(STT)、文本到语音(TTS)和LLM模型,允许用户通过语音与AI进行交互。项目采用Apache-2.0许可,强调开放性和易用性,目标是成为封闭商业实现的开源替代品。
开源的语音到语音转换模块
speech-to-speech 是一个开源的模块化GPT4-o项目,通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型,提供了高度的模块化和灵活性。
基于OpenAI Whisper的自动语音识别与说话人分割
whisper-diarization是一个结合了Whisper自动语音识别(ASR)能力、声音活动检测(VAD)和说话人嵌入技术的开源项目。它通过提取音频中的声音部分来提高说话人嵌入的准确性,然后使用Whisper生成转录文本,并通过WhisperX校正时间戳和对齐,以减少由于时间偏移导致的分割错误。接着,使用MarbleNet进行VAD和分割以排除静音,TitaNet用于提取说话人嵌入以识别每个段落的说话人,最后将结果与WhisperX生成的时间戳关联,基于时间戳检测每个单词的说话人,并使用标点模型重新对齐以补偿小的时间偏移。
300行代码实现基于LLM的语音转录。
WeST是一个开源的语音识别转录模型,以300行代码的简洁形式,基于大型语言模型(LLM)实现语音到文本的转换。它由一个大型语言模型、一个语音编码器和一个投影器组成,其中仅投影器部分可训练。WeST的开发灵感来源于SLAM-ASR和LLaMA 3.1,旨在通过简化的代码实现高效的语音识别功能。
自然交互的语音理解和生成基础模型
FunAudioLLM是一个旨在增强人类与大型语言模型(Large Language Models, LLMs)之间自然语音交互的框架。它包含两个创新模型:SenseVoice负责高精度多语种语音识别、情绪识别和音频事件检测;CosyVoice负责自然语音生成,支持多语种、音色和情绪控制。SenseVoice支持超过50种语言,具有极低的延迟;CosyVoice擅长多语种语音生成、零样本上下文生成、跨语言语音克隆和指令跟随能力。相关模型已在Modelscope和Huggingface上开源,并在GitHub上发布了相应的训练、推理和微调代码。
开源、精准、方便的视频切片工具
FunClip是一款完全开源、本地部署的自动化视频剪辑工具,通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别,随后用户可以自由选择识别结果中的文本片段或说话人,点击裁剪按钮即可获取对应片段的视频。FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large,是当前识别效果最优的开源中文ASR模型之一,并且能够一体化的准确预测时间戳。
开源代码库,为HuggingChat应用提供动力
chat-ui是一个开源的聊天界面,使用开源模型如OpenAssistant或Llama。它是一个SvelteKit应用程序,为hf.co/chat上的HuggingChat应用提供支持。该产品允许用户通过自定义配置来运行和部署自己的Chat UI实例,支持多种语言模型和功能,如Web搜索、自定义模型等。
高效视频生成建模的金字塔流匹配技术
Pyramid Flow 是一种高效的视频生成建模技术,它基于流匹配方法,通过自回归视频生成模型来实现。该技术主要优点是训练效率高,能够在开源数据集上以较低的GPU小时数进行训练,生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发,并且已经在多个平台上发布了相关的论文、代码和模型。
机器学习工程能力的AI代理评估基准
MLE-bench是由OpenAI推出的一个基准测试,旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛,形成了一套多样化的挑战性任务,测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据,为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现,发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外,还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源,以促进未来对AI代理机器学习工程能力的理解。
一个提供多样化实用工具的开源平台
Geekits是一个由YGeeker出品的开源和免费的平台,提供了一系列实用工具,包括人工智能、生活常用、图片视频处理、编程开发等多个领域。它不仅为普通用户提供了便捷的服务,也为开发者提供了编程相关的辅助工具。Geekits的主要优点在于其功能的多样性和实用性,用户可以在这里找到从日常小工具到专业开发辅助的各类工具,极大地提高了工作和生活的效率。
利用AI生成的Next.js开源应用模板。
Fragments是一个基于Next.js的开源模板,用于构建完全由AI生成的应用。它集成了E2B Sandbox SDK和Code Interpreter SDK,支持多种编程语言和框架,如Python、Next.js、Vue.js等,并支持多种人工智能大型语言模型(LLM)提供商,如OpenAI、Anthropic等。此模板特别适合希望快速启动并利用AI进行应用开发的开发者。
AI模型选择助手
Lumigator 是 Mozilla.ai 开发的一款产品,旨在帮助开发者从众多大型语言模型(LLM)中选择最适合其特定项目的模型。它通过提供任务特定的指标框架来评估模型,确保所选模型能够满足项目需求。Lumigator 的愿景是成为一个开源平台,促进道德和透明的AI开发,并填补行业工具链中的空白。
终极AI、Mermaid和可视化制图套件
Mermaid Whiteboard是一个基于文本的制图工具,由获奖的开源项目Mermaid JS背后的团队开发。它允许用户通过文本创建各种图表,包括流程图、序列图、甘特图等。Mermaid Chart通过简化文档流程、提高工作流程和团队间的沟通效率,为系统设计和新团队成员的培训带来了革命性的变化。
前沿级多模态大型语言模型
NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列,它在视觉-语言任务上达到了业界领先水平,与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后,甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。
实时AI图像生成器
BlinkShot 是一个基于Together AI的实时AI图像生成器,它利用Flux技术在用户输入提示时毫秒级生成图像。该产品是100%免费且开源的,旨在为创意人士和开发者提供快速生成图像的能力,以支持他们的设计和创意工作。
世界最精确的AI语音转录服务
Rev AI提供高精度的语音转录服务,支持58种以上语言,能够将视频和语音应用中的语音转换为文本。它通过使用世界上最多样化的声音集合进行训练,为视频和语音应用设定了准确性标准。Rev AI还提供实时流媒体转录、人类转录、语言识别、情感分析、主题提取、总结和翻译等服务。Rev AI的技术优势在于低词错误率、对性别和种族口音的最小偏见、支持更多语言以及提供最易读的转录文本。此外,它还符合世界顶级的安全标准,包括SOC II、HIPAA、GDPR和PCI合规性。
一站式搜索开源成果的平台
Paper Central 是 Hugging Face 推出的一个全面、便捷的学术平台,它将arXiv、Hugging Face 论文页、模型、数据集、Space、GitHub 和会议论文集等多个来源的开源学术资源整合在一起,帮助研究人员和开发者快速获取并使用开源资源。
开源的文本到图像生成模型
OpenFLUX.1是一个基于FLUX.1-schnell模型的微调版本,移除了蒸馏过程,使其可以进行微调,并且拥有开源、宽松的许可证Apache 2.0。该模型能够生成令人惊叹的图像,并且只需1-4步即可完成。它是一个尝试去除蒸馏过程,创建一个可以微调的开源许可模型。
开源大语言模型,匹配专有强大能力。
Open O1是一个开源项目,旨在通过开源创新,匹配专有的强大O1模型能力。该项目通过策划一组O1风格的思考数据,用于训练LLaMA和Qwen模型,赋予了这些较小模型更强大的长期推理和解决问题的能力。随着Open O1项目的推进,我们将继续推动大型语言模型的可能性,我们的愿景是创建一个不仅能够实现类似O1的性能,而且在测试时扩展性方面也处于领先地位的模型,使高级AI能力为所有人所用。通过社区驱动的开发和对道德实践的承诺,Open O1将成为AI进步的基石,确保技术的未来发展是开放的,并对所有人有益。
轻松创建文字背景图片设计。
Text Behind Image 是一个开源的设计工具,允许用户轻松创建文字背景图片设计。它提供了一个简洁的界面,让用户可以自由地在图片上添加文字,创造出独特的视觉效果。这个工具对于设计师、社交媒体运营者和内容创作者来说非常有用,因为它可以快速生成具有吸引力的视觉内容。
将Hugging Face Space或Gradio应用转化为Discord机器人
gradio-bot是一个可以将Hugging Face Space或Gradio应用转化为Discord机器人的工具。它允许开发者通过简单的命令行操作,将现有的机器学习模型或应用快速部署到Discord平台上,实现自动化交互。这不仅提高了应用的可达性,还为开发者提供了一个与用户直接交互的新渠道。
会议语音转文本并自动生成摘要的AI工具
AI-Powered Meeting Summarizer是一个基于Gradio的网站应用,能够将会议录音转换为文本,并使用whisper.cpp进行音频到文本的转换,以及Ollama服务器进行文本摘要。该工具非常适合快速提取会议中的关键点、决策和行动项目。
将任何PDF转换为播客集!
Open NotebookLM是一个利用开源语言模型和文本到语音模型的工具,它可以处理PDF内容,生成适合音频播客的自然对话,并将其输出为MP3文件。该项目的灵感来自于NotebookLM工具,通过使用开源的大型语言模型(LLMs)和文本到语音模型来实现。它不仅提高了信息的可访问性,还为内容创作者提供了一种新的媒体形式,使他们能够将书面内容转换为音频格式,扩大其受众范围。
情感丰富的多模态语言模型
EMOVA(EMotionally Omni-present Voice Assistant)是一个多模态语言模型,它能够进行端到端的语音处理,同时保持领先的视觉-语言性能。该模型通过语义-声学解耦的语音分词器,实现了情感丰富的多模态对话,并在视觉-语言和语音基准测试中达到了最先进的性能。
© 2024 AIbase 备案号:闽ICP备08105208号-14