WhisperFusion

简介:

AI实时对话,超低延迟

功能:

实时语音转文字:利用OpenAI WhisperLive实现实时语音转文字。

大型语言模型集成:整合Mistral大型语言模型,增强对转录文本的理解和语境。

TensorRT优化:LLM和Whisper均优化为TensorRT引擎,确保高性能和低延迟处理。

torch.compile:WhisperSpeech使用torch.compile来加速推断,通过将PyTorch代码即时编译为优化内核,使PyTorch代码运行更快。

需求人群:

"用户可以通过使用预构建的TensorRT-LLM Docker容器快速开始与WhisperFusion进行交互。同时,也可以构建适用于不同cuda架构的docker镜像。"

浏览量:309

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图