简介:

基于TensorRT框架的大规模语言模型推理加速库

功能:

支持流式语言模型推理,可处理超长文本

GPU加速,推理速度较Pytorch原实现提升3-5倍

支持TensorRT部署,方便生产环境集成

提供示例代码,能快速上手实际应用

需求人群:

"可应用于聊天机器人、长文本生成等需要LLM推理的场景"

浏览量:191

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图