glider-gguf

简介:

高性能的量化语言模型

功能:

支持多种GGUF量化版本,包括BF16、Q8_0、Q5_K_M、Q4_K_M等。

基于phi3架构,拥有3.82B参数,适用于大规模语言模型。

通过AutoModelForCausalLM.from_pretrained接口加载模型,方便集成到现有项目中。

模型支持快速推理,适合在线和离线应用。

模型体积小,便于部署到资源受限的环境。

社区活跃,有问题可以联系Darshan Deshpande或Rebecca Qian。

需求人群:

"目标受众为自然语言处理领域的研究人员、开发者以及企业用户,他们需要一个高效、低成本的解决方案来进行文本生成和语言理解任务。PatronusAI/glider-gguf以其高效的推理能力和较小的模型体积,特别适合需要快速部署和运行NLP任务的场景。"

浏览量:3

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图