简介:

高速大型语言模型本地部署推理引擎

功能:

利用稀疏激活和 “热”/“冷” 神经元概念进行高效的 LLM 推理

无缝集成 CPU 和 GPU 的内存 / 计算能力,实现负载均衡和更快的处理速度

与常见的 ReLU 稀疏模型兼容

设计和深度优化用于本地部署在消费级硬件上,实现低延迟的 LLM 推理和服务

向后兼容性,支持与 llama.cpp 相同的模型权重进行推理,但不会有性能提升

需求人群:

"PowerInfer 适用于在本地部署大型语言模型的高速推理。"

浏览量:289

打开站点

类似产品

© 2025     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图