简介:

专为智能手机设计的高效大型语言模型推理框架

功能:

支持高达47B参数的MoE模型

实现每秒11.68个token的推理速度

异构计算优化,动态调整计算单元大小

I/O-Compute流水线技术,最大化数据加载与计算的重叠

显著减少内存使用,提高推理速度

适用于智能手机,增强数据隐私和性能

模型系统共同设计,确保模型的可预测稀疏性

需求人群:

"目标受众为需要在移动设备上部署大型语言模型的开发者和企业。他们可以利用PowerInfer-2的高速推理能力,开发出性能优越、数据隐私保护更强的移动应用。"

浏览量:28

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图