T-MAC

优质新品

简介:

低比特大型语言模型在CPU上的推理加速

功能:

支持1/2/3/4位量化的Llama模型在GPTQ格式下的推理。

在最新的Snapdragon X Elite芯片上,T-MAC的令牌生成速度甚至超过了NPU。

原生支持Windows ARM上的部署,T-MAC在Surface Laptop 7上展示了显著的5倍速度提升。

通过使用查找表,T-MAC显著减少了CPU核心的使用,同时降低了功耗和能耗。

与NPU相比,在Snapdragon X Elite芯片上,T-MAC的CPU性能优于高通骁龙神经处理引擎(NPE)。

与CUDA GPU相比,在Jetson AGX Orin上,T-MAC的2位mpGEMM性能与CUDA GPU相当。

需求人群:

"T-MAC主要面向需要在CPU上进行大型语言模型推理的开发者和企业,特别是那些寻求在边缘设备上实现实时或近实时推理性能的应用场景。它适用于需要优化能耗和计算资源的场合,如移动设备、嵌入式系统或任何资源受限的环境。"

浏览量:12

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图