Efficient LLM

简介:

高效的 Intel GPU 上的 LLM 推理解决方案

功能:

简化 LLM 解码器层

使用分段 KV 缓存策略

自定义的 Scaled-Dot-Product-Attention 内核

需求人群:

"适用于需要在 Intel GPU 上进行高效 LLM 推理的场景"

浏览量:10

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图