FlashInfer

简介:

FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。

功能:

高效的稀疏/密集注意力内核:支持单个和批量的稀疏和密集KV存储的注意力计算,能够在CUDA核心和Tensor核心上实现高性能。

负载平衡调度:通过解耦注意力计算的计划和执行阶段,优化可变长度输入的计算调度,减少负载不平衡问题。

内存效率优化:提供级联注意力机制,支持层次化的KV缓存,实现高效的内存利用。

自定义注意力机制:通过JIT编译支持用户自定义的注意力变体。

与CUDAGraph和torch.compile兼容:FlashInfer内核可以被CUDAGraphs和torch.compile捕获,实现低延迟推理。

高效的LLM特定操作:提供高性能的Top-P、Top-K/Min-P采样融合内核,无需排序操作。

支持多种API:支持PyTorch、TVM和C++(头文件)API,方便集成到不同项目中。

需求人群:

"FlashInfer适合需要高性能LLM推理和部署的开发者和研究人员,尤其是那些需要在GPU上进行大规模语言模型推理的应用场景。"

浏览量:8

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图