Aphrodite-engine

简介:

PygmalionAI的大规模推理引擎

功能:

连续批处理,提高模型推理效率

使用vLLM的分页注意力技术,优化键值管理

为不同GPU优化的CUDA内核,提升推理速度

支持多种量化方案,如AQLM、AWQ等,以适应不同硬件

分布式推理能力,支持大规模用户访问

提供多种采样方法,如Mirostat、Locally Typical Sampling等

8位KV缓存,支持更长的上下文长度和吞吐量

需求人群:

"Aphrodite-engine适用于需要大规模部署和运行语言模型推理的开发者和企业,特别是那些寻求高性能、高效率的模型推理解决方案的用户。"

浏览量:14

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图