简介:

领先的LLM服务提供平台

功能:

KVCache中心调度器,优化整体有效吞吐量和延迟SLOs。

解耦架构,分离预填充和解码集群,提高资源利用率。

基于预测的早期拒绝策略,应对高度过载场景。

在长上下文场景中表现优异,显著提高吞吐量。

创新架构,使Kimi能够处理更多请求。

开源技术报告,为社区提供学习和贡献的机会。

需求人群:

"目标受众为需要高性能、高吞吐量的大型语言模型服务的企业和开发者。Mooncake的架构和调度策略特别适合处理大规模数据和复杂查询,满足对实时性要求高的应用场景,如智能客服、自然语言处理等。"

浏览量:21

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图