LLM调度的核心KVCache
Mooncake作为Moonshot AI提供的Kimi服务的后端平台，提出了一种以键值缓存（KVCache）为中心的解耦架构，旨在优化长上下文场景下的服务效能，并在高负载情况下保持服务水平目标（SLOs）。
Mooncake架构通过解耦预填充和解码阶段，并以KVCache为中心进行调度和优化，有效地提升了LLM服务在长上下文和高负载场景下的性能。通过实验验证，Mooncake在保持SLOs的同时，相比基线方法，吞吐量提升了高达525%，并能在实际工作负载下处理75%以上的请求。
Mooncake解决的问题
-
资源利用不均与服务效能
Mooncake的KVCache中心调度器，负责平衡最大整体有效吞吐量和满足延迟相关的SLOs。通过解耦预填充（prefill）和解码（decoding）集群，以及利用GPU集群中未充分利用的CPU、DRAM和SSD资源，实现了KVCache的解耦缓存，从而优化了资源利用率和整体吞吐量。
-
长上下文处理效率