KV Cache 技术

KV Cache 是支撑让大模型记住超长上下文的关键技术,也是大模型推理中最重要的优化之一。