NVDIA：KV缓存变换编码KVTC 20倍压缩打破大模型内存墙

KVTC，一种针对大语言模型（LLM）推理过程中 KV 缓存（Key-Value Cache） 的轻量级压缩方案。由于模型在多轮对话中会产生巨大的内存占用，该技术借鉴了传统媒体压缩原理，通过 PCA 特征解耦、动态位宽量化和 DEFLATE 熵编码，在不改变模型参数的情况下实现了最高 20 到 40 倍 的压缩率。实验证明，kvtc 在 Llama 3 和 Qwen 等主流模型上能有效保持推理精度和长文本处理能力，显著优于传统的权杖剔除或简单量化方法。通过大幅缩减缓存体积，该方案不仅缓解了显存压力，还显著提升了 TTFT（首字延迟） 性能，优化了跨节点的传输效率。这种转换编码方式为高效、低成本的大规模模型服务提供了实用的构建模块。